



与H.264/AVC [7] 、H.265/HEVC [3,10] 和VP9 [2] 相似,AV1标准也遵循着以像素块为单位的预测+变换的混合编码框架。在这种框架下,输入图像首先被分割成一系列互不重叠的像素块。然后,每个像素块通过使用帧内预测模式或帧间预测模式来进行预测。在帧内预测或帧间预测中,原始像素块与其预测块之间的差值形成预测残差。预测残差经过变换、量化、熵编码形成码流输出。同时,变换量化后的预测残差进行反量化、反变换,与预测块相加即可得到像素块的重构值。当整帧中的所有像素块编码完成之后,整帧的重构像素值经过环路滤波器去除块效应,存储在解码图像缓冲区中用于后续帧进行帧间预测。图3-1所示为AV1标准使用的混合编码框架,其中包含了AV1引入的高效灵活的编码块划分方案。
图3-1 AV1标准使用的混合编码框架
在AV1的块划分方案中,输入的视频帧首先被分割成尺寸相同、互不重叠的正方形块,这些正方形块通常被称为 超级块( Super Block , SB ) 。超级块是第一层块划分结构的根节点。然后,沿着编码树结构,利用四叉树和多形态划分方式,超级块可以进一步被划分为不同大小和不同形状的 编码块( Coding Block , CB ) 。在AV1中,编码块是进行帧内预测或帧间预测的基本单元。换句话说,编码器需要决定每个编码块是采用帧内预测还是帧间预测。当编码块采用帧内预测时,编码器需要为该编码块确定最优的帧内预测模式。当编码块采用帧间预测模式时,编码器需要为该编码块确定其最优运动信息,如运动向量和参考帧索引等信息。
在编码块级别对预测残差进行变换编码时,AV1引入了预测残差块划分方案,以充分挖掘预测残差之间的空域相关性。也就是说,在预测残差的变换编码过程中,为了充分去除预测残差之间的空域相关性,AV1允许预测残差编码块被进一步划分为多个变换块(Transform Block,TB)。
本章深入探讨了AV1标准的块划分技术。3.1节阐述了如何将图像分割成超级块,并将这些超级块进一步划分为编码块。3.2节和3.3节讨论了与块划分相关的一些特定规则,这些规则的制定旨在简化硬件设计,降低其复杂性。3.3节和3.4节介绍了如何把预测残差编码块进一步划分为多个变换块的过程。