在块预测技术中使用的预处理预测滤波的方法和装置制造方法及图纸

本发明专利技术涉及改进的预测技术，例如使用帧内或帧间预测的块预测，所述改进的预测技术使用预处理预测滤波技术来减少噪声对要重构的块的预测样本的影响。本文提出的预测技术可以用于编码装置或解码装置等中。用于重构图像的给定像素块的参考样本被分类或分割为子集。可对子集进行不同处理，例如，可对子集使用不同的滤波器。这类滤波器的示例包括平滑滤波器和/或去块效应滤波器，它们可应用于所述参考样本的相应子集。

【技术实现步骤摘要】
【国外来华专利技术】专利
本专利技术涉及使用预测重构图像块的方法和它们在硬件和/或软件中的实现。更具体地，本专利技术涉及改进的预测技术，例如使用帧内或帧间预测的块预测，所述改进的预测技术使用预处理预测滤波技术来减少噪声对要重构的块的预测样本的影响。本文提出的预测技术可以用于编码装置或解码装置等中。
技术介绍
有损数据压缩具有许多用途，尤其是在通信、广播、娱乐和安全中。视频压缩是一项具有挑战性的任务，因为要求较大的压缩比才能通过现有通信信道传输高质量、高分辨率的图片。这项任务在无线和移动通信或媒体实时编码环境中更具挑战性。新近采用的ITU-T H.265/HEVC标准(ISO/IEC 23008-2:2013，信息技术—异构环境中的高效编码和媒体发送—第二部分：高效视频编码(Information technology-High efficiency coding and media delivery in heterogeneous environments–Part2:High efficiency video coding)，2013年11月)声明了一组最新视频编码工具，这些视频编码工具提供了编码效率与计算复杂度之间的合理平衡。Gary J.Sullivan在2012年12月的IEEE视频技术的电路和系统会刊(IEEE Transactions on Circuits and Systems for Video Technology)第22卷第12期的文章“高效视频编码(High Efficiency Video Coding，HEVC)标准概述(Overview of the High Efficiency Video Coding(HEVC)Standard)”中给出了ITU-T H.265/HEVC标准的概述，其全部内容以引入的方式并入本文本中。与ITU-T H.264/AVC视频编码标准类似，HEVC/H.265视频编码标准提供了一种源图片到块，例如编码单元(coding unit，CU)的划分。每个CU还可以分为更小的CU或预测单元(prediction unit，PU)。可以根据应用于PU像素的处理类型对PU进行帧内或帧间预测。在帧间预测的情况下，PU表示由运动补偿处理的像素区域，其中运动补偿使用为PU指定的运动向量。对于帧内预测，PU为一组变换单元(transform unit，TU)指定预测模式。TU可以具有不同大小(例如，4x4、8x8、16x16和32x32像素)并且可以通过不同的方式处理。针对TU正执行变换编码，即，正使用离散余弦变换(discrete cosine transform，DCT)对预测误差进行变换以及量化。将产生的量化变换系数分组为CG，每个CG有16个量化变换系数。如上所述，这些标准或类似的对图片的块进行编码的专有编解码器的核心工具为帧内和帧间预测、频谱变换(例如，离散余弦变换或其整数近似)和量化。帧间和帧内预测工具用于为给定块生成预测信号。在编码器侧，将源块与其预测之间的差异，所谓的残差信号，变换为它们的频谱，即，通过频域中的变换系数来表示源块像素。此外，将系数量化。非零和零量化变换系数通常分别称为重要系数和不重要系数。对包括量化变换系数和边信息(例如，用于帧内编码的帧内预测模式和用于帧间编码的运动向量)的所有语法元素进行二值化和熵编码。压缩的H.265/HEVC比特流中熵编码的系数部分可超过80％。对量化变换系数进行编码的阶段如下：-对最后的重要系数，即，最后的非零量化变换系数，的位置进行编码。-对用于恢复所有非零系数的位置的重要性图进行编码。-重要系数的符号编码。-重要系数的量级编码。这些阶段在将量化变换系数分为所谓的系数组(coefficient group，CG)时执行。每个CG是一个通常由4x4个系数组成的子集。如上所述，最新视频编码标准是基于将源图片(图像)划分为块。这些块的处理取决于它们的大小、空间位置和编码器指定的编码模式。根据预测类型，编码模式可以分为两组：帧内和帧间预测模式。帧内预测使用同一图像的像素来生成参考样本，要重构的块的像素的预测值基于这些参考样本预测。帧内预测还可以称为空间预测。帧间预测模式设计用于时域预测，使用前一和/或下一图片的参考样本来预测当前图片的块的像素。由于冗余类型不同，帧内和帧间编码的预测过程也不同。帧内预测通常构建参考样本的一维缓存。帧间预测使用二维参考像素矩阵的子像素插值。然而，在ITU-T H.264/AVC的标准化期间，还考虑了一种用于运动预测的第三技术：运动补偿时域滤波(Motion Compensated Temporal Filtering，MCTF)。MCTF处理通过叠加像素块而构建的三维像素数组。这些块中的每一个从其自己的图片中提取，按为视频序列的图片指定的相同顺序叠加这些块。MCTF的输出是两组块：高通块(残差)和低通块。这些块被进一步处理来产生预测和残差块。在ISO/IEC JTC1/SC29/WG11，文献M8520，2002年7月的J.-R.Ohm的“MCTF帧间小波结构(Complexity and delay analysis of MCTF interframe wavelet structures)”中提供了MCTF的概述。MCTF通过采用如图18例示的提升过程来实现，在该提升过程中，可以在MCTF预测和更新步骤中重用H.26x视频编码标准的运动补偿特征。如图18所示，针对视频序列的两个连续图片A和B，执行基于金字塔的运动补偿变换以获得“时域”低通帧L和高通帧H。该“时域”预测可以记为：H(m,n)＝B(m,n)-(1-α)(1-β)A(m-k,n-l)-(1-α)βA(m-k,n-l+1)-α(1-β)A(m-k+1,n-l)-αβA(m-k+1,n-l+1) L ( m , n ) = A ( m , n ) + α β 2 H ( m + k - 1 , n + l本文档来自技高网...

【技术保护点】
一种使用预测来重构图像块的方法，其特征在于，包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择所述参考样本的第一子集和所述参考样本的第二子集；执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。

【技术特征摘要】
【国外来华专利技术】1.一种使用预测来重构图像块的方法，其特征在于，包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择所述参考样本的第一子集和所述参考样本的第二子集；执行所述第一子集和所述第二子集的已选参考样本的预处理预测滤波，其中用于对所述第一子集的所述参考样本进行滤波的滤波参数不同于用于对所述第二子集的所述参考样本进行滤波的滤波参数；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述第一子集和所述第二子集的所述预处理预测滤波的参考样本。2.根据权利要求1所述的方法，其特征在于，还包括：确定所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式；以及确定所述参考样本的所述第一和/或第二子集和/或选择用于所述预处理预测滤波的参数是基于所述大小和/或所述预测模式。3.根据权利要求1或2所述的方法，其特征在于，使用帧内预测来重构所述块，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式，如果所述帧内预测是根据另一角模式，则执行所述第一子集和所述第二子集的参考样本的所述预处理预测滤波；如果所述帧内预测是根据所述垂直模式，则对位于所述要重构的块的左边和/或左下方的参考样本应用预处理预测滤波；以及如果所述帧内预测是根据所述水平模式，则对位于所述要重构的块的上方和/或右上方的参考样本应用预处理预测滤波。4.根据权利要求3所述的方法，其特征在于，所述第一子集包括位于所述要重构的块的左边和/或左下方的参考样本，所述第二第一子集包括位于所述要重构的块的上方和/或右上方的参考样本。5.根据权利要求3或4所述的方法，其特征在于，确定已用于对所述要重构的块进行编码的预测模式包括确定所述帧内预测是否是根据垂直模式、水平模式或角模式，如果所述帧内预测是根据对角模式，则对所有参考样本执行预处理预测滤波。6.根据权利要求1至5之一所述的方法，其特征在于，所述第二子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及所述块基于所述参考样本通过预测重构，所述参考样本包括所述滤波的参考样本第一子集和所述滤波的参考样本第二子集。7.根据权利要求1至6之一所述的方法，其特征在于，还包括将去块效应滤波器应用到不同已解码块的预处理预测滤波的参考样本的步骤，所述预处理预测滤波的参考样本是位于已解码块之间的边界处的参考样本。8.一种使用预测重构图像块的方法，其特征在于，包括：确定要用于预测要重构的块的一个或多个已解码块的参考样本；选择在预测之前滤波器所要应用到的参考样本子集，并进行所述子集的已选参考样本的预处理预测滤波；以及基于所述参考样本通过预测来重构所述块，所述参考样本包括所述子集的所述滤波的参考样本；其中，在通过预测来重构所述块之前，重复所述子集的所述选择以及所述子集的参考样本的所述预处理预测滤波。9.根据权利要求8所述的方法，其特征在于，用于对所述子集的参考样本进行滤波的所述滤波参数在所述子集的选择和预处理预测滤波的所述重复中不相同。10.根据权利要求8或9所述的方法，其特征在于，在不同重复中选择的所述子集是不同的或重叠的。11.根据权利要求8至10之一所述的方法，其特征在于，在一次重复中，所述选择的参考样本子集包括所有参考样本。12.根据权利要求8至11之一所述的方法，其特征在于，进行三次重复，其中前两次重复对原始参考样本执行以获得滤波的参考样本，而第三次重复对在所述前两次重复中获得的所述滤波的参考样本执行。13.根据权利要求8至12之一所述的方法，其特征在于：在第一次重复中，基于所述要重构的块的大小和/或已用于对所述要重构的块进行编码的预测模式来对所述参考样本的相应子集进行滤波；在第二次重复中，所述参考样本的相应子集包括一个或多个块的参考样本，对于所述一个或多个块，没有残差已编码在已编码的视频流中；以及在第三次重复中，将去块效应滤波器应用到在所述第一次或第二次重复中滤波的所述参考样本，所述滤波的参考样本是已解码块之间的边界处的参考样本。14.根据权利要求7或13所述的方法，其特征在于，还包括：将所述要解码的块的已解码残差添加到所述重构的块中以获得已解码块，以及将环内去块效应滤波器应用到所述已解码块。15.根据权利要求1至14之一所述的方法，其特征在于，所述参考样本形成两个一维数组，一个数组包括所述要解码的块的左边或右边的一个或多个相邻已解码块的一列样本，另一数组包括所述要解码的块的上方或底部的一个或多个相邻已解码块的一行样本。16.根据权利要求1至15之一所述的方法，其特征在于，预处理预测滤波包括将平滑滤波器应用到所述参考样本的至少一个子集。17.根据权利要求1、2、6至16之一所述的方法，其特征在于，使用帧间预测来重构像素块。18.根据权利要求17所述的方法，其特征在于，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域，进行预处理预测滤波的参考样本子集之一包括属于已解码块的参考样本，对于所述已解码块，有残差已编码在所述已编码的视频流中。19.根据权利要求17所述的方法，其特征在于，所述参考样本定义了在重构所述块时要用于帧间预测的一个或多个已解码块内的二维参考区域，确定在帧间预测之前滤波器所要应用到的所述参考样本子集包括：基于对所述二维参考区域的所述参考样本进行边缘检测的结果来确定多个不同的参考样本子集，以及执行预处理预测滤波包括使用不同的滤波参数对所述子集的参考样本进行滤波。20.根据权利要求17所述的方法，其特征在于，使用多参考帧间预测来重构所述块，所述参考...

【专利技术属性】
技术研发人员：阿列克谢·康斯坦丁诺维奇·菲利波夫，瓦西里·亚历斯维奇·拉夫特斯基，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44