边界强制分区的改进制造技术

本发明专利技术涉及对图像或图像条带进行分区。尤其，将所述图像或所述图像条带在垂直和水平方向上都分割为整数个编码树单元。然后，将剩余边界部分至少部分地强制性分割，使得最深分区等级为二叉分区的结果，即包括一边比另一边长的编码单元。所述较长的一边与所述图像或所述图像条带的边界平行或一致。图像条带的边界平行或一致。图像条带的边界平行或一致。

【技术实现步骤摘要】
边界强制分区的改进
[0001]本专利技术涉及图像和/或视频编码和解码，特别涉及将图像分割成编码单元。

技术介绍

[0002]基于当前块的混合视频编解码器采用预测编码。将视频序列的图片细分为像素块，再对这些块进行编码。不是逐像素地对块进行编码，而是通过与所述块在空间或时间上邻近的已经编码的像素，对整个块进行预测。编码器仅对所述块与对所述块的预测之间的差异作进一步的处理。所述进一步的处理通常包括将所述块的像素变换为变换域中的系数。然后，可以对所述系数作进一步的压缩(例如，通过量化)和进一步的压紧(例如，通过熵编码)以形成码流。所述码流还可以包括使解码器能够对已经编码的视频进行解码的任何信令信息。例如，所述信令可以包括与编码器设置相关的设置，例如输入图片的尺寸、帧速率、量化步长指示、应用于对图片的块的预测等。
[0003]块与对其的预测之间的差异称为块的残差。更具体地，所述块的每个像素都具有残差，即该像素的强度级别与预测的强度级别之间的差值。像素的强度级别称为像素值或像素的值。块的所有像素的残差统称为块的残差。换言之，所述块具有残差，所述残差是由所述块的所有像素的残差组成的集合或矩阵。然后，将残差进行变换、量化，并与信令信息一起进行编码。编码可能包括固定长度和可变长度编码的各种形式，包括算术编码或其它熵编码类型。
[0004]在基于块的混合视频编码过程中，将每个图片分割为样本块，并将图片中的多个块聚合在一起，以形成作为独立的可解码实体的条带。应用预测和/或变换的块称为编码单元(coding unit，简称CU)或编码块(coding block，简称CB)。编码单元的尺寸可能不同。
[0005]例如，在高效视频编码(High
‑
Efficiency Video Coding，简称HEVC，也称为H.265)中，视频帧被细分为编码树单元(coding tree unit，简称CTU，也称为编码树块，coding tree block，简称CTB)。CTB都是尺寸相同的不相交的方形块，例如64x64样本。每个CTB都是块分区四叉树结构(即编码树)的根。CTB可以沿着编码树的结构进一步地细分为编码块。对于编码块，可以确定预测类型。编码块可以进一步地分割成更小的变换块，所述变换块可应用转换和量化。
[0006]关于HEVC中的分区细节可参见由V.Sze等人编写，并于2014年由施普林格出版社发行的《高效视频编码(HEVC)：算法与架构》第3章第2节。
[0007]此外，WO 2016/090568示出了二叉树结构，可通过四叉树加二叉树结构将一个单元分区为多个较小的单元。相应地，先通过四叉树结构对根单元进行分区，然后通过二叉树结构对所述四叉树的叶节点进行进一步地分区。

技术实现思路

[0008]在HEVC标准中，将位于条带或图片边界上的CTU和CU通过四叉树分割强制分割，直到叶子节点的右下角样本位于条带或图片边界中。只要分割规则是固定的(预定义的)，所述强制四叉树分割不需要在码流中发送。强制分区的目的是使编码器和解码器能够处理图
片和条带，这些图片和条带的水平和/或垂直尺寸不是CTU各自水平和/或垂直尺寸的整数倍。
[0009]在HEVC和WO 2016/090568中，强制分区过程通过四叉树方法对帧边界上的CTU和CU进行分层地分区，而无需进行速率失真(rate
‑
distortion，简称RC)优化，直到整个当前CU位于条带或图片边界内。这些强制分区不需要在所述码流中发送。然而，分割成非常小的编码单元可能会进一步地引入与较小编码单元的单独进一步处理(编码、解码))有关的复杂性和信令需求。
[0010]根据本专利技术，强制分区至少在最深的分区分层等级中应用二叉树分割，或者至少在除最深的分区分层等级之外的分区等级中应用二叉树分割，在所述除最深的分区分层等级之外的分区等级中，编码单元不完全位于边界部分内。
[0011]这种分割更加高效，因为它导致的最深分层等级中的编码单元的数量更少。
[0012]根据本专利技术的一个方面，提供了一种用于将图像部分分割为编码单元的装置，该装置包括处理电路。该处理电路在操作中：将所述图像部分细分为具有在先确定尺寸的整数个编码树单元和在至少第一方向上尺寸小于所述在先确定尺寸的边界部分，其中所述第一方向为水平或垂直方向；并将所述边界部分分层地分区成编码单元，包括在各自水平和垂直方向上尺寸不同的最深编码单元，所述最深编码单元的尺寸在所述第一方向上较小。
[0013]这种方法的优点是避免所述图片边界上存在太多较小CU，也从而提高了所述边界部分的编码效率。
[0014]根据示例，所述处理电路用于至少在最深分区等级中通过二叉树分割来对所述边界部分进行分区。
[0015]作为对所述二叉树分割的补充或替代，所述处理电路可用于也通过四叉树分割来对边界部分分区。
[0016]根据一个示例，所述处理电路在操作中，在N个最浅等级中通过四叉树分割对所述边界部分进行分区，所述N是大于或等于零且小于分区分层等级的数量的整数；并在剩余分区分层等级中通过二叉树分割对所述边界部分进行分区。
[0017]这种方法使配置更为灵活，并且还通过避免大量的较小方形边界CU来确保有效地对所述边界进行编码。
[0018]在一种实施方式中，所述处理电路在操作中对所述边界部分进行分区，直到所述最深等级的编码单元完全位于所述边界部分之内。
[0019]在一种实施方式中所述处理电路在操作中通过二叉树分割在水平和垂直方向上对所述边界部分进行分区。
[0020]此外或可选地，所述处理电路在操作中通过四叉树分割在每个分层等级中对所述边界部分的角落部分进行分区。
[0021]除了对所述边界部分的CTU混合使用四叉树和二叉树分割，所述处理电路还可以用于通过二叉树分割在所有分区等级中对边界部分进行分区。
[0022]根据本专利技术的一个方面，提供了一种用于对视频序列的图像进行编码的装置，所述装置包括：根据上述示例和实施方式中的任意一种所述的用于将图像部分分割成编码单元的装置；图像编码单元，用于对所述编码单元进行编码；以及码流形成单元，用于生成包括所述已经编码的编码单元和指示如何对所述编码树单元进行分区的分区信息的码流。
[0023]例如，所述编码器还包括速率失真优化单元，用于根据除所述最深等级之外的任意分区等级的速率失真优化来确定所述边界部分的分层分割。
[0024]本专利技术的另一方面包括用于解码视频序列的图像的装置，该装置包括：根据上述示例和实施方式中的任意一种所述的用于确定将待解码的图像部分分割成编码单元的装置；码流解析器，用于基于所述图像部分已确定的分割，解析包括已编码的编码单元和指示所述编码树单元如何被分区的分区信息的码流；和图像解码单元，用于解码所述已编码的编码单元。
[0025]根据一种示例性的实施方式，将所述边界部分分割为编码单元为预定义的分割，所述分区信息与对所述边界部分的分割无关。
...

【技术保护点】

【技术特征摘要】
1.一种用于将图像区域分割成编码单元的装置，包括处理电路，所述处理电路在操作中：将所述图像细分为具有在先确定尺寸的整数个编码树单元CTU和边界CTU，所述边界CTU包括在第一方向上尺寸小于所述在先确定尺寸的边界区域，所述边界区域在第二方向上的尺寸等于所述在先确定的尺寸，其中所述第一方向为水平或垂直方向，所述第二方向为水平或者垂直方向，所述第一方向和所述第二方向不同；对所述边界CTU分层地进行强制分区，所述强制分区包括强制四叉树分区QT和强制二叉树分区BT的组合，或者包括强制BT，其中，在所述强制分区包括强制BT的情况下，所述对所述边界CTU分层地进行强制分区包括：在所述边界CTU为底部边界的CTU的情况下，将在位于底部边界的图像块上使用强制水平BT，所述位于底部边界的图像块为对所述边界CTU分层地进行强制分区后得到；或者，在所述边界CTU为右边界的CTU的情况下，将在位于底部边界的CU上使用强制垂直BT，所述位于底部边界的CU为对所述边界CTU分层地进行强制分区后得到。2.根据权利要求1所述的装置，其特征在于，所述处理电路用于至少在最深的分区等级中通过二叉树分割来对所述边界区域进行分区。3.根据权利要求1或2所述的装置，其特征在于，所述处理电路用于也通过四叉树分割对所述边界区域进行分区。4.根据权利要求3所述的装置，其特征在于，所述处理电路用于：在N个最浅等级中通过四叉树分割对所述边界区域进行分区，所述N为大于或等于零且小于所述分区分层等级的数量的整数；以及在剩余分区分层等级中通过二叉树分割来对所述边界区域进行分区。5.根据权利要求1至4中任一项所述的装置，其特征在于，所述处理电路在操作中对所述边界部分进行分区，直到最深等级的编码单元完全位于所述边界部分内。6.根据权利要求1至5中任一项所述的装置，其特征在于，所述处理电路在操作中通过二叉树分割在水平和垂直方向上来对所述边界区域进行分区。7.根据权利要求1至6中任一项所述的装置，所述处理电路在操作中通过四叉树分割在每个分层等级中对所述边界区域的角落区域进行分区。8.根据权利要求1或2所述的装置，其特征在于，所述处理电路用于通过二叉树分割在所有分区等级中对所述边界区域进行分区。9.一种用于编码视频序列图像的装置，其特征在于，包括：根据权利要求1至8中任一项所述的用于将图像区域分割成编码单元的装置；图像编码单元，用于对所述编码单元进行编码；以及码流形成单元，用于生成包括所述已编码的编码单元和指示如何对进行分区的分区信息的码流。10.根据权利要求9所述的编码器，其特征在于，还包括速率失真优化单元，用于根据对除最深等级之外的任意分区等级的速率失真优化来确定对所述边界区域进行分层地分区。11.一种用于解码视频序列的图像的装置，其特征在于，包括：根据权利要求1至8中任一项所述的用于将待解码的图像区域分割成编码单元的装置；码流解析器，用于基于所述图像区域的已确定的分割，对包括已编码的编码单元和指
...

【专利技术属性】
技术研发人员：高晗，赵志杰，塞米赫艾森力克，阿南德，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：