多参考行帧内预测与变换分区之间的协调设计制造技术

用于视频解码中的多参考行帧内预测的方法、装置及计算机可读存储介质。该方法包括由设备接收块的已编码视频码流。该设备包括存储指令的存储器和与存储器通信的处理器。该方法进一步包括由该设备对所述块进行分区，以获得多个子块；由该设备基于参考行，对多个子块中的子块执行多参考行帧内预测；以及由该设备对子块进行分区，以获得多个变换块。以获得多个变换块。以获得多个变换块。

【技术实现步骤摘要】
【国外来华专利技术】多参考行帧内预测与变换分区之间的协调设计
相关申请
[0001]本申请基于并要求于2021年3月31日提交的美国临时申请第63/168,984号和于2021年12月29日提交的美国非临时申请第17/564,583号的优先权，这两个申请通过引用整体并入本文。


[0002]本公开涉及视频编码和/或解码技术，并且具体涉及多参考行帧内预测和变换分区的改进设计和信令。

技术介绍

[0003]本文所提供的背景描述旨在整体呈现本申请的背景。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
[0004]可以使用具有运动补偿的帧间图片预测来进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920
×
1080亮度样本及相关的全采样或子采样色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(或者称为帧率)，例如每秒60个图片或每秒60帧。未压缩的视频具有特定的比特率要求。例如，具有像素分辨率为1920
×
1080，帧速率为60帧/秒，以及色度子采样为4∶2∶0，以每个像素每个颜色通道8比特的视频需要接近1.5Gbit/s的带宽。一小时的此类视频需要超过600GB的存储空间。
[0005]视频编码和解码的一个目的，是通过压缩减少未压缩输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽和/或存储空间的要求，在某些情况下可降低两个或更多数量级。无损压缩和有损压缩，以及两者的组合均可采用。无损压缩是指经由解码过程，从压缩的原始信号中重建原始信号精确副本的技术。有损压缩是指原始视频信息在编码期间未被完全保留并且在解码期间不可完全恢复的编码/解码过程。当使用有损压缩时，重建信号可能与原始信号不同，但是原始信号与重建信号之间的失真小到足以使重建信号可用于预期应用，尽管一些信息损失。就视频而言，有损压缩广泛用于许多应用中。可容许失真量取决于应用。例如，某些消费视频流应用的用户可以容许比电影或电视广播应用的用户更高的失真。可以选择或调整通过特定编码算法可实现的压缩比以反映各种失真容限：较高的可容许失真通常允许产生较高损失和较高压缩比的编码算法。
[0006]视频编码器和解码器可以利用来自若干广泛类别和步骤的技术，包括例如运动补偿、傅立叶变换、量化以及熵编码。
[0007]视频编解码器技术可包括已知的帧内编码技术。在帧内编码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以被称为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，并且因此可用作编码视频比特流和视频会话中的第一图片，或用作静止图像。然后，可以将帧内预测后的块的
样本变换到频域，并且可以在熵编码之前对如此生成的变换系数进行量化。帧内预测表示使预变换域中的样本值最小化的技术。在一些情况下，变换后的DC值越小，并且AC系数越小，则在给定的量化步长尺寸下需要越少的比特来表示熵编码之后的块。
[0008]如同从诸如MPEG
‑
2代编码技术中所获知的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括：尝试基于例如周围样本数据和/或元数据对块进行编码/解码，该周围样本数据和/或元数据是在空间相邻的编码和/或解码期间获得的，并且在解码顺序上先于正在帧内编码或解码的数据块。此类技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片的参考数据，而不使用来自其它参考图片的参考数据。
[0009]可以有许多不同形式的帧内预测。当在给定视频编码技术中可获得多于一种此类技术时，所使用的技术可以被称为帧内预测模式。可以在特定编解码器中提供一个或多个帧内预测模式。在某些情况下，模式可以具有子模式和/或可以与各种参数相关联，并且用于视频块的模式/子模式信息和帧内编码参数可以包含在模式码字中，可以单独或共同编码。对于给定模式、子模式和/或参数组合，使用哪个码字可以通过帧内预测对编码效率增益产生影响，并且用于将码字转换为码流的熵编码技术也同样如此。
[0010]帧内预测的某种模式与H.264一起被引入，在H.265中被修正，并且在诸如联合探测模式(JEM)、通用视频编码(VVC)和基准集(BMS)的较新的编码技术中被进一步修正。通常，对于帧内预测，可以使用已变得可用的相邻样本值来形成预测器块。例如，可以将沿着特定方向和/或行的特定相邻样本集的可用值，复制到预测器块中。对使用方向的参考可以在码流中编码，或者本身可以被预测。
[0011]参考图1A，在右下方描绘的是在H.265的33个可能的帧内预测器方向(对应于在H.265中指定的35个帧内模式的33个角度模式)中指定的9个预测器方向的子集。箭头会聚的点(101)表示正在被预测的样本。箭头表示使用相邻样本预测101处的样本所根据的方向。例如，箭头(102)指示根据与水平方向成45度角的右上方的一个或多个相邻样本，预测样本(101)。类似地，箭头(103)指示根据与水平方向成22.5度角的样本(101)左下方的一个或多个相邻样本，预测样本(101)。
[0012]仍然参考图1A，在左上方示出了一个包括4
×
4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)由16个样本组成，每个样本用“S”、以及其在Y维度(例如，行索引)上的位置和在X维度(例如，列索引)上的位置来标记。例如，样本S21是Y维度上的第二个样本(从顶部开始)和X维度上的第一个(从左侧开始)样本。类似地，样本S44在Y维度和X维度上都是块(104)中的第四个样本。由于该块为4
×
4尺寸的样本，因此S44位于右下角。还示出了遵循类似编号方案的示例参考样本。参考样本用
″
R
″
、以及其相对于块(104)的Y位置(例如，行索引)和X位置(例如，列索引)来标记。在H.264和H.265中，使用与重建中的块邻近地相邻预测样本。
[0013]块104的图片内预测可以通过根据用信号通知的预测方向，从相邻样本复制参考样本值来开始。例如，假设已编码视频码流包括信令，对于该块104，该信令指示箭头(102)的预测方向——也就是说，根据与水平方向成45度角的右上方的一个或多个预测样本来预测样本。在此类情况下，根据相同的参考样本R05来预测样本S41、S32、S23和S14。然后根据参考样本R08预测样本S44。
[0014]在某些情况下，例如通过插值，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。
[0015]随着视频编码技术不断发展，可能方向的数量增加。例如，在H.264(2003年)中，9个不同的方向可用于帧内预测。这在H.265(2013年)中增加到33个，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频解码中的多参考行帧内预测的方法，其中，所述方法包括：由设备接收块的已编码视频码流，所述设备包括存储指令的存储器和与所述存储器通信的处理器；由所述设备对所述块进行分区，以获得多个子块；由所述设备基于参考行对所述多个子块中的子块执行多参考行帧内预测；以及由所述设备对所述子块进行分区，以获得多个变换块。2.根据权利要求1所述的方法，其中：所述已编码视频码流包括第一参数，所述第一参数指示所述参考行为非邻近参考行；以及所述对所述子块进行分区，以获得多个变换块，包括：在不使用变换参数的情况下，对所述子块进行分区，以获得所述多个变换块。3.根据权利要求1至2中任一项所述的方法，其中，对于所述多个变换块中的变换块：响应于所述子块的大小小于或等于最大变换块的大小，所述变换块的大小等于所述子块的大小；以及响应于所述子块的大小大于或等于所述最大变换块的大小，所述变换块的所述大小等于所述最大变换块的大小。4.根据权利要求1所述的方法，其中：所述多个变换块的变换深度是基于所述参考行被指示为邻近参考行还是非邻近参考行来确定的。5.根据权利要求1至4中任一项所述的方法，其中：响应于被指示为所述非邻近参考行的所述参考行的所述多个变换块的变换深度比响应于被指示为所述邻近参考行的所述参考行的所述多个变换块的变换深度小N个深度，其中N是非负整数。6.根据权利要求1所述的方法，其中：参考行索引指示所述参考行；以及基于所述参考行索引导出的上下文用于解析所述多个变换块的至少一个参数。7.根据权利要求1所述的方法，其中：所述已编码视频码流包括第一参数和第二参数，所述第一参数指示所述多个变换块，并且所述第二参数指示所述参考行。8.根据权利要求1至7中任一项所述的方法，其中：所述多个变换块中的变换块小于所述多个子块中的所述子块。9.根据权利要求1所述的方法，其中：在熵解码期间，第一参数的语法被用作第二参数的上下文。10.根据权利要求1所述的方法，其中：所述已编码视频码流包括指示所述多个变换块的第一参数，以及所述参考行是基于所述第一参数确定的。11.根据权利要求1所述的方法，其中：响应于所述多个变换块的变换深度大于阈值，所述参考行被确定为默认选择。12.根据权利要求1所述的方法，其中：
所述已编码视频码流包括指示所述参考行的第一参数；所述多个子块中的所述子块进一步分割成多个变换块；以及所述多个变换块中的每个变换...

【专利技术属性】
技术研发人员：赵亮，赵欣，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：