用于样本偏移的自适应非线性映射制造技术

公开了一种用于视频解码器中的环路内样本偏移滤波的方法。该方法包括：获得与视频流的当前重建数据块中的至少第一颜色分量的重建样本相关联的至少一个统计属性；基于至少一个统计属性在多个样本偏移滤波器之中选择目标样本偏移滤波器，该目标样本偏移滤波器包括样本增量度量与样本偏移值之间的非线性映射；以及使用目标样本偏移滤波器和当前重建数据块的第三颜色分量的参考样本对当前重建数据块的第二颜色分量的当前样本进行滤波，以生成当前样本的滤波重建样本。当前样本的滤波重建样本。当前样本的滤波重建样本。

【技术实现步骤摘要】
【国外来华专利技术】用于样本偏移的自适应非线性映射
引用并入
[0001]本公开内容基于并且要求于2022年1月4日提交的美国非临时专利申请第17/568,565号的优先权的权益，该美国非临时专利申请要求于2021年3月19日提交的题为“ADAPTIVE NON
‑
LINEAR MAPPING FOR SAMPLE OFFSET”的美国临时申请第63/163,707号的权益。上述两个申请都通过引用整体并入本文中。


[0002]本公开内容总体上描述了一组先进的视频编码技术，并且具体地涉及利用局部自适应进行的样本偏移滤波。

技术介绍

[0003]本文中提供的
技术介绍
描述的目的是总体上呈现本公开内容的上下文。就该
技术介绍
部分中描述的工作的程度而言，目前署名的专利技术人的工作以及在提交本申请时可以不被另外限定为现有技术的描述的各方面既没有明确地也没有隐含地承认为是针对本公开内容的现有技术。
[0004]可以使用具有运动补偿的帧间图片预测来执行视频编码和解码。未压缩的数字视频可以包括一系列图片，其中每个图片具有例如1920
×
1080亮度样本以及相关联的全采样或子采样色度样本的空间维度。所述一系列图片可以具有例如每秒60个图片或每秒60帧的固定的或可变的图片速率(可替选地称为帧速率)。未压缩的视频对于流式传输或数据处理具有特定的位率要求。例如，具有1920
×
1080的像素分辨率、60帧/秒的帧速率、以及在每像素每颜色通道8位下的4:2:0的色度子采样的视频需要接近1.5Gbit/s的带宽。一小时的这样的视频需要多于600千兆字节的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩来减少未压缩输入视频信号的冗余。压缩可以帮助减少以上提及的带宽和/或存储空间需求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩两者以及它们的组合。无损压缩是指可以经由解码处理根据压缩的原始信号重建原始信号的精确副本的技术。有损压缩是指原始视频信息在编码期间未完全保留并且在解码期间未完全恢复的编码/解码处理。当使用有损压缩时，重建的信号可能与原始信号不同，但是原始信号与重建的信号之间的失真足够小，以呈现对预期应用有用的重建的信号，尽管存在一些信息丢失。在视频的情况下，有损压缩被广泛应用于许多应用中。可容忍的失真量取决于应用。例如，某些消费者视频流式传输应用的用户可能比电影或电视广播应用的用户容忍更高的失真。可以选择或调整可由特定编码算法实现的压缩比以反映各种失真容限：更高的可容忍失真通常允许使更高损失和更高压缩比产生的编码算法。
[0006]视频编码器和解码器可以利用来自若干广泛类别和步骤的技术，包括例如运动补偿、傅里叶变换、量化和熵编码。
[0007]视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，在不参考来自
先前重建的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有样本块以帧内模式进行编码时，该图片可以称为帧内图片。帧内图片及其衍生图片例如独立解码器刷新图片可以用于重置解码器状态，并且因此可以用作已编码视频码流和视频会话中的第一图片或者用作静止图像。然后，可以将帧内预测之后的块的样本变换到频域，并且可以在熵编码之前对这样生成的变换系数进行量化。帧内预测表示使预变换域中的样本值最小化的技术。在一些情况下，变换之后的DC值越小并且AC系数越小，则在给定量化步长下表示熵编码之后的块所需的位就越少。
[0008]传统的帧内编码——诸如从例如MPEG(Moving Picture Experts Group，MPEG)
‑
2代编码技术中已知的帧内编码——不使用帧内预测。然而，一些较新的视频压缩技术包括如下技术，其尝试基于例如在空间上邻近并且在解码顺序中先于正在进行帧内编码或解码的数据块的编码和/或解码期间获得的元数据和/或周围样本数据对块进行编码/解码。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片的参考数据，而不使用来自其他参考图片的参考数据。
[0009]可以存在许多不同形式的帧内预测。当在给定的视频编码技术中可以使用多于一种这样的技术时，所使用的技术可以被称为帧内预测模式。可以在特定编解码器中提供一种或更多种帧内预测模式。在某些情况下，模式可以具有子模式和/或可以与各种参数相关联，并且针对视频块的模式/子模式信息和帧内编码参数可以单独编码或共同包括在模式码字中。针对给定模式、子模式和/或参数组合使用哪种码字可以对通过帧内预测的编码效率增益产生影响，并且因此可以对用于将码字转换成码流的熵编码技术产生影响。
[0010]帧内预测的某些模式由H.264引入、在H.265中被细化，并且在较新编码技术例如联合开发模型(Joint Exploration Model，JEM)、通用视频编码(Versatile Video Coding，VVC)和基准集(Benchmark Set，BMS)中被进一步细化。通常，对于帧内预测，可以使用已经变得可用的邻近样本值来形成预测器块。例如，可以将沿特定方向和/或线的特定邻近样本集合的可用值复制到预测器块中。对使用的方向的参考可以被编码在码流中或者其本身可以被预测。
[0011]参照图1A，在右下方描绘了在H.265的33个可能的帧内预测器方向(对应于H.265中指定的35个帧内模式的33个角度模式)中指定的九个预测器方向的子集。箭头会聚的点(101)表示正在预测的样本。箭头表示使用邻近样本预测101处的样本的方向。例如，箭头(102)指示根据右上方的与水平方向成45度角的一个或多个邻近样本对样本(101)进行预测。类似地，箭头(103)指示根据样本(101)左下方的与水平方向成22.5度角的一个或多个邻近样本对样本(101)进行预测。
[0012]仍然参照图1A，在左上方描绘了4
×
4样本的正方形块(104)(由黑体虚线指示)。正方形块(104)包括16个样本，每个样本均用“S”、其在Y维度上的位置(例如，行索引)以及其在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上(从顶部起)的第二个样本并且是X维度上(从左侧起)的第一个样本。类似地，样本S44是块(104)中在Y维度和X维度两者上的第四个样本。由于块的大小是4
×
4个样本，因此S44在右下方处。进一步示出的是遵循类似编号方案的示例参考样本。参考样本用R、其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)来标记。在H.264和H.265两者中，使用与重建中的块相邻地邻近的预测样本。
Telecommunication Union，ITU)
‑
T H.265建议书，“High Efficiency Video Coding”，2016年12月)中描述了各种MV预测机制。在H.265指定的多种MV预测机制中，下面描述的是此后被称为“空本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频流的环路内滤波的方法，包括：获得与所述视频流的当前重建数据块中的至少第一颜色分量的重建样本相关联的至少一个统计属性；基于所述至少一个统计属性在多个样本偏移滤波器之中选择目标样本偏移滤波器，所述目标样本偏移滤波器包括样本增量度量与样本偏移值之间的非线性映射；以及使用所述目标样本偏移滤波器和所述当前重建数据块的第三颜色分量的参考样本对所述当前重建数据块的第二颜色分量的当前样本进行滤波，以生成所述当前样本的滤波重建样本。2.根据权利要求1所述的方法，其中，所述第一颜色分量是与所述第三颜色分量相同的颜色分量。3.根据权利要求1所述的方法，其中，所述第一颜色分量是与所述第二颜色分量相同的颜色分量。4.根据权利要求1所述的方法，其中，所述第二颜色分量是与所述第三颜色分量不同的颜色分量。5.根据权利要求1所述的方法，其中，所述第二颜色分量是与所述第三颜色分量相同的颜色分量。6.根据权利要求1所述的方法，其中，所述至少第一颜色分量包括一个、两个或三个颜色分量。7.根据权利要求1所述的方法，其中，所述至少一个统计属性包括所述当前重建数据块的边缘信息。8.根据权利要求1至7中任一项所述的方法，其中，所述当前重建数据块的所述边缘信息包括在约束方向增强滤波(CDEF)处理中得出的边缘方向；以及所述多个样本偏移滤波器包括与N个CDEF边缘方向对应的N个样本偏移滤波器，N为1与8之间同时包含1和8的整数。9.根据权利要求1至7中任一项所述的方法，其中，以高级语法(HLS)中的帧级别用信号通知所述多个样本偏移滤波器。10.根据权利要求1至7中任一项所述的方法，其中，所述至少一个统计属性包括所述当前重建数据块的平滑度度量。11.根据权利要求10所述的方法，其中，将所述当前重建数据块的所述平滑度度量映射至由M
‑
1个平滑度级别阈值表征的M个预定义的平滑度级别中的一个；所述多个样本偏移滤波器包括与所述M个预定义的平滑度级别对应的M个样本偏移滤波器；以及根据映射至所述平滑度度量的所述M个预定义的平滑度级别中的一个，从所述M个样本偏移滤波器选择所述目标样本偏移滤波器。12.根据权利要求1至7中任一项所述的方法，其中，所述至少一个统计属性包括所述当前重建数据块的编码信息。13.根据权利要求12所述的方法，其中，
编码信息包括所述当前重建数据块的当前预测模式；所述多个样本偏移滤波器对应于不同的预测模式；...

【专利技术属性】
技术研发人员：杜祎鑫，赵欣，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：