用于交叉分量级重建的主变换制造技术

本公开总体上涉及视频编解码，并且具体地涉及交叉分量级重建。例如，公开了一种用于处理视频数据的方法，该方法可以包括：从视频块的码流提取第一颜色分量的第一变换块和第二颜色分量的第二变换块；确定第一变换块中的变换系数均为零；确定CCLR被应用于第一变换块；修正第一变换块中的变换系数中的一个或多个变换系数，以得到修正的第一变换块；确定用于修正的第一变换块的目标变换核；基于目标变换核对修正的第一变换块执行逆变换以获得目标块；以及至少基于目标块重建视频块的第一颜色分量。分量。分量。

【技术实现步骤摘要】
【国外来华专利技术】用于交叉分量级重建的主变换
引用并入
[0001]本申请基于并且要求2022年10月14日提交的名称为“用于交叉分量级重建的主变换(PRIMARY TRANSFORMS FOR CROSS
‑
COMPONENT LEVEL RECONSTRUCTION)”的美国非临时申请号17/966,390的优先权，该申请基于并且要求2021年12月13日提交的美国临时申请号63/289,133和2021年10月29日提交的美国临时申请号63/273,789、两者名称均为“用于交叉分量级重建的主变换(PRIMARY TRANSFORMS FOR CROSS
‑
COMPONENT LEVEL RECONSTRUCTION)”的优先权。这些在先专利申请通过引用以其整体并入本文。


[0002]本公开总体上涉及一组高级视频编码/解码技术，并且更具体地涉及用于基于偏移的交叉分量方法的主变换，该基于偏移的交叉分量方法在解量化之前或之后对变换系数进行修正。

技术介绍

[0003]本文中提供的背景描述是为了总体上呈现本公开的上下文。当前署名的专利技术人的工作在该
技术介绍
部分中描述的程度上以及在提交本申请时可能不构成现有技术的描述的各方面既不明示地也不暗示地被认为是本公开的现有技术。
[0004]可以使用具有运动补偿的帧间预测来执行视频编码和解码。未压缩数字视频可以包括一系列图片，每个图片具有例如1920
×
1080亮度样本和相关联的全采样或子采样色度样本的空间维度。系列图片可以具有固定或可变的图片速率(可替代地被称为帧速率)，例如每秒60个图片或每秒60个帧。未压缩视频对于流式传输或数据处理具有特定的比特率要求。例如，像素分辨率为1920
×
1080、帧速率为60帧/秒、色度子采样为4:2:0(8比特/像素/颜色信道)的视频需要接近1.5Gbit/s的带宽。一个小时的这种视频需要超过600GB的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩来减少未压缩的输入视频信号中的冗余。压缩可以帮助减少上述带宽和/或存储空间要求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指经由解码过程从压缩的原始信号中重建原始信号的精确副本的技术。有损压缩是指其中原始视频信息在编码期间未被完全保留并且在解码期间不可完全恢复的编码/解码过程。当使用有损压缩时，重建信号可能与原始信号不同，但是原始信号与重建信号之间的失真小到足以使重建信号可用于预期应用，尽管有一些信息损失。在视频的情况下，有损压缩广泛用于许多应用中。可容许的失真的量取决于应用。例如，某些消费视频流式传输应用的用户可以容忍比电影或电视广播应用的用户更高的失真。可以选择或调整特定编码算法可实现的压缩比以反映各种失真容限：较高的可容忍失真通常允许产生较高损失和较高压缩比的编码算法。
[0006]视频编码器和解码器可以利用来自若干广泛类别和步骤的技术，包括(例如)运动补偿、傅立叶变换、量化及熵编码。
[0007]视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分成样本块。当所有样本块都以帧内模式编码时，该图片可以被称为帧内图片。帧内图片及其派生图片(诸如独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作已编码视频码流和视频会话中的第一图片，或用作静止图像。然后，帧内预测之后的块的样本可以经过变换到频域，并且可以在熵编码之前对如此生成的变换系数进行量化。帧内预测表示使预变换域中的样本值最小化的技术。在一些情况下，变换之后的DC值越小，并且AC系数越小，则在给定量化步长下表示熵编码之后的块所需的比特越少。
[0008]诸如从例如MPEG
‑
2代编码技术中已知的传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括基于例如周围样本数据和/或元数据来尝试对块进行编码/解码的技术，该周围样本数据和/或元数据是在空间相邻的编码和/或解码期间获得的并且在解码顺序上在对数据块进行帧内编码或解码之前。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片的参考数据，而不使用来自其它参考图片的参考数据。
[0009]可以有许多不同形式的帧内预测。当在给定视频编码技术中可获得多于一种这样的技术时，所使用的技术可以被称为帧内预测模式。可以在特定编解码器中提供一种或多种帧内预测模式。在某些情况下，模式可以具有子模式和/或可以与各种参数相关联，并且用于视频块的模式/子模式信息和帧内编码参数可以被单独地编码或共同包括在模式码字中。用于给定模式、子模式和/或参数组合的这种码字可以影响通过帧内预测的编码效率增益，并且因此可以影响用于将码字转换成码流的熵编码技术。
[0010]帧内预测的某种模式与H.264一起被引入，在H.265中被改进，并且在诸如联合探索模型(JEM)、通用视频编码(VVC)和基准集(BMS)的较新的编码技术中被进一步改进。通常，对于帧内预测，可以使用已经变得可用的相邻样本值来形成预测器块。例如，可以将沿着特定方向和/或线的相邻样本的特定集合的可用值复制到预测器块中。对使用方向的参考可以在码流中编码或本身可以被预测。
[0011]参考图1A，在右下方描绘了在H.265的33个可能的帧内预测器方向(与H.265中指定的35种帧内模式的33种角度模式相对应)中指定的九个预测器方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示使用相邻样本来预测101处的样本的方向。例如，箭头(102)指示样本(101)是从右上方的一个或多个相邻样本以与水平方向成45度角来预测的。类似地，箭头(103)指示样本(101)是从样本(101)左下方的一个或多个相邻样本以与水平方向成22.5度角来预测的。
[0012]仍然参考图1A，在左上方描绘了4
×
4样本的正方形块(104)(由虚线黑体线表示)。正方形块(104)包括16个样本，每个样本标记有“S”、其在Y维度中的位置(例如，行索引)和其在X维度中的位置(例如，列索引)。例如，样本S21是Y维度上的第二样本(从顶部)和X维度上的第一样本(从左侧)。类似地，样本S44是块(104)中Y维度和X维度上的第四样本。由于块的大小是4
×
4样本，因此S44在右下。进一步示出了遵循类似编号方案的示例参考样本。参考样本标记有R、其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)。在H.264和H.265中，使用与重建中的块邻近地相邻的预测样本。
[0013]块104的帧内图片预测可以通过根据用信号通知的预测方向从相邻样本复制参考
样本值来开始。例如，假设已编码视频码流包括信令，对于该块104，该信令指示箭头(102)的预测方向——即，样本是从右上方的一个或多个预测样本以与水平方本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频处理的方法，其特征在于，所述方法包括：接收视频块的码流，所述视频块包括第一颜色分量的第一变换块和第二颜色分量的第二变换块，其中所述第一变换块和所述第二变换块是同位块；从所述视频块的所述码流获得所述第一颜色分量的第一变换块和所述第二颜色分量的第二变换块；确定第一标志，所述第一标志指示所述第一变换块中的所有变换系数均为零；确定第二标志，所述第二标志指示交叉分量级重建(CCLR)被应用于所述第一变换块；以及响应于确定CCLR被应用于所述第一变换块：通过添加一个或多个偏移值来修正所述第一变换块中的所述变换系数中的一个或多个变换系数，以获得修正的第一变换块，所述一个或多个偏移值是基于所述第二变换块中的、与所述第一变换块中的一个或多个变换系数同位的变换系数而导出的；确定用于所述修正的第一变换块的目标变换核；基于所述目标变换核对所述修正的第一变换块执行逆变换以获得目标块；以及至少基于所述目标块重建所述视频块的所述第一颜色分量。2.根据权利要求1所述的方法，其特征在于，所述第一颜色分量包括一个色度分量，而所述第二颜色分量包括另一色度分量；所述第一颜色分量包括亮度分量，而所述第二颜色分量包括一个色度分量；或者所述第一颜色分量包括一个色度分量，而所述第二颜色分量包括亮度分量。3.根据权利要求1至2中任一项所述的方法，其特征在于，确定所述目标变换核包括：将用于所述第二变换块的相同变换核，选择为所述修正的第一变换块的所述目标变换核。4.根据权利要求1至2中任一项所述的方法，其特征在于，确定所述目标变换核包括：提取在所述码流中用信号通知的指示符，其中，所述指示符指定所述目标变换核，并且所述指示符是响应于确定所述CCLR被应用于所述第一变换块而用信号通知的；以及基于所述指示符来选择所述目标变换核。5.根据权利要求1至2中任一项所述的方法，其特征在于，确定所述目标变换核包括：响应于所述视频块是使用帧内预测方式预测的，基于所述帧内预测的模式导出所述目标变换核。6.根据权利要求5所述的方法，其特征在于，当CCLR没有被应用于所述第二变换块时，所述目标变换核不同于用于所述第二变换块的变换核。7.根据权利要求1所述的方法，其特征在于，确定所述目标变换核包括：响应于所述视频块是帧间预测的，根据与所述第一变换块同位的亮度变换块来选择所述目标变换核。8.根据权利要求1至2中任一项所述的方法，其特征在于，确定所述目标变换核包括：基于所述第一变换块的块大小从核列表中选择所述目标变换核，其中所述核列表是预定义的或在所述码流中用信号通知的。9.根据权利要求1至2中任一项所述的方法，其特征在于，仅当所述第一变换块与预定义的主变换类型集合相关联时，CCLR才被允许应用于所述第一变换块。
10.根据权利要求9所述的方法，其特征在于，与所述预定义的主变换类型集合中的每个主变换类型相关联的变换是二维变换，所述二维变换是由两个一维变换形成的，其中所述两个一维变换都是离散余弦变换(DCT)或都是增量距离变换(IDT)。11.根据权利要求1至2中任一项所述的方法，其特征在于，进一步包括：基于以下各项导出所述一个或多个偏移值：1)所述第二变换块中的变换系数，所述第二变换块中的变换系数与所述第一变换块中的所述变换系数中的所述一个或多个变换系数同位，以及2)所述目标变换核。12.一种用于视频处理的设备，所述设备包括用于存储计算机指令的存储器和与所述存储器通信的处理器，其特征在于，当所述处理器执行所述计算机指令时，所述处理器被配置为使所述设备：接收包括第一颜色分量的第一变换块和第二颜色分量的第二变换块的视频块的码流，其中所述第一变换块和所述第二变换块是同位块；从所述视频块的所述码流获得所述第一颜色分量的所述第一变换块和所述第二颜色分量的所...

【专利技术属性】
技术研发人员：马杜，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：