用于视频编码的方法和设备技术

本公开内容的各方面提供包括用于视频解码的处理电路的设备和方法。处理电路基于从当前图片的块的一个或更多个相邻块中的重建样本提取的特征向量或特征标量S的一个，从成组变换集确定块的变换候选。成组变换集中的每个变换集可以包括块的一个或更多个变换候选。一个或更多个相邻块可以在当前图片中或与当前图片不同的重建图片中。处理电路基于确定的变换候选重建块的样本。处理电路可以基于块的经编码信息中指示的块的预测模式从成组变换集中选择变换集子组，并且基于重建样本从变换集子组确定变换候选。集子组确定变换候选。集子组确定变换候选。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的方法和设备
引用合并
[0001]本申请要求2021年9月30日提交的美国专利申请第17/490,967号“METHOD AND APPARATUS FOR VIDEO CODING”的优先权权益，该美国专利申请要求2020年12月23日提交的美国临时申请第63/130,249号的“Feature based transform selection”的优先权权益。在此通过引用将在先申请的全部公开内容全部并入。


[0002]本公开内容描述总体上涉及视频编码/解码的实施方式。

技术介绍

[0003]本文提供的
技术介绍
描述是为了总体上呈现本公开内容的上下文的目的。当前署名的专利技术人的工作，就在该
技术介绍
部分中描述该工作的程度而言，以及在提交时可能不构成现有技术的说明书的各方面，既未明示地也未隐含地被承认为是本公开内容的现有技术。
[0004]可以使用具有运动补偿的图片间预测来执行视频编码和解码。未压缩数字视频可以包括一系列图片，每个图片具有例如1920
×
1080个亮度样本和相关色度样本的空间维度。该系列图片可以具有例如每秒60幅图片或60Hz的固定或可变的图片速率(非正式地也称为帧速率)。未压缩视频具有特定的比特率要求。例如，每样本8比特的1080p60 4:2:0视频(60Hz帧速率的1920
×
1080亮度样本分辨率)需要接近1.5Gbit/s带宽。一小时的这样的视频需要超过600千兆字节(GByte)的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩减少输入视频信号中的冗余。压缩可以帮助减少前述带宽或存储空间要求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩两者及其组合。无损压缩是指可以由压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不相同，但是原始信号与重建信号之间的失真足够小，以使得重建信号对于预期应用有用。在视频的情况下，广泛采用有损压缩。容许的失真量取决于应用；例如，某些消费者流式传输应用的用户可以比电视分发应用的用户容忍更高的失真。可实现的压缩比可以反映：较高的可允许/可容忍的失真可以产生较高的压缩比。
[0006]视频编码器和解码器可以利用来自若干宽泛类别的技术，包括例如运动补偿、变换、量化和熵编码。
[0007]视频编解码技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，将图片在空间上细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生(例如独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作经编码视频比特流和视频会话中的第一图片，或用作静止图片。可以使帧内块的样本经受变换，并且可以在熵编码之前量化变换系数。帧内预测可以是使预变换域的样本值
最小的技术。在一些情况下，变换之后的DC值越小，且AC系数越小，在给定量化步长尺寸下表示熵编码之后的块所需的比特越少。
[0008]传统的帧内编码，例如从例如MPEG
‑
2代编码技术中已知的帧内编码，不使用帧内预测。然而，一些较新的视频压缩技术包括从例如在空间相邻的并且按解码顺序在前的数据块的编码/解码期间获得的周围样本数据和/或元数据进行尝试的技术。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片而不是来自参考图片的参考数据。
[0009]可以有许多不同形式的帧内预测。当在给定视频编码技术中可以使用多于一种的这样的技术时，可以以帧内预测模式对所使用的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独地编码或被包括在模式码字中。对于给定模式/子模式/参数组合要使用哪些码字可能对通过帧内预测的编码效率增益有影响，并且用于将码字转换成比特流的熵编码技术也是如此。
[0010]帧内预测的特定模式被引入H.264，在H.265中被改进，并且在诸如联合探索模型(joint exploration model，JEM)、通用视频编码(versatile video coding，VVC)和基准集(benchmark set，BMS)的较新的编码技术中被进一步改进。可以使用属于已经可用的样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对使用方向的参考可以在比特流中编码或可以自身预测。
[0011]参照图1A，在右下方描绘了从H.265的33个可能的预测器方向(对应于35个帧内模式的33个角模式)中已知的九个预测器方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示样本被预测的方向。例如，箭头(102)指示样本(101)是从与水平成45度角的右上的一个或更多个样本预测的。类似地，箭头(103)指示样本(101)是从样本(101)的与水平成22.5度角的左下方的一个或更多个样本来预测的。
[0012]仍然参照图1A，在左上方，描绘了4
×
4个样本的方块(104)(由虚粗体线指示)。方块(104)包括16个样本，每个样本用“S”、其在Y维度上的位置(例如，行索引)和其在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上的第二样本(从顶部)和X维度上的第一样本(从左侧)。类似地，样本S44是块(104)中在Y维度和X维度上的第四样本。由于块的大小是4
×
4个样本，所以S44在右下。进一步显示了遵循类似编号方案的参考样本。参考样本用R、其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)来标记。在H.264和H.265两者中，预测样本与重建中的块相邻；因此不需要使用负值。
[0013]通过复制来自由用信号指示的预测方向所划定的相邻样本的参考样本值，可以进行帧内图片预测。例如，假设经编码视频比特流包括以下信令：对于该块，该信令指示与箭头(102)一致的预测方向，也就是说，从与水平成45度角的右上方的一个或更多个预测样本来对样本进行预测。在这种情况下，样本S41、样本S32、样本S23和样本S14是从相同的参考样本R05预测的。然后从参考样本R08预测样本S44。
[0014]在某些情况下，多个参考样本的值可以例如通过插值来组合，以便计算参考样本；尤其是当方向不能以45度均匀地划分时。
[0015]随着视频编码技术的发展，可能的方向的数目也在增加。在H.264(2003年)中，可以表示九个不同的方向。在H.265(2013年)中增加到33，并且在公开时JEM/VVC/BMS可以支持多达65个方向。已经进行了实验来识别最可能的方向，并且熵编码中的某些技术被用于
以少量的比特表示那些可能的方向，从而对于较不可能的方向接受某些惩罚。此外，有时可以从在相邻的已解码的块中使用的相邻方向来预测方向本身。
[0016]图1B示出了描绘根据JEM的65个帧内预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码器中的视频解码的方法，包括：基于从当前图片中的块的一个或更多个相邻块中的重建样本提取的特征向量或特征标量S中的一个，从成组变换集确定所述块的变换候选，所述成组变换集中的每个变换集包括所述块的一个或更多个变换候选，一个或更多个相邻块在所述当前图片中或不同于所述当前图片的重建图片中；以及基于所确定的变换候选重建所述块的样本。2.根据权利要求1所述的方法，其中，所述确定还包括：基于所述块的经编码信息中指示的所述块的预测模式，从所述成组变换集中选择变换集子组；以及基于从所述块的一个或更多个相邻块中的重建样本提取的所述特征向量或所述特征标量S中的一个，从所述变换集子组确定所述变换候选。3.根据权利要求2所述的方法，其中，从所述变换集子组确定所述变换候选还包括：基于从所述块的一个或更多个相邻块中的所述重建样本提取的所述特征向量或所述特征标量S中的一个，选择所述变换集子组的一个变换集；以及基于在所述经编码信息中用信号指示的索引，从所述变换集子组中的所选择的一个变换集确定所述块的变换候选。4.根据权利要求2所述的方法，其中，从所述变换集子组确定所述变换候选还包括：基于在所述经编码信息中用信号指示的索引，选择所述变换集子组中的一个变换集；以及基于从所述块的一个或更多个相邻块中的所述重建样本提取的所述特征向量或所述特征标量S中的一个，从所述变换集子组中的所选择的一个变换集确定所述块的变换候选。5.根据权利要求2所述的方法，其中，所述确定还包括：基于从所述块的一个或更多个相邻块中的所述重建样本提取的所述特征向量或所述特征标量S中的一个，从所述变换集子组隐式地确定所述变换候选。6.根据权利要求1所述的方法，其中，所述确定还包括：基于对所述块的一个或更多个相邻块中的所述重建样本的统计分析，确定所述特征向量或所述特征标量S中的一个；基于所述块的经编码信息中指示的所述块的预测模式，从所述成组变换集中选择变换集子组；以及执行以下操作中的一个(i)基于所述特征向量或所述特征标量S中的一个，从所述变换集子组确定变换集，(ii)基于所述特征向量或所述特征标量S中的一个，从所述变换集子组确定所述变换候选，或者(iii)基于所述经编码信息中的索引从所述变换集子组中选择所述变换集，并且基于所述特征向量或所述特征标量S中的一个从所选择的变换集确定所述变换候选。
7.根据权利要求6所述的方法，其中，所述特征向量或所述特征标量S中的一个是所述特征标量S；并且确定所述特征向量或所述特征标量S中的一个还包括：将所述特征标量S确定为变量的矩，所述变量指示所述块的一个或更多个相邻块中的所述重建样本的样本值。8.根据权利要求7所述的方法，其中，预先定义阈值集K
s
；并且所述执行包括执行以下操作中的一个(i)基于所述变量的矩和来自所述阈值集K
s
的阈值，从所述变换集子组确定所述变换集，(ii)基于所述变量的矩和所述阈值，从所述子变换集子组确定所述变换候选，或者(iii)基于所述经编码信息中的索引从所述变换集子组中选择所述变换集，并且基于所述变量的矩和所述阈值从所选择的变换集确定所述变换候选。9.根据权利要求8所述的方法，其中，所述变量的矩是所述变量的第一矩、所述变量的第二矩或所述变量的第三矩中的一个，所述块的预测模式是多个预测模式中的一个，并且所述多个预测模式中的每一个对应于所述阈值集K
s
中的唯一阈值子集K
s
’
，所述唯一阈值子集K
s
’
指示所述多个预测模式与所述阈值集K
s
中的多个阈值子集之间的单射映射。10.根据权利要求8的方法，还包括：基于(i)所述块的块大小、(ii)量化参数或(iii)所述块的预测模式中的一个从所述阈值集K
s
中选择所述阈值。11.根据权利要求6所述的方法，其中，所述特征向量或所述特征标量S中的一个是所述特征向量并且确定所述特征向量或所述特征标量S中的一个还包括：将所述特征向量确定为分别指示所述块的左侧的相邻列的重建样本的样本值和所述块的上侧的相邻行的重建样本的样本值的变量的联合变化性。12.根据权利要求11所述的方法，其中，预先定义分类向量集和与所述分类向量集相关联的阈值集K
v...

【专利技术属性】
技术研发人员：马杜，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：