基于模板匹配的自适应运动矢量分辨率(AMVR)制造技术

本公开的各方面提供了用于视频解码的方法和装置。该装置包括处理电路，处理电路从已编码视频码流中解码当前图片中的当前块的预测信息。预测信息指示：(i)具有自适应运动矢量分辨率(AMVR)模式的自适应运动矢量预测(AMVP)模式被应用于当前块，以及(ii)运动信息。处理电路通过以下方式对多个MV分辨率执行模板匹配(TM)：基于多个MV分辨率和运动信息来确定与多个MV分辨率中的每一个相对应的TM成本；基于分别对应于多个MV分辨率中的每一个的已确定的TM成本来对多个MV分辨率进行重新排序；以及从已重新排序的多个MV分辨率中选择一个MV分辨率。处理电路基于所选择的MV分辨率重建当前块。建当前块。建当前块。

【技术实现步骤摘要】
【国外来华专利技术】基于模板匹配的自适应运动矢量分辨率(AMVR)
援引加入
[0001]本申请要求于2022年9月30日提交的标题为“TEMPLATE
‑
MATCHING BASED ADAPTIVE MOTION VECTOR RESOLUTION(AMVR)”的美国专利申请第17/958,161号的优先权权益，该申请要求于2021年10月28日提交的标题为“TEMPLATE
‑
MATCHING BASED ADAPTIVE MOTION VECTOR RESOLUTION(AMVR)”的美国临时申请第63/273,070号以及于2021年12月13日提交的标题为“TEMPLATE
‑
MATCHING BASED ADAPTIVE MOTION VECTOR RESOLUTION(AMVR)”的美国临时申请第63/289,128号的优先权权益，它们的全部内容通过引用并入本文中。


[0002]本申请描述了总体上涉及视频编码的实施例。

技术介绍

[0003]本文所提供的背景描述是出于总体上呈现本公开上下文的目的。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
[0004]未压缩的数字图像和/或视频可以包括一系列图片，每个图片具有例如为1920x 1080的亮度样本及相关的色度样本的空间大小。该一系列图片可以具有例如每秒60幅图片或60Hz的固定的或可变的图片速率(也非正式地称为帧率)。未压缩的图像和/或视频具有特定的比特率要求。例如，每样本8位的1080p60 4:2:0的视频(60Hz帧率的1920x1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时的此类视频需要600GB以上的存储空间。
[0005]图像和/或视频编码和解码的一个目的可以是通过压缩来减少输入图像和/或视频信号中的冗余。压缩可以有助于减小上述带宽和/或存储空间需求，在某些情况下可以减小两个数量级或大于两个数量级。尽管本文的描述使用视频编码/解码作为说明性示例，但是在不脱离本公开的精神的情况下，相同的技术可以以类似的方式应用于图像编码/解码。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，已重建的信号可能与原始信号不同，但是原始信号和重建的信号之间的失真足够小，以使已重建的信号可用于预期的应用。在视频的情况下，广泛使用有损压缩。可容忍的失真量取决于应用，例如某些消费流式应用的用户相比电视分布应用的用户来说可以容忍更高的失真。可达到的压缩率可以反映：更高的可容许/接受的失真可以产生更高的压缩率。
[0006]视频编码器和视频解码器可以利用多种广泛类别的技术，包括例如运动补偿、变换处理、量化以及熵编码。
[0007]视频编解码技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重建的参考图片的样本或其他数据的情况下表示样本值。在某些视频编解码器中，图片在空间上细分为样本块。当以帧内模式对所有样本块进行编码时，该图片可以是帧内图
片。帧内图片及其诸如独立解码器刷新图片之类的派生可以用于重置解码器状态，因此可以用作已编码视频码流和视频会话中的第一张图片或者静止图像。可以使帧内块的样本进行变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是一种使预变换域中的样本值最小化的技术。在某些情况下，变换后的DC值越小，且AC系数越小，则在给定的量化步长下表示熵编码后的块所需的位越少。
[0008]诸如从例如MPEG
‑
2代编码技术中使用的传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括尝试基于例如在对数据块进行编码和/或解码期间获得的周围样本数据和/或元数据来执行预测的技术。该技术在下文称作“帧内预测”技术。请注意，至少在某些情况下，帧内预测仅使用来自正在重建的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0009]帧内预测可以有许多不同形式。当在给定的视频编码技术中可以使用不止一种这样的技术时，正在使用的特定技术可以被编码为使用该特定技术的特定帧内预测模式。在某些情况下，帧内预测模式可以具有子模式和/或参数，其中，这些子模式和/或参数可以被单独编码或包括在用于定义所使用的预测模式的模式码字中。对于给定模式、子模式和/或参数组合使用哪个码字可以对通过帧内预测的编码效率增益产生影响，且用于将码字转换为码流的熵编码技术同样对其也可以产生影响。
[0010]H.264引入了某种帧内预测模式，该帧内预测模式在H.265中得到完善，并在诸如联合探索模型(Joint Exploration Model，JEM)、下一代视频编码(Versatile Video Coding，VVC)、以及基准集(Benchmark Set，BMS)之类的更新编码技术中进一步得到完善。可以使用现有样本的相邻样本值来形成预测块。根据方向将相邻样本的样本值复制到预测块中。对使用方向的参考可以在码流中进行编码，或者可以对其本身进行预测。
[0011]参考图1A，在右下方描绘的是从H.265中定义的33个可能的预测方向(对应于35个帧内模式中的33个角度模式)中得知的九个预测方向的子集。箭头收敛的点(101)表示正在被预测的样本。箭头表示正在被预测的样本的方向。例如，箭头(102)指示根据与水平方向成45度角的右上方的一个或多个样本来预测样本(101)。类似地，箭头(103)指示根据与水平方向成22.5度角的样本(101)的左下方的一个或多个样本来预测样本(101)。
[0012]仍参考图1A，在左上方描绘了4
×
4个样本的正方形块(104)(由粗体虚线指示)。正方形块(104)包括16个样本，每个样本用“S”以及其在Y维度上的位置(例如，行索引)和其在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度中(从顶部开始)的第二个样本和X维度中(从左侧开始)的第一个样本。类似地，样本S44是块(104)在Y维度和X维度上的第四个样本。由于块的大小为4
×
4个样本，因此S44在右下角。还示出了遵循类似编号方案的参考样本。参考样本用R及其相对于块(104)的Y位置(例如行索引)和X位置(列索引)来标记。在H.264和H.265中，预测样本与正在重建的块相邻；因此，不需要使用负值。
[0013]帧内图片预测可以从用信号通知的预测方向所指示的相邻样本中复制参考样本值来操作。例如，假设已编码视频码流包括信令，该信令针对该块指示与箭头(102)一致的预测方向，也就是说，根据与水平方向成45度角的右上方的多个样本来预测样本。在这种情况下，根据同一参考样本R05来预测样本S41，S32，S23和S14。然后根据参考样本R08来预测样本S44。
[0014]在某些情况下，可以例如通过插值来组合多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频解码器中的视频解码的方法，包括：从已编码视频码流中对当前图片中的当前块的预测信息进行解码，所述预测信息指示：(i)具有自适应运动矢量分辨率(AMVR)模式的自适应运动矢量预测(AMVP)模式被应用于所述当前块，以及(ii)运动信息；其中，所述AMVR模式中的运动矢量(MV)分辨率集合能用于所述当前块；通过以下方式对所述MV分辨率集合中的多个MV分辨率执行模板匹配(TM)：基于所述多个MV分辨率和所述运动信息来确定与所述多个MV分辨率中的每一个相对应的TM成本；基于分别对应于所述多个MV分辨率中的每一个的已确定的TM成本来对所述多个MV分辨率进行重新排序；以及从所述已重新排序的多个MV分辨率中选择MV分辨率；以及基于所选择的MV分辨率重建所述当前块。2.根据权利要求1所述的方法，其特征在于，所述确定所述TM成本包括：对于所述MV分辨率集合中的所述多个MV分辨率中的每一个：基于所述当前图片中的所述当前块、所述运动信息和相应的MV分辨率来确定第一参考图片中的第一参考块；以及基于所述第一参考图片中的所述第一参考块的第一参考模板和所述当前图片中的所述当前块的当前模板来确定TM成本。3.根据权利要求1所述的方法，其特征在于：所述多个MV分辨率是所述MV分辨率集合；所述预测信息指示是否将第一MV分辨率应用于所述当前块，所述第一MV分辨率对应于所述分别确定的TM成本中的最小TM成本；响应于所述第一MV分辨率被应用于所述当前块的指示：所述选择所述MV分辨率包括选择所述第一MV分辨率作为所述MV分辨率；以及所述重建所述当前块包括基于所述第一MV分辨率重建所述当前块；以及响应于所述第一MV分辨率不应用于所述当前块的指示：所述选择所述MV分辨率包括从所述已重新排序的多个MV分辨率中的剩余MV分辨率中选择所述MV分辨率，所述剩余MV分辨率不包括所述第一MV分辨率；以及所述重建所述当前块包括基于所选择的MV分辨率重建所述当前块。4.根据权利要求3所述的方法，其特征在于：所述多个MV分辨率包括1/4亮度样本、1/2亮度样本、1亮度样本和4亮度样本。5.根据权利要求3所述的方法，其特征在于：所述第一MV分辨率不应用于所述当前块；所述对所述预测信息进行解码包括对所述已编码视频码流中的索引进行解码；所述选择所述MV分辨率包括基于所述索引从所述已重新排序的多个MV分辨率中的所述剩余MV分辨率中选择第二MV分辨率，所述剩余MV分辨率不包括所述第一MV分辨率；以及所述重建所述当前块包括基于所述第二MV分辨率重建所述当前块。6.根据权利要求1所述的方法，其特征在于：所述MV分辨率集合包括不在所述多个MV分辨率中的第三MV分辨率；
所述预测信息指示所述第三MV分辨率不应用于所述当前块；所述对所述预测信息进行解码包括对所述已编码视频码流中的索引进行解码；所述选择所述MV分辨率包括基于所述索引从所述已重新排序的多个MV分辨率中选择第四MV分辨率；以及所述重建所述当前块包括基于所述第四MV分辨率重建所述当前块。7.根据权利要求6所述的方法，其特征在于：所述MV分辨率集合由1/4亮度样本、1/2亮度样本、1亮度样本和4亮度样本组成；所述第三MV分辨率是1/4亮度样本；以及所述多个MV分辨率由1/2亮度样本、1亮度样本和4亮度样本组成。8.根据权利要求1所述的方法，其特征在于：所述预测信息指示利用双向预测对所述当前块进行编码；以及所述确定与所述多个MV分辨率相对应的所述TM成本包括：对于所述MV分辨率集合中的所述多个MV分辨率中的每一个，基于第一TM成本和第二TM成本来确定TM成本，其中，所述第一TM成本是基于第一参考图片中的第一参考块的第一参考模板和所述当前图片中的所述当前块的当前模板来确定的，所述第二TM成本是基于第二参考图片中的第二参考块的第二参考模板和所述当前图片中的所述当前块的所述当前模板来确定的。9.根据权利要求8所述的方法，其特征在于，对于所述MV分辨率集合中的所述多个MV分辨率中的每一个，所述TM成本是所述第一TM成本和所述第二第一TM成本的加权和。10.根据权利要求8所述的方法，其特征在于，对于所述MV分辨率集合中的所述多个MV分辨率中的每一个，所述TM成本是所述第一TM成本和所述第二TM成本中的最小值或最大值。11.一种用于视频解码的装置，包括：处理电路，被配置成：从已编码视频码流中对当前图片中的当前块的预测信息进行解码，所述预测信息指示：(i)具有自适应运动矢量分辨率(AMVR)模式的自适应运动矢量预测AMVP模...

【专利技术属性】
技术研发人员：陈联霏，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：