视频译码中的模板匹配制造技术

视频解码器可以被配置为：确定当前块的运动向量和运动向量精度；标识当前图片内的当前块模板；在搜索区域内搜索对应于当前块模板的最终参考块模板，其中，为了在搜索区域内搜索，一个或多个处理器还被配置为：基于运动向量来标识初始参考块模板，使用设置为初始步长的步长在初始参考块模板周围搜索其他参考块模板，以及从初始步长迭代地减小步长，直到步长设置为等于运动向量精度的最终步长；基于最终参考块模板来确定当前块的预测块。块模板来确定当前块的预测块。块模板来确定当前块的预测块。

【技术实现步骤摘要】
【国外来华专利技术】视频译码中的模板匹配
[0001]本申请要求于2021年12月21日提交的美国专利申请号17/558,119和于2020年12月29日提交的美国临时专利申请号63/131,676的优先权，其全部内容通过引用并入本文中。于2021年12月21日提交的美国专利申请17/558,119要求于2020年12月29日提交的美国临时专利申请63/131,676的权益。


[0002]本公开涉及视频编码和视频解码。

技术介绍

[0003]数字视频能力可以被结合到多种设备中，这些设备包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实施视频译码技术，诸如在由MPEG
‑
2、MPEG
‑
4、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4，第10部分，高级视频译码(AVC)、ITU
‑
T H.265/高效视频译码(HEVC)以及这些标准的扩展所定义的标准中描述的那些技术。通过实施这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
[0004]视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被划分成视频块，这些视频块也可以被称为译码树单元(CTU)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来对图片的帧内译码(I)切片中的视频块进行编码。图片的帧间译码(P或B)切片中的视频块可以使用关于同一图片中的相邻块中的参考样本的空间预测或关于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

技术实现思路

[0005]视频解码器可以被配置为执行模板匹配。当根据模板匹配模式解码视频数据时，块的一些或所有运动信息不是用信令通知，而是由视频解码器推导。可以执行模板匹配，用于从候选列表中选择运动向量候选和/或用于运动向量细化。模板匹配可以应用于高级运动向量预测(AMVP)模式和常规merge模式。在AMVP模式中，可以使用模板匹配从候选列表中选择运动向量预测器(MVP)候选，以标识列表中在当前块模板与参考块模板之间具有最小差异的候选。在常规merge模式中，模板匹配模式标志可以用信令通知，以指示模板匹配的使用，然后，模板匹配可以用于从merge候选列表中选择的运动向量的运动向量细化。
[0006]当执行模板匹配时，视频解码器在当前图片中的参考模板(当前CU的顶部相邻块和/或左侧相邻块)与参考图片的搜索区域中的与参考模板大小相同的对应模板区域之间找到最接近的匹配。例如，参考图片中的搜索区域可以相对于当前CU来标识。
[0007]如上文所介绍，视频解码器可以被配置为执行运动向量细化。一些运动向量细化过程利用基于图案的运动向量搜索过程，该过程可以包括分层结构。使用指定的搜索图案，视频解码器确定参考模板和当前图片中的多个对应模板区域的模板匹配成本。分层结构指定了一个迭代过程来细化运动，以粗精度(例如，1/4像素)开始，并且以精精度(例如，1/8像素)结束。在一个示例中，视频解码器可以被配置为首先用菱形图案以四分之一亮度样本精度搜索运动向量，接着用十字形图案以四分之一亮度样本精度搜索运动向量，并且接着用十字形图案以八分之一亮度样本精度搜索运动向量。
[0008]以四分之一像素步长开始运动向量细化过程，而不考虑被细化的运动向量的运动向量精度，可能在一些译码场景中引入不期望的复杂度和舍入误差。对于这些译码场景，这可能导致译码增益方面的较低性能。为了解决这个潜在问题，本公开描述了用于将模板匹配中使用的最精细的运动向量精度与正被细化的运动向量的运动向量精度对准的技术。通过从初始步长迭代地减小步长，直到步长被设置为等于运动向量精度的最终步长，本公开的技术可以产生减小由运动向量细化过程引入的复杂度和舍入误差的优点。
[0009]根据一个实例，一种用于解码视频数据的设备包括一个或多个处理器，在电路中实施，并且被配置为：确定当前图片的当前块以帧间预测模式编码；基于帧间预测模式确定当前块的运动向量；确定运动向量的运动向量精度；标识当前图片内的当前块模板；在搜索区域内搜索对应于当前块模板的最终参考块模板，其中，为了在搜索区域内搜索，一个或多个处理器还被配置为：基于运动向量来标识初始参考块模板，使用设置为初始步长的步长在初始参考块模板周围搜索其他参考块模板，以及从初始步长迭代地减小步长，直到步长设置为等于运动向量精度的最终步长；基于最终参考块模板来确定当前块的预测块；基于所确定的预测块解码当前图片；以及输出当前图片的经解码的版本。
[0010]根据另一示例，一种解码视频数据的方法包括：确定当前图片的当前块以帧间预测模式编码；基于帧间预测模式确定当前块的运动向量；确定运动向量的运动向量精度；标识当前图片内的当前块模板；在搜索区域内搜索对应于当前块模板的最终参考块模板，其中，在搜索区域内搜索包括：基于运动向量来标识初始参考块模板，使用设置为初始步长的步长在初始参考块模板周围搜索其他参考块模板，以及从初始步长迭代地减小步长，直到步长设置为等于运动向量精度的最终步长；基于最终参考块模板来确定当前块的预测块；基于所确定的预测块解码当前图片；以及输出当前图片的经解码的版本。
[0011]根据另一示例，一种计算机可读存储介质存储指令，当指令由一个或多个处理器执行时，使一个或多个处理器：确定当前图片的当前块以帧间预测模式编码；基于帧间预测模式确定当前块的运动向量；确定运动向量的运动向量精度；标识当前图片内的当前块模板；在搜索区域内搜索对应于当前块模板的最终参考块模板，其中，为了在搜索区域内搜索，指令使一个或多个处理器：基于运动向量来标识初始参考块模板，使用设置为初始步长的步长在初始参考块模板周围搜索其他参考块模板，以及从初始步长迭代地减小步长，直到步长设置为等于运动向量精度的最终步长；基于最终参考块模板来确定当前块的预测块；基于所确定的预测块解码当前图片；以及输出当前图片的经解码的版本。
[0012]根据另一示例，一种用于解码视频数据的设备包括：用于确定当前图片的当前块以帧间预测模式编码的部件；用于基于帧间预测模式确定当前块的运动向量的部件；用于确定运动向量的运动向量精度的部件；用于标识当前图片内的当前块模板的部件；用于在
搜索区域内搜索对应于当前块模板的最终参考块模板的部件，其中，用于在搜索区域内搜索的部件包括：用于基于运动向量来标识初始参考块模板的部件，用于使用设置为初始步长的步长在初始参考块模板周围搜索其他参考块模板的部件，以及用于从初始步长迭代地减小步长，直到步长设置为等于运本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码视频数据的设备，所述设备包括：存储器，被配置为存储所述视频数据；一个或多个处理器，在电路中实施，并且被配置为：确定当前图片的当前块以帧间预测模式编码；基于所述帧间预测模式确定所述当前块的运动向量；确定所述运动向量的运动向量精度；标识所述当前图片内的当前块模板；在搜索区域内搜索对应于所述当前块模板的最终参考块模板，其中，为了在所述搜索区域内搜索，所述一个或多个处理器还被配置为：基于所述运动向量来标识初始参考块模板，使用设置为初始步长的步长在所述初始参考块模板周围搜索其他参考块模板，以及从所述初始步长迭代地减小所述步长，直到所述步长设置为等于所述运动向量精度的最终步长；基于所述最终参考块模板来确定所述当前块的预测块；基于所确定的预测块解码所述当前图片；以及输出所述当前图片的经解码的版本。2.根据权利要求1所述的设备，其中，为了从所述初始步长迭代地减小所述步长，直到所述步长设置为等于所述运动向量精度的所述最终步长，所述一个或多个处理器还被配置为：确定所述步长等于所述运动向量精度；以及响应于确定所述步长等于所述运动向量精度，终止迭代地减小所述步长。3.根据权利要求1所述的设备，其中，为了迭代地减小所述初始步长，直到所述最终步长等于所述运动向量精度，所述一个或多个处理器还被配置为：使用所述初始步长在所述初始参考块模板周围搜索所述其他参考块模板，以确定第一经细化的运动向量；迭代地将所述步长从所述初始步长减小到更精细的精度步长；基于所述第一经细化的运动向量来标识新的初始参考块模板；以及使用所述更精细的精度步长在所述新的初始参考块模板周围搜索第二组其他参考块模板，以确定第二经细化的运动向量。4.根据权利要求1所述的设备，其中，所述初始步长等于n像素，并且为了从所述初始步长迭代地减小所述步长，直到所述步长设置为等于所述运动向量精度的所述最终步长，所述一个或多个处理器还被配置为将步长从n像素减小到n/2像素。5.根据权利要求1所述的设备，其中，用于在所述搜索区域内进行搜索的所述步长的所有值都大于或等于所述运动向量精度。6.根据权利要求1所述的设备，其中，为了迭代地减小所述步长，所述一个或多个处理器还被配置为将所述步长减小1/2倍。7.根据权利要求1所述的设备，其中，为了迭代地减小所述初始步长，直到所述最终步长等于所述运动向量精度，所述一个或多个处理器还被配置为：使用所述初始步长和第一搜索图案在所述初始参考块模板周围搜索所述其他参考块
模板，以确定第一经细化的运动向量；基于所述第一经细化的运动向量来标识新的初始参考块模板；以及使用所述初始步长和第二搜索图案在所述新的初始参考块模板周围搜索第二组其他参考块模板，以确定第二经细化的运动向量。8.根据权利要求1所述的设备，其中，所述运动向量标识参考图片中的参考块的左上样本，并且所述搜索区域是左上样本的x方向上的8个样本内和左上样本的y方向上的8个样本内的区域。9.根据权利要求1所述的设备，其中，所述运动向量精度和所述最终步长大于1/8像素。10.根据权利要求1所述的设备，其中，所述帧间预测模式包含AMVP模式，并且确定所述当前块的所述运动向量精度包括接收比特流中指示所述运动向量精度的语法元素。11.根据权利要求1所述的设备，其中，所述帧间预测模式包括merge模式，并且确定所述当前块的所述运动向量精度包括根据merge列表中的候选确定所述运动向量精度。12.根据权利要求1所述的设备，其中，为了输出所述当前图片的所述经解码的版本，所述一个或多个处理器还被配置为输出所述当前图片的所述经解码的版本用于显示。13.根据权利要求1所述的设备，其中，所述用于解码的设备被配置为解码所述当前图片的所述当前块，作为执行所述当前图片的编码过程的一部分，并且其中，为了输出所述当前图片的所述经解码的版本，所述一个或多个处理器被进一步配置为存储所述当前图片的所述经解码的版本，以用于编码所述视频数据的后续块。14.根据权利要求1所述的设备，其中，所述设备包括无线通信设备，还包括被配置为接收经编码的视频数据的接收器。15.根据权利要求14所述的设备，其中，所述无线通信设备包括电话手机，并且其中，所述接收器被配置为根据无线通信标准解调包括所述经编码的视频数据的信号。16.根据权利要求1所述的设备，还包括被配置为显示经解码的视频数据的显示器。17.根据权利要求1所述的设备，其中，所述设备包括计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。18.根据权利要求1所述的设备，其中，所述设备包括被配置为捕获所述视频数据的相机。19.一种对视频数据进行解码的方法，所述方法包括：确定当前图片的当前块以帧间预测模式编码；基于所述帧间预测模式确定所述当前块的运动向量；确定所述运动向量的运动向量精度；标识所述当前图片内的当前块模板；在搜索区域内搜索对应于所述当前块模板的最终参考块模板，其中，在所述搜索区域内搜索包括：基于所述运动向量来标识初始参考块模板，使用设置为初始步长的步长在所述初始参考块模板周围搜索其他参考块模板，以及从所述初始步长迭代地减小所述步长，直到所述步长设置为等于所述运动向量精度的最终步长；基于所述最终参考块模板来确定所述当前块的预测块；
基于所确定的预测块解码所述当前图片；以及输出所述当前图片的经解码的版本。20.根据权利要求19所述的方法，其中，从所述初始步长迭代地减小所述步长，直到所述步长设置为等于所述运动向量精度的所述最终步长，包括：确定所述步长等于所述运动向量精度；以及响应于确定所述步长等于所述运动向量精度，终止迭代地减小所述步长。21.根据权利要求19所述的方法，其中，迭代地减小所述初始步长，直到所述最终步长等于所述运动向量精度包括：使用所述初始步长在所述初始参考块模板周围搜索所述其他参考块模板，以确定第一经细化的运动向量；迭代地将所述步长从所述初始步长减小到更精细的精度步长；基于所述第一经细化的运动向量来标识新的初始参考块模板；以及使用所述更精细的精度步长在所述新的初始参考块模板周围搜索第二组其他参考块模板，以确定第二经细化的运动向量。22.根据权利要求19所述的方法，其中，所述初始步长等于n像素，并且从所述初始步长迭代地减小所述步长，直到所述步长被设置为等于所述运动向量精度的所述最终步长，包括将所述步长从n像素减小到n/2像素。23.根据权利要求19所述的方法，其中，用于在所述搜索区域内进行搜索的所述步长的所有值都大于或等于所述运动向量精度。24.根据权利要求19所述的方法，其中，迭代地减小所述步长包括将所述步长减小1/2倍。25.根据权利...

【专利技术属性】
技术研发人员：CC，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：