视频译码中的双向光流制造技术

一种对视频数据进行解码的方法包括：确定对于视频数据的块启用双向光流(BDOF)；基于对于该块启用BDOF的确定，将该块划分为多个子块；对于多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于各自的失真值，确定对于多个子块的一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的确定，确定用于一个或多个子块中的每个子块的预测样本；以及基于预测样本重构该块。测样本重构该块。测样本重构该块。

【技术实现步骤摘要】
【国外来华专利技术】视频译码中的双向光流
[0001]本申请要求于2021年12月20日递交的美国专利申请第17/645,233号和2020年12月22日递交的美国临时专利申请第63/129,190号的优先权，通过引用将每个申请的完整内容并入本文。美国专利申请第17/645,233号要求于2020年12月22日提交的美国临时申请第63/129,190号的利益。


[0002]本公开涉及视频编码和视频解码。

技术介绍

[0003]数字视频功能能够集成到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、便携式或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实施视频译码技术，诸如那些在由MPEG
‑
2、MPEG
‑
4、ITU
‑
T H.263、ITU
‑
T H.264/MPEG
‑
4第10部分、高级视频译码(AVC)、ITU
‑
T H.265/高效视频译码(HEVC)所定义的标准以及此类标准的扩展中所描述的技术。通过实施此类视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。
[0004]视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被划分成视频块，这些视频块也可以被称为译码树单元(CTU)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来对图片的帧内译码(I)切片中的视频块进行编码。图片的帧间译码(P或B)切片中的视频块可以使用关于同一图片中的相邻块中的参考样本的空间预测或关于其他参考图片中的参考样本的时间预测。图片可以被称为帧，并且参考图片可以被称为参考帧。

技术实现思路

[0005]一般而言，本公开描述了用于解码器侧运动矢量推导的技术(例如，模板匹配、双边匹配、解码器侧运动矢量(MV)细化和/或双向光流(BDOF))。本公开的技术可以应用于任何现有视频译码器，诸如HEVC(高效视频译码)、VVC(多功能视频译码)、基本视频译码(EVC)，或者是任何未来视频译码标准中的高效译码工具。
[0006]在一个或多个示例中，对于BDOF，视频编码器和视频解码器(例如，视频译码器)可以被配置为选择性地确定是否对块的子块执行每像素BDOF，或者是否旁路BDOF。即，视频译码器可以选择每像素BDOF或旁路每像素BDOF(或一般地BDOF)中的一者。以此方式，示例技术可以促进可以提供更好译码性能的译码模式之间的选择，诸如当组合在一起时(例如，其中视频译码器确定对于子块执行每像素BDOF或者对于子块旁路BDOF中的一者)。
[0007]此外，在一些示例中，确定对子块执行每像素BDOF还是旁路BDOF可以基于确定失
真值并将该失真值与阈值进行比较。在一些示例中，视频译码器可以被配置为以这样的方式确定失真值，即当执行每像素BDOF时，用于确定失真值的计算可以被视频译码器重用。例如，如果视频译码器要执行每像素BDOF，则视频译码器可以重用来自为确定失真值而执行的计算的结果来执行每像素BDOF。
[0008]在一个示例中，本公开描述了一种对视频数据进行解码的方法，该方法包括：确定对于视频数据的块启用双向光流(BDOF)；基于对于该块启用BDOF的确定，将该块划分为多个子块；对于多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于各自的失真值，确定对于多个子块的一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的确定，确定用于一个或多个子块中的每个子块的预测样本；以及基于预测样本重构该块。
[0009]在一个示例中，本公开描述了一种用于对视频数据进行解码的设备，该设备包括：被配置为存储视频数据的存储器；以及耦合到存储器的处理器电路，该处理器电路被配置为：确定对于视频数据的块启用双向光流(BDOF)；基于对于该块启用BDOF的确定，将该块划分为多个子块；对于多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于各自的失真值，确定对于多个子块的一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的确定，确定用于一个或多个子块中的每个子块的预测样本；以及基于预测样本重构该块。
[0010]在一个示例中，本公开描述了一种其上存储指令的计算机可读存储介质，该指令在由一个或多个处理执行时进行以下操作：确定对于视频数据的块启用双向光流(BDOF)；基于对于该块启用BDOF的确定，将该块划分为多个子块；对于多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于各自的失真值，确定对于多个子块的一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的确定，确定用于一个或多个子块中的每个子块的预测样本；以及基于预测样本重构该块。
[0011]在一个示例中，本公开描述了一种用于对视频数据进行解码的设备，该设备包括：用于确定对于视频数据的块启用双向光流(BDOF)的部件；用于基于对于该块启用BDOF的确定，将该块划分为多个子块的部件；用于对于多个子块的一个或多个子块中的每个子块，确定各自的失真值的部件；用于基于各自的失真值，确定对于多个子块的一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者的部件；用于基于执行每像素BDOF或旁路BDOF的确定，确定用于一个或多个子块中的每个子块的预测样本的部件；以及用于基于预测样本重构该块的部件。
[0012]在附图和以下描述中阐述一个或多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优势将显而易见。
附图说明
[0013]图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
[0014]图2A和图2B是示出示例四叉树二叉树(QTBT)结构和相对应的译码树单元(CTU)的概念示意图。
[0015]图3是示出可以执行本公开的技术的示例视频编码器的框图。
[0016]图4是示出可以执行本公开的技术的示例视频解码器的框图。
[0017]图5A和图5B是分别示出用于merge模式和高级运动矢量预测器(AMVP)模式的空间相邻运动矢量候选的示例的概念图。
[0018]图6A和图6B是分别示出时间运动矢量预测器(TMVP)候选和运动矢量缩放的示例的概念图。
[0019]图7是示出在初始运动矢量(MV)周围的搜索区域上执行的模板匹配的概念图。
[0020]图8是示出基于时间距离成比例的运动矢量差的示例的概念图。
[0021]图9是示出与时间距离无关而本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对视频数据进行解码的方法，所述方法包括：确定对于所述视频数据的块启用双向光流(BDOF)；基于对于所述块启用BDOF的所述确定，将所述块划分为多个子块；对于所述多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于所述各自的失真值，确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的所述确定，确定用于所述一个或多个子块中的每个子块的预测样本；以及基于所述预测样本重构所述块。2.根据权利要求1所述的方法，其中对于所述多个子块的一个或多个子块中的每个子块，确定各自的失真值包括：对于所述一个或多个子块中的第一子块，确定所述各自的失真值中的第一失真值；以及对于所述一个或多个子块中的第二子块，确定所述各自的失真值中的第二失真值，其中基于所述各自的失真值，确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者包括：对于所述多个子块中的所述第一子块，基于所述第一失真值确定对于所述第一子块启用BDOF；基于对于所述第一子块启用BDOF的所述确定，确定用于细化所述第一子块的第一预测样本集合的每像素运动细化；对于所述多个子块中的所述第二子块，基于所述第二失真值确定旁路BDOF；以及基于对于所述第二块旁路BDOF的所述确定，旁路确定用于细化所述第二子块的第二预测样本集合的每像素运动细化，以及其中基于执行每像素BDOF或旁路BDOF的所述确定，确定用于所述一个或多个子块中的每个子块的所述预测样本包括：对于所述第一子块，基于用于所述第一子块的所述每像素运动细化来确定所述第一子块的细化的第一预测样本集合；以及对于所述第二子块，在没有基于用于细化所述第二预测样本集合的所述每像素运动细化来细化所述第二预测样本集合的情况下，确定所述第二预测样本集合。3.根据权利要求1所述的方法，其中基于所述各自的失真值确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者包括确定对于所述一个或多个子块中的第一子块执行每像素BDOF，所述方法还包括对于所述第一子块中的每个样本确定各自的运动细化，以及其中基于执行每像素BDOF或旁路BDOF的所述确定来确定所述一个或多个子块中的每个子块的所述预测样本包括对于所述第一子块中的每个样本，基于所述各自的运动细化来确定来自所述第一子块的预测块中的样本的各自的细化样本值。4.根据权利要求1所述的方法，还包括：将所述一个或多个子块的第一子块的宽度、所述一个或多个子块的所述第一子块的高
度和第一缩放因子相乘以生成中间值；基于第二缩放因子对所述中间值执行左移操作以生成阈值；以及将所述第一子块的所述各自的失真值中的失真值与所述阈值进行比较，其中基于所述各自的失真值确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者包括基于所述比较确定对于所述第一子块执行每像素BDOF或旁路BDOF中的一者。5.根据权利要求1所述的方法，还包括：为所述一个或多个子块中的第一子块确定第一参考块中的第一样本值集合；用缩放因子对所述第一样本值集合进行缩放，以生成第一缩放样本值集合；为所述一个或多个子块中的所述第一子块确定第二参考块中的第二样本值集合；以及用所述缩放因子对所述第二样本值集合进行缩放，以生成第二缩放样本值集合；其中对于所述多个子块的一个或多个子块中的每个子块确定所述各自的失真值包括对于所述第一子块，基于所述第一缩放样本值集合和所述第二缩放样本值集合，确定所述各自的失真值中的失真值。6.根据权利要求5所述的方法，其中基于所述各自的失真值来确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者包括确定对于所述第一子块执行每像素BDOF，所述方法还包括重用所述第一缩放样本值集合和所述第二缩放样本值集合来确定用于每像素BDOF的每像素运动细化。7.根据权利要求5所述的方法，其中基于所述各自的失真值来确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者包括确定对于所述第一子块执行每像素BDOF，所述方法还包括重用所述第一缩放样本值集合和所述第二缩放样本值集合来确定用于BDOF的运动细化。8.根据权利要求1所述的方法，其中重构所述块包括：接收指示所述预测样本与所述块的样本之间的差的残差值；以及将所述残差值加到所述预测样本以重构所述块。9.一种用于对视频数据进行解码的设备，所述设备包括：存储器，被配置为存储所述视频数据；以及处理电路，耦合到所述存储器并且被配置为：确定对于所述视频数据的块启用双向光流(BDOF)；基于对于所述块启用BDOF的所述确定，将所述块划分为多个子块；对于所述多个子块的一个或多个子块中的每个子块，确定各自的失真值；基于所述各自的失真值，确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者；基于执行每像素BDOF或旁路BDOF的所述确定，确定用于所述一个或多个子块中的每个子块的预测样本；以及基于所述预测样本重构所述块。10.根据权利要求9所述的设备，其中为了对于所述多个子块的一个或多个子块中的每个子块，确定各自的失真值，所述处理电路被配置为：
对于所述一个或多个子块中的第一子块，确定所述各自的失真值中的第一失真值；以及对于所述一个或多个子块中的第二子块，确定所述各自的失真值中的第二失真值，其中为了基于所述各自的失真值，确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者，所述处理电路被配置为：对于所述多个子块中的所述第一子块，基于所述第一失真值确定对于所述第一子块启用BDOF；基于对于所述第一子块启用BDOF的所述确定，确定用于细化所述第一子块的第一预测样本集合的每像素运动细化；对于所述多个子块中的所述第二子块，基于所述第二失真值确定旁路BDOF；以及基于对于所述第二块旁路BDOF的所述确定，旁路确定用于细化所述第二子块的第二预测样本集合的每像素运动细化，以及其中为了基于执行每像素BDOF或旁路BDOF的所述确定，确定用于所述一个或多个子块中的每个子块的所述预测样本，所述处理电路被配置为：对于所述第一子块，基于用于所述第一子块的所述每像素运动细化来确定所述第一子块的细化的第一预测样本集合；以及对于所述第二子块，在没有基于用于细化所述第二预测样本集合的所述每像素运动细化来细化所述第二预测样本集合的情况下，确定所述第二预测样本集合。11.根据权利要求9所述的设备，其中为了基于所述各自的失真值确定对于所述多个子块的所述一个或多个子块中的每个子块执行每像素BDOF或旁路BDOF中的一者，所述处理电路被配置为确定对于所述一个或多个子块中的第一子块执行每像素BDOF，其中，所述处理电路还被配置为对于所述第一子块中的每个样本确定各自的运动细化，以及其中为了基于执行每像素BDOF或旁路BDOF的所述确定来确定所述一个或多个子块中的每个子块的所述预测样本，所述处理电路被配置为对于所述第一子块中的每个样本，基于所述各自的运动细化来确定来自所述第一子块的预测块中的样本的各自的细化样本值。12.根据权利要求9所述的设备，其中所述处理电路被配置为：将所述一个或多个子块的第一子块的宽度、所述一个或多个子块的所述第一子块的高度和...

【专利技术属性】
技术研发人员：张智，黄晗，CC，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：