不同运动矢量细化中的基于区域的梯度计算制造技术

提供了一种视频处理方法，包括：使用在视频的当前视频块的子块级别执行的仿射模式运动补偿来生成该当前视频块的预测块；对当前视频块的区域执行梯度计算，以使用利用光流的预测细化(PROF)过程来细化预测块，其中，区域的尺寸(M

【技术实现步骤摘要】
【国外来华专利技术】不同运动矢量细化中的基于区域的梯度计算
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或依据巴黎公约的规则，本申请旨在及时要求于2019年4月19日提交的第PCT/CN2019/083434号国际专利申请和2019年6月25日提交的第PCT/CN2019/092762号国际专利申请的优先权和利益。前述申请的全部公开通过引用而并入作为本申请的公开的一部分。


[0003]本专利文档涉及视频处理技术、设备和系统。

技术介绍

[0004]尽管视频压缩技术有所进步，但数字视频仍然在互联网和其它数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]与数字视频处理相关的设备、系统和方法。所描述的方法可以被应用于现有的视频编解码标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频编解码标准或视频编解码器。
[0006]在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：使用在视频的当前视频块的子块级别执行的仿射模式运动补偿来生成该当前视频块的预测块；对当前视频块的区域执行梯度计算，以使用利用光流的预测细化(PROF)过程来细化预测块，其中，区域的尺寸(M
×
N)不同于当前视频块的子块的尺寸，其中，M和N是正整数；以及基于梯度计算来执行当前视频块和视频的编解码表示之间的转换。
>[0007]在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：为具有第一尺寸的视频的当前视频块推导最终预测块，其中该最终预测块是通过使用在具有根据规则的第二尺寸的视频区域上执行的梯度计算来细化一个或多个中间预测块而计算的，其中，该细化使用光流过程；以及使用最终预测块来执行当前视频块和视频的编解码表示之间的转换。
[0008]在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：使用双向光流(BDOF)或利用光流的预测细化(PROF)为视频的当前视频块推导运动信息；对当前视频块的区域中的样点执行梯度计算，使得区域中的至少一个样点从梯度计算中被省略；以及基于梯度计算来执行当前视频块和包括该当前视频块的视频的编解码表示之间的转换，其中，当前视频块的一个或多个初始预测在子块级别进行计算并在PROF期间使用光流计算进行细化，或者一个或多个初始预测在BDOF期间使用空域和时域梯度进行细化。
[0009]在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该
方法包括：通过基于根据精度规则的初始预测样点的梯度使用光流计算来细化视频的当前视频块的一个或多个初始预测，为该当前视频块确定当前视频块的最终预测块；以及使用最终预测块来执行当前视频块和编解码表示之间的转换，其中，光流计算包括利用光流的预测细化(PROF)过程或双向光流(BDOF)过程，其中，精度规则指定使用相同的精度用于表示PROF过程和BDOF过程两者的梯度。
[0010]在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：通过使用光流计算来细化视频的当前视频块的一个或多个初始预测，为该当前视频块和视频的编解码表示之间的转换确定当前视频块的最终预测块；以及使用最终预测块来执行该转换，其中，光流计算包括利用光流的预测细化(PROF)过程和/或双向光流(BDOF)过程，其中，光流计算还包括根据规则适用于PROF过程或BDOF过程中的至少一个的填充操作，以推导填充样点。
[0011]在又一个代表性方面，上述方法以处理器可执行代码的形式被体现并且被存储在计算机可读程序介质中。
[0012]在又一个代表性方面，公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
[0013]在又一个代表性方面，视频解码器装置可以实施如本文所描述的方法。
[0014]在附图、说明书和权利要求书中更详细地描述了所公开的技术的以上以及其它方面和特征。
附图说明
[0015]图1示出了构建Merge候选列表的示例。
[0016]图2示出了空域候选的位置的示例。
[0017]图3示出了对其进行空域Merge候选的冗余检查的候选对的示例。
[0018]图4A和图4B示出了基于当前块的尺寸和形状的第二预测单元(Prediction Unit，PU)的位置的示例。
[0019]图5示出了用于时域Merge候选的运动矢量缩放的示例。
[0020]图6示出了时域Merge候选的候选位置的示例。
[0021]图7示出了生成组合的双向预测Merge候选的示例。
[0022]图8示出了构建运动矢量预测候选的示例。
[0023]图9示出了用于空域运动矢量候选的运动矢量缩放的示例。
[0024]图10示出了使用用于编解码单元(Coding Unit，CU)的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)算法的运动预测的示例。
[0025]图11示出了由空时运动矢量预测(Spatial
‑
Temporal Motion Vector Prediction，STMVP)算法使用的具有子块的编解码单元(CU)和邻近块的示例。
[0026]图12A和12B示出了当使用重叠块运动补偿(OBMC)算法时子块的示例快照(snapshot)。
[0027]图13示出了用于推导用于局部照明补偿(LIC)算法的参数的邻近样点的示例。
[0028]图14示出了简化的仿射运动模型的示例。
[0029]图15示出了每个子块的仿射运动矢量场(MVF)的示例。
[0030]图16示出了用于AF_INTER仿射运动模式的运动矢量预测(MVP)的示例。
[0031]图17A和图17B示出了AF_MERGE仿射运动模式的示例候选。
[0032]图18示出了模式匹配的运动矢量推导(PMMVD)模式中的双边匹配的示例，该模式是基于帧速率上转换(FRUC)算法的特殊Merge模式。
[0033]图19示出了FRUC算法中的模板匹配的示例。
[0034]图20示出了FRUC算法中的单边运动估计的示例。
[0035]图21示出了由双向光流(BIO)算法使用的光流轨迹的示例。
[0036]图22A和图22B示出了在没有块扩展的情况下使用双向光流(BIO)算法的示例快照。
[0037]图23示出了在BIO中使用的插值样点的示例。
[0038]图24示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)算法的示例。
[0039]图25示出了子块MV VSB和像素Δv(i,j)的示例。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频处理的方法，包括：使用在视频的当前视频块的子块级别执行的仿射模式运动补偿来生成所述当前视频块的预测块；对所述当前视频块的区域执行梯度计算，以使用利用光流的预测细化(PROF)过程来细化所述预测块，其中，所述区域的尺寸(M
×
N)不同于所述当前视频块的子块的尺寸，其中，M和N是正整数；以及基于梯度计算来执行所述当前视频块和所述视频的编解码表示之间的转换。2.根据权利要求1所述的方法，其中，所述区域的尺寸大于所述子块的尺寸。3.根据权利要求1或2所述的方法，其中，M和N是预定义的正整数。4.根据权利要求1或2所述的方法，其中，所述区域的尺寸基于所述子块的尺寸。5.根据权利要求1所述的方法，其中，所述PROF过程中的填充操作被应用于推导(M
×
N)区域级别的梯度。6.根据权利要求1至5中任一项所述的方法，其中，M被定义为min(K0，块宽度)，并且N被定义为min(K1，块高度)，其中K0和K1是整数。7.根据权利要求6所述的方法，其中，K0和K1等于16。8.根据权利要求1所述的方法，其中，所述梯度计算的执行包括获得所述当前视频块的第一子块中的第一样点的第一梯度和所述当前视频块的第二子块中的第二样点的第二梯度。9.根据权利要求8所述的方法，其中，所述第二子块与第一子块相邻。10.根据权利要求8所述的方法，其中，所述第二样点用于推导所述第一梯度。11.根据权利要求8至10中任一项所述的方法，其中，所述区域的尺寸(M
×
N)大于当前视频块的子块的尺寸。12.根据权利要求1所述的方法，其中，一个或多个运动矢量被推导以用于所述区域的填充操作。13.根据权利要求12所述的方法，其中，与所述当前视频块的参考块中的整数样点相关联的特定运动矢量被推导以用于所述区域的填充操作。14.根据权利要求13所述的方法，其中，所述特定运动矢量对应于所述区域中的子块中的一个的运动矢量。15.根据权利要求13所述的方法，其中，所述特定运动矢量是通过应用朝向所述区域的特定位置的仿射模型而推导的。16.根据权利要求13所述的方法，其中，所述特定运动矢量是从所述区域中的所有子块的运动矢量推导的。17.根据权利要求13所述的方法，其中，所述特定运动矢量被推导为所述区域中的所有子块的运动矢量的平均值。18.根据权利要求13所述的方法，其中，所述特定运动矢量被推导为所述区域中的子块的至少一些运动矢量的平均值，子块位于所述区域的中心周围。19.根据权利要求13所述的方法，其中，所述特定运动矢量被推导为多个运动矢量的函数，其中所述多个运动矢量包括控制点运动矢量或所述区域中的子块的运动矢量。20.根据权利要求12所述的方法，其中，与所述当前视频块的参考块中的整数样点相关
联的多个运动矢量被推导以用于所述区域的填充操作。21.根据权利要求20所述的方法，其中，为了填充与所述区域的第一子块相邻的第一样点，所述区域中的第一子块的第一运动矢量用于定位所述整数样点。22.根据权利要求12所述的方法，其中，所述区域的尺寸(M
×
N)大于所述当前视频块的子块的尺寸。23.根据权利要求1至22中任一项所述的方法，其中，M和N的最小值被分别预定为Mmin和Nmin。24.根据权利要求23所述的方法，其中，Mmin＝Nmin＝8。25.根据权利要求1至24中任一项所述的方法，其中，填充操作针对所述区域而执行，以在尺寸为(M+dM)
×
(N+dN)的填充区域中生成填充样点。26.根据权利要求25所述的方法，其中，所述区域内部的样点从具有插值滤波的运动补偿进行推导。27.根据权利要求26所述的方法，其中，所述样点是从用于所述区域中的几个子块的运动补偿推导的。28.根据权利要求25所述的方法，其中，所述填充样点是沿着所述区域的四个外侧推导的。29.根据权利要求28所述的方法，其中，所述填充样点复制所述当前视频块的参考块中的最近整数样点的强度。30.根据权利要求28所述的方法，其中，所述填充样点复制未被填充的区域中的最近样点的强度。31.根据权利要求1至30中任一项所述的方法，其中，执行所述转换包括从所述当前视频块生成所述编解码表示。32.根据权利要求1至30中任一项所述的方法，其中，执行所述转换包括从所述编解码表示生成所述当前视频块。33.一种视频处理的方法，包括：为具有第一尺寸的视频的当前视频块推导最终预...

【专利技术属性】
技术研发人员：张凯，张莉，刘鸿彬，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：