多次迭代运动矢量细化制造技术

技术编号:23992147 阅读:38 留言:0更新日期:2020-04-29 16:40
涉及多次迭代运动矢量细化,具体涉及一种用于视频处理的方法,包括:通过使用多步细化处理来细化视频块的运动信息,其中在所述多步细化处理的各个步骤中迭代地导出所述视频块的多个细化运动矢量(MV);以及基于所述视频块的多个细化MV在所述视频块上执行视频处理。

Multi iteration motion vector refinement

【技术实现步骤摘要】
多次迭代运动矢量细化根据适用专利法和/或适用于巴黎公约的规则,本申请及时要求2018年10月22日提交的国际专利申请No.PCT/CN2018/111181号的优先权和权益。上述国际专利申请作为本申请公开的一部分通过引用并入。
本专利文件涉及视频编码技术、设备和系统。
技术介绍
运动补偿(motioncompensation,MC)是一种视频处理中的技术,给出先前的和/或将来的帧,通过考虑相机和/或视频中的对象的运动来预测视频中的帧。运动补偿可以用于视频数据的编码和解码以实现视频压缩。
技术实现思路
本文件公开了与视频编码和解码中使用运动补偿相关的方法、系统和设备。在一个示例方面,公开了一种视频处理方法,包括:通过使用多步细化处理来细化视频块的运动信息,其中在所述多步细化处理的各个步骤中迭代地导出所述视频块的多个细化运动矢量(MV);以及基于所述视频块的多个细化MV在所述视频块上执行视频处理。在一个示例方面,公开了一种视频处理方法,包括:基于所述视频块和用于对所述视频块进行编码的参考图片中的至少一个,选择性地使用运动细化方法来细化所述视频块的运动信息;以及基于所述视频块的所述细化运动信息在所述视频块上执行视频处理。在又一典型的方面,本文描述的各种技术可以被实现为存储在非暂时性计算机可读介质上的计算机程序产品。该计算机程序产品包括用于执行本文所述方法的程序代码。在又一典型的方面,视频解码器装置可以实现如本文所述的方法。在附图和下面的描述中描述一个或多个实现的细节。其他特征将从说明书和附图以及权利要求书中显而易见。附图说明图1示出了Merge候选列表构造的推导过程的示例。图2示出了空域Merge候选的示例位置。图3示出了考虑用于空域Merge候选的冗余检查的候选对的示例。图4示出N×2N和2N×N分割的第二个PU的示例位置。图5是时域Merge候选的运动矢量缩放的图示。图6示出了时域Merge候选的候选位置C0和C1的示例。图7示出了组合双向预测Merge候选的示例。图8示出了运动矢量预测候选的推导过程的示例。图9是空域运动矢量候选的运动矢量缩放的示例说明。图10示出了编码单元(CU,codingunit)的替代时域运动矢量预测器(alternativetemporalmotionvectorpredictor,ATMVP)的示例。图11示出了具有四个子块(A-D)及其临近块(a-d)的一个CU的示例。图12是应用OBMC(OverlappedBlockMotionCompensation)的子块的示例说明。图13示出了用于导出IC(IlluminationCompensation)参数的临近样本的示例。图14示出了简化仿射运动模型的示例。图15示出了每个子块的仿射MVF的示例。图16示出AF_INTER模式的运动矢量预测器(MV,motionvector)的示例。图17A至17B示出AF_Merge模式的候选的示例。图18示出了双边匹配的示例处理。图19示出了模板匹配的示例处理。图20示出了帧速率上转换(FRUC,framerateupconverstion)中单边运动估计(ME,motionestimation)的实现。图21示出了最终运动矢量表达(UMVE,ultimatemotionvectorexpression)搜索处理的实施例。图22示出了UMVE搜索点的示例。图23示出了距离索引和距离偏移映射的示例。图24示出了光流轨迹的示例。图25A至25B示出了具有/不具有块扩展的BIO(Bi-directionalOpticalflow):a)访问位置在块外;b)使用填充来避免附加的内存访问和计算。图26示出了基于双边模板匹配使用解码器侧运动矢量细化(DMVR,decodersidemotionvectorrefinement)的示例。图27示出了交织预测的示例。图28示出了BIO的迭代运动矢量细化的示例。图29是用于实现本文所述的视频编码或解码技术的硬件平台的框图。图30示出了用于实现本文所述的方法和技术的硬件平台的示例。图31是视频处理的示例方法的流程图。图32是视频处理的示例方法的流程图。具体实施方式本文提供了几种可实施在数字视频编码器和解码器中的技术。为了清晰理解,在本文中使用了章节标题,并且不将每个章节中公开的技术和实施例的范围仅限于该章节。1.综述本专利技术涉及视频编码技术。具体来说,涉及视频编码中的运动补偿。所公开的技术可以应用于如HEVC的现有的视频编码标准,或待定的标准(多功能视频编码)。它也可适用于未来的视频编码标准或视频编解码器。在本文档中,术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如,视频压缩算法可以在从视频的像素表示到对应的比特流表示的转换期间应用,反之亦然。2.介绍视频编码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263,ISO/IEC制作了MPEG-1和MPEG-4视频,并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262开始,视频编码标准基于混合视频编码结构,其中利用了时域预测加变换编码。为探索HEVC之外的未来视频编码技术,VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起,JVET采用了许多新的方法,并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月,VCEG(Q6/16)和ISO/IECJTC1SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立,以致力于目标是与HEVC相比其降低50%比特率的VVC标准。2.1HEVC/H.265中的帧间预测每个帧间预测的PU都有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc发信令通知。运动矢量可显式地编码为相对于预测器的增量。当CU采用跳跃模式编码时,一个PU与CU相关联,并且没有显著的残差系数,没有编码运动矢量增量或参考图片索引。指定了一种Merge模式,通过该模式,可以从临近的PU(包括空域和时域候选)中获取当前PU的运动参数。Merge模式可以应用于任何帧间预测的PU,而不仅仅是跳跃模式。Merge模式的另一种选择是运动参数的显式传输,其中运动矢量(更精确地,与运动矢量预测器相比的运动矢量差)、每个参考图片列表的对应的参考图片索引、以及参考图片列表的使用都会根据每个PU显式地发信令通知。在本公开中,这样的模式被命名为高级运动矢量预测(本文档来自技高网...

【技术保护点】
1.一种用于视频处理的方法,包括:/n通过使用多步细化处理来细化视频块的运动信息,其中在所述多步细化处理的各个步骤中迭代地导出所述视频块的多个细化运动矢量MV;以及/n基于所述视频块的多个细化MV在所述视频块上执行视频处理。/n

【技术特征摘要】
20181022 CN PCT/CN2018/1111811.一种用于视频处理的方法,包括:
通过使用多步细化处理来细化视频块的运动信息,其中在所述多步细化处理的各个步骤中迭代地导出所述视频块的多个细化运动矢量MV;以及
基于所述视频块的多个细化MV在所述视频块上执行视频处理。


2.根据权利要求1所述的方法,还包括:
对于i=1至N-1,使用在所述多步细化处理的第i步中导出的所述视频块的细化MV(MVLXi_x,MVLXi_y),来生成第(i+1)步的至少一个运动补偿参考块,N是在所述多步细化处理期间执行的细化步骤的总数,并且N大于1;以及
使用未经细化的原始MV(MVLX0_x,MVLX0_y),来生成第一步的至少一个运动补偿参考块;
其中LX=L0或L1,L0和L1分别表示参考列表0和列表1。


3.根据权利要求2所述的方法,还包括:
使用第k步的运动补偿参考块来导出所述第k步的视频块的时域梯度、空域梯度和细化MV中的至少一个,1≤k≤N。


4.根据权利要求1所述的方法,还包括:
对于i=1至N-1,将在所述多步细化处理的第i步中导出的所述视频块的细化MV(MVLXi_x,MVLXi_y)用作起始搜索点,来导出第(i+1)步的细化MV,N是在所述多步细化处理期间执行的细化步骤的总数,并且N大于1;以及
使用未经细化的原始MV(MVLX0_x,MVLX0_y),来导出第一步的细化MV;
其中LX=L0或L1,L0和L1分别表示参考列表0和列表1。


5.根据权利要求4所述的方法,其中,在解码器侧运动矢量细化DMVR方法中使用所述多步细化处理。


6.根据权利要求4所述的方法,其中,在双向光流BIO方法中使用所述多步细化处理。


7.根据权利要求2或4所述的方法,其中,信令通知所述原始MV。


8.根据权利要求1至7中任一项所述的方法,还包括:
在所述多步细化处理的不同步骤中,对所述视频块的运动补偿使用不同的插值滤波器。


9.根据权利要求8所述的方法,其中,在所述多步细化处理的第1至第(N-1)步的至少一个中使用短抽头滤波器。


10.根据权利要求2至7中任一项所述的方法,还包括:
在使用所述第i步的细化MV来生成所述多步细化处理的第(i+1)步的至少一个运动补偿参考块或导出所述第(i+1)步的细化MV之前,修改所述多步细化处理的第i步的细化MV。


11.根据权利要求10所述的方法,其中,在被用以生成所述第(i+1)步的至少一个运动补偿参考块或导出所述第(i+1)步的细化MV之前,将所述多步细化处理的第i步的分数细化MV取整为整数值,其中1≤i≤(N-1)。


12.根据权利要求1至11中任一项所述的方法,其中,所述视频块对应于当前块或从所述当前块划分的多个子块中的一个。


13.根据权利要求12所述的方法,其中,所述视频块对应于多个子块中的一个,并且在使用所述多步细化处理之前,将所述当前块划分为所述多个子块。


14.根据权利要求13所述的方法,其中,用所述多步细化处理的不同步数对来自所述多个子块的不同子块的运动信息进行细化。


15.根据权利要求12所述的方法,其中,所述视频块对应于所述当前块,并且在使用所述多步细化处理的第(N-1)步之后,将所述当前块划分为多个子块;并且
进一步细化所述多个子块中的至少一个的运动信息。


16.根据权利要求13至14中任一项所述的方法,其中,在所述多步细化处理的不同步骤中,以不同的子块尺寸导出所述细化MV。


17.根据权利要求2-4任一项所述的方法,还包括:在所述多步细化处理的至少一个步骤中,
使用细化MV以执行对所述视频块的运动补偿;以及
基于所述运动补偿,通过使用双向光流BIO方法生成所述视频块的预测。


18.根据权利要求17所述的方法,还包括:
对在所述多步细化处理的不同步骤中生成的各个预测进行加权平均,以生成所述视频块的最终预测。


19.根据权利要求2-4任一项所述的方法,其中,所述多步细化处理的各个步骤中的导出的MV受到约束。


20.根据权利要求19所述的方法,其中,对于1<=i<=N,
|MVLXi_x-MVLX0_x|<=Tx并且|MVLXi_y-MVLX0_y|<=Ty;或者
Max{MVLXi_x-MVLXj_x}<=Tx
并且Max{MVLXi_y-MVLXj_y}<=Ty,其中
Tx和Ty分别表示阈值,1<=i,j<=N。


21.根据权利要求20所述的方法,其中,
所述阈值Tx和Ty相等或不相等,并且预先定义所述阈值Tx和Ty、或者在视频参数集VPS/序列参数集SPS/图片参数集PPS/条带报头/片组报头/片/编码树单元...

【专利技术属性】
技术研发人员:刘鸿彬张莉张凯王悦
申请(专利权)人:北京字节跳动网络技术有限公司字节跳动有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1