一种快速多复合帧视频编码的方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种快速多复合帧视频编码的方法、装置和存储介质，以实现对于视频编码多个参考帧、多种运动矢量模式的率失真优化，通过复用单一参考帧的运动模式的率失真评测结果，获得复合参考帧率失真评估速度上的成倍提升，最终获得视频编码器速度上的整体提升，同时对视频编码效率性能的影响小到可以忽略。

A Fast Multi-Compound Frame Video Coding Method, Device and Storage Media

【技术实现步骤摘要】
一种快速多复合帧视频编码的方法、装置及存储介质
本专利技术涉及视频编码领域，尤其涉及一种快速多复合帧视频的编码。
技术介绍
近来的视频编码标准，比如由开放媒体联盟(AOM)42家会员共同打造的最新视频编码标准AV1，引入了多个参考帧、多种运动矢量模式的评估，对每一个参考帧模式ref_frame、每一种运动矢量模式motion_mode，即每一个(参考帧模式，运动矢量模式)(ref_frame,motion_mode)组合，均需要做出率失真评测，从而选取率失真指标最优的模式，以达到最优的编码效率。每一组(ref_frame,motion_mode)模式的率失真评估，均需要执行运动补偿，二维变换，量化，变换系数的熵编码等多步操作，计算复杂度高。视频编码标准，比如从H264到H265，再到AV1，每一代标准都比前一代增添了更多的编码工具以及(ref_frame,motion_mode)的组合模式。因此，多参考帧、多运动矢量模式的评估，带来编码效率性能上提升的同时，极大增加了编码器的复杂度。无论是对视频点播，还是对视频直播的应用，编码器的复杂度都是不允许无限增长的。如何保持视频编码新标准的编码性能优势，同时降低编码器的复杂度，使得视频编码新标准迅速在实际场景中落地，是视频编码器设计的首要任务也是最大挑战之一。视频编码的优化方法和系统也因此成为基本需求。
技术实现思路
本专利技术提供了一种快速多复合帧视频编码方法，步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i,其中i为单一参考帧的四种运动矢量模式中的任一个，利用率失真准则获取相应的最优参考帧选择：best_frame(i)＝argminframek，modei(Dk+λRk)对于单一参考帧所有的四种运动矢量模式，best_frame(i)为率失真准则下相应的最优单一参考帧选择，其中i∈{NEAEST_MV,NEARMV,NEWMV,GLOBAL_MV}。步骤2，如果对于四种运动模式，所有的best_frame(i)均取值相同，即任一运动矢量模式下所获取的最优参考帧均指向同一参考帧，则这一参考帧记录为best_frame_single。步骤3，在评判复合参考帧时，检测复合参考帧中的两个参考帧是否包含所述最优单一参考帧best_frame_single，如果不包括，则跳过所述复合参考帧的评估；若包括所述最优单一参考帧best_frame_single，则对包含所述最优单一参考帧best_frame_single的复合参考帧做率失真评估。本专利技术还提供了一种快速多复合帧视频编码的装置，所述装置包括处理器、存储器，存储器上存储有计算机程序，通过处理器执行所述计算机程序以实现快速多复合帧视频编码的方法。针对视频编码多个参考帧、多种运动矢量模式的率失真优化目标，提出了一种有效的方法，通过采用复用单一参考帧的运动模式的率失真评测结果，获得复合参考帧率失真评估速度上的成倍提升，最终获得视频编码器速度上的整体提升，同时对视频编码效率性能的影响小到可以忽略。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本说明书实施例提供的AV1单一参考帧编码的树形结构图；图2是本说明书实施例提供的采用前向参考帧的AV1复合参考帧编码的树形结构图；图3是本说明书实施例提供的采用后向参考帧的AV1复合参考帧编码的树形结构图；图4本说明书实施例提供的一种快速多复合帧视频编码方法的流程图具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。以下结合附图，详细说明本说明书各实施例提供的技术方案。视频编码分为帧内预测模式和帧间预测模式。帧内预测模式是指视频图像帧的预测只依赖当前图像帧信息，独立于其他图像帧。帧间预测模式是指图像帧的预测依赖于一幅或多幅已经完成编码的图像帧，即参考帧。帧间预测根据参考帧的数目，又分为单帧预测和复合帧预测。单帧预测中，仅有一帧参考帧，对于当然图像帧中的任意宏块，需要在单一参考帧中搜索到率失真评测下的最佳运动矢量。复合帧预测，则有两帧参考帧，对于当然图像帧中的任意宏块，需要在每一帧参考帧中搜索到一个运动矢量，同时，搜索到的两个运动矢量需满足复合帧预测的率失真评测最优。运动矢量的编码方式，又称为运动模式，不同运动模式代表着不同的运动矢量信息。在AOM/AV1标准中，每一个当前帧共有7个单一参考帧可用来做参考以及率失真评估，其中7个单一参考帧可以表示为：{LAST_FRAME,LAST2_FRAME,LAST3_FRAME,GOLDEN_FRAME,BWDREF_FRAME,ALTREF2_FRAME,ALTREF_FRAME}。AV1标准中指定的7个参考帧，可以由编码器任意指定。通常{LAST_FRAME,LAST2_FRAME,LAST3_FRAME}这4个参考帧表示前向参考帧，即：它们的显示顺序在当前帧之前；{BWDREF_FRAME,ALTREF2_FRAME,ALTREF_FRAME}这3个参考帧表示后向参考帧，即：它们的显示顺序在当前帧之后。后向参考帧的引入，可以有效的实现对当前帧的前向与后向的双向预测，当前帧的编码类型则为B帧，从而进一步提升编码压缩效率。B帧的两个参考帧由于在当前图像帧两侧，特称为异向复合参考帧。B帧的采用，由于后向参考帧需要先行编码/解码，会带来视频图像帧显示上的延迟，更适用于视频点播的场景。在视频直播场景中，视频编码的时延要求比较严格，一般不采用B帧。AV1的标准比较灵活，允许所有的7个参考帧可均取为前向参考帧，并允许前向参考帧两两配对，特称为同向复合参考帧，辅助提升编码效率。AV1标准中，当使用单一参考帧做运动矢量预测时，共包括4种运动预测模式：{NEARESTMV,NEARMV,NEWMV,GLOBALMV}。AV1标准中，对图像帧中的任一宏块，帧间模式预测首先会由当前块的空间邻域和时间邻域已编码过的图像块中的运动矢量，推导出对当前块运动矢量的预测列表，并且按照累积条件概率将运动矢量在列表中排序。上述4种运动模式，是对当前块运动矢量的不同获取方式，其中NEARESTMV表示指定运动矢量预测列表中排序首位的取值为当前块的运动矢量的取值；NEARMV表示指定运动矢量预测列表中的某一取值为当前块的运动矢量的取值，后续码流中包括的索引将用于指明预测列表中的具体位置；NEWMV表示指定运动矢量预测列表中排序首位的取值为当前块的运动矢量的预测取值后续码流中将包括运动矢量差值最终运动矢量取值为GLOBALMV表示指定当前宏块所选参考帧对应的帧级全局运动矢量取值，为当前块的运动矢量取值。AV1中引入了全局运动矢量的工具，在本文档来自技高网...

【技术保护点】
1.一种快速多复合帧视频编码的方法，其特征在于，包括如下步骤：步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i，其中i为单一参考帧的四种运动矢量模式中的任一个，利用率失真准则获取相应的最优参考帧选择：best_frame(i)＝argminframek，modei(Dk+λRk)best_frame(i)表示对于单一参考帧的四种运动矢量模式，基于率失真准则下相应的最优单一参考帧选择；步骤2，若对于所述四种运动模式，所有的best_frame(i)均取值相同，即任一运动矢量模式下所获取的最优单一参考帧均指向同一参考帧，则所述参考帧记录为最优单一参考帧best_frame_single。步骤3，在评估复合参考帧时，检测复合参考帧中的两个参考帧是否包含所述最优单一参考帧best_frame_single，如果不包括，则跳过所述复合参考帧的评估；若包括所述最优单一参考帧best_frame_single，则对包含所述最优单一参考帧best_frame_single的复合参考帧做率失真评估。

【技术特征摘要】
1.一种快速多复合帧视频编码的方法，其特征在于，包括如下步骤：步骤1，对单一参考帧的运动矢量模式进行评估，对于任意一个运动矢量模式i，其中i为单一参考帧的四种运动矢量模式中的任一个，利用率失真准则获取相应的最优参考帧选择：best_frame(i)＝argminframek，modei(Dk+λRk)best_frame(i)表示对于单一参考帧的四种运动矢量模式，基于率失真准则下相应的最优单一参考帧选择；步骤2，若对于所述四种运动模式，所有的best_frame(i)均取值相同，即任一运动矢量模式下所获取的最优单一参考帧均指向同一参考帧，则所述参考帧记录为最优单一参考帧b...

【专利技术属性】
技术研发人员：徐国伟，刘宇新，金星，彭斌，范娟婷，朱政，
申请(专利权)人：杭州微帧信息科技有限公司，
类型：发明
国别省市：浙江,33