基于长期参考帧的视频编码方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种基于长期参考帧的视频编码方法、装置、设备和存储介质。其中，该方法包括：根据图像帧的属性信息设置长期参考帧；基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引；根据所述参考索引进行帧间预测获取目标匹配块以实现所述编码图像帧的编码。本发明专利技术实施例通过属性信息设置长期参考帧，基于参考索引简化编码过程，不但能够提高图像帧的压缩性能，而且能够减少编码复杂度，进而可降低带宽成本，提高用户体验。

【技术实现步骤摘要】
基于长期参考帧的视频编码方法、装置、设备和存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种基于长期参考帧的视频编码方法、装置、设备和存储介质。
技术介绍
帧间预测编码是视频编码中常用的提高压缩性能的重要手段，该方法主要通过运动估计的方式在参考帧中搜索最佳匹配块，然后通过运动补偿技术预测出当前块的预测块，进而得到残差块。进而使用残差块实现视频编码后续过程的变换、量化和熵编码等压缩处理。当前，帧间预测编码的参考帧有两种，一种是短期参考帧，另一种是长期参考帧，长期参考帧相较于短期参考帧，可以提供更长期的参考，时域间隔更长，对于背景变化不大的视频内容编码压缩性能更高。然而现有视频编码方案中仅从功能上支持了长期参考帧，这大大增加了编码复杂度，进而降低了编码压缩速度。
技术实现思路
本专利技术提供一种基于长期参考帧的视频编码方法、装置、设备和存储介质，以实现视频图像的编码过程的高性能处理，降低编码复杂度，减少视频编码时间。第一方面，本专利技术实施例提供了一种基于长期参考帧的视频编码方法，该方法包括：根据图像帧的属性信息设置长期参考帧；基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引；根据所述参考索引进行帧间预测获取目标匹配块以实现所述编码图像帧的编码。第二方面，本专利技术实施例提供了一种基于长期参考帧的视频编码装置，该装置包括：设置模块，用于根据图像帧的属性信息设置长期参考帧；索引模块，用于基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引；>编码模块，用于根据所述参考索引进行帧间预测获取目标匹配块以实现所述编码图像帧的编码。第三方面，本专利技术实施例提供了一种计算机设备，该设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例中任一所述的基于长期参考帧的视频编码方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的基于长期参考帧的视频编码方法。本专利技术实施例，通过属性信息将图像帧设置为长期参考帧，通过长期参考帧确定编码图像帧的参考索引，并基于参考索引进行帧间预测获取编码图像帧的目标匹配块以实现编码图像帧的编码。本专利技术实施例的技术方案，通过图像帧的属性信息预先设置长期参考帧，实现了长期参考帧的准确设置，基于长期参考帧确定参考索引并获取目标匹配块，降低编码过程的计算开销，在保障图像编码压缩性能的前提下，减少编码复杂度。附图说明图1是本专利技术实施例一提供的基于长期参考帧的视频编码方法的流程图；图2是本专利技术实施例二提供的基于长期参考帧的视频编码方法的流程图；图3是本专利技术实施例三提供的基于长期参考帧的视频编码方法的流程图；图4是本专利技术实施例三提供的第一参考索引中编码宏块的搜索位置示意图；图5是本专利技术实施例三提供的预测模式的示例图；图6是本专利技术实施例四提供的基于长期参考帧的视频编码装置的结构示意图；图7是本专利技术实施例五提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构，此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一图1是本专利技术实施例一提供的基于长期参考帧的视频编码方法的流程图，本实施例可适用于使用长期参考帧进行图像编码的情况，该方法可以由基于长期参考帧的视频编码装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图1，本专利技术实施例提供的基于长期参考帧的视频编码方法具体可以包括如下步骤：步骤101、根据图像帧的属性信息设置长期参考帧。其中，图像帧可以是需要进行编码的视频中的任一帧图像。属性信息可以是描述图像帧的数据，属性信息可以与图像帧关联存储，属性信息可以表示对应的图像帧是否为关键帧或者是否为场景切换帧，属性信息可以通过现有技术中的分析模块生成，在本申请实施例中不对属性信息的生成进行拓展。长期参考帧可以是解码图像缓存(DecodedPictureBuffer，DPB)中存储的用于参考的图像帧，解码图像缓存可以包括已经进行编码的图像，可以存储短期参考帧、长期参考帧和非参考帧等。具体的，可以根据视频中各图像帧的属性信息设置长期参考帧，例如，当图像帧的空域冗余度超过阈值，则可以将该图像帧设置为长期参考帧，当图像帧的属性信息表明该图像帧为视频的第一帧图像，可以将该帧图像设置为长期参考帧。步骤102、基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引。其中，普通参考帧可以是现有技术中进行帧间预测的参考帧，普通参考帧在时序上可以是与编码图像帧相邻，例如可以是编码图像帧的前一帧或者后一帧等。编码图像帧可以是视频中需要进行编码的图像，在进行视频编码时可以每次对视频中的一个编码图像帧进行编码。参考索引可以是编码图像帧在参考帧集合中获取到匹配块的帧级相对位置信息，具体可以包括普通参考帧和/或长期参考帧的帧级索引号。在本专利技术实施例中，可以在普通参考帧和长期参考帧中寻找最适合帮助编码图像帧进行帧间预测的参考帧，可以将该参考帧的帧间索引号存储为参考索引，可以理解的是，最适合帮助编码图像帧进行帧间预测的参考帧，可以是普通参考帧和/或长期参考帧中编码代价最小的图像帧，或者可以是普通参考帧和/或长期参考帧中与编码图像帧在时序上最接近的图像帧。进一步的，参考索引可以至少包括一个普通参考帧和/或长期参考帧的帧级索引号。步骤103、根据所述参考索引进行帧间预测获取目标匹配块以实现所述编码图像帧的编码。其中，目标匹配块可以是根据参考索引进行帧间预测，进而寻找到与编码图像帧内编码块相同编码块或者近似编码块，视频的编码可以通过目标匹配块进行位移后构成编码图像帧，编码图像帧的图像数据可以转换为目标匹配块的相对位置关系。具体的，可以将编码图像帧划分为至少一个编码宏块，针对各编码宏块可以基于参考索引搜索与编码宏块相同的目标匹配块。可以根据目标匹配块的相关信息对编码图像帧进行压缩编码。例如，将当前编码宏块的存储为目标匹配块的存储地址，将目标匹配块的数据作为图像帧内当前编码宏块的数据。可以理解的是，步骤103可以与步骤102同时进行，例如，每确定编码图像帧的一个参考索引则可以根据参考帧获取到对应的目标匹配宏块。步骤103也可以在步骤102全部执行后执行，例如，当确定出编码图像帧所有的参考索引后，再根据各参考索引搜索目标匹配块。本申请实施例，通过属性信息将图像帧设置为长期参考帧，通过普通参考帧和长期参考帧确定编码图像帧的参考索引，并基于参考索引进行帧间预测获取编码图像帧的目标匹配块以实现编码图像帧的编码。通过图像帧的属性本文档来自技高网...

【技术保护点】
1.一种基于长期参考帧的视频编码方法，其特征在于，所述方法包括：/n根据图像帧的属性信息设置长期参考帧；/n基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引；/n根据所述参考索引进行帧间预测获取目标匹配块，以实现所述编码图像帧的编码。/n

【技术特征摘要】
1.一种基于长期参考帧的视频编码方法，其特征在于，所述方法包括：
根据图像帧的属性信息设置长期参考帧；
基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引；
根据所述参考索引进行帧间预测获取目标匹配块，以实现所述编码图像帧的编码。


2.根据权利要求1所述的方法，其特征在于，所述根据图像帧的属性信息设置长期参考帧，包括：
针对各所述图像帧，提取对应的属性信息内的帧类型；
若所述帧类型为关键帧和/或场景切换帧，则将对应的图像帧设置为长期参考帧。


3.根据权利要求1所述的方法，其特征在于，所述根据图像帧的属性信息设置长期参考帧，包括：
根据图像帧的时域冗余程度和空域冗余程度设置长期参考帧。


4.根据权利要求3所述的方法，其特征在于，所述根据图像帧的时域冗余程度和空域冗余程度设置长期参考帧，包括：
针对各所述图像帧，分别获取帧间编码代价和帧内编码代价作为时域冗余程度以及空域冗余程度，其中，时域冗余程度以及空域冗余程度分别与帧间编码代价和帧内编码代价成反比；
根据所述帧内编码代价和所述帧间编码代价确定所述图像帧的当前编码代价比率；
分别获取所述图像帧的前一帧图像和前两帧图像的第一编码代价比率和第二编码代价比率，并确定所述当前编码代价比率、所述第一编码代价比率和所述第二编码代价比率的比率方差；
确定所述第二编码代价比例、所述第一编码代价比率和所述当前编码代价比率依次减少，并且所述比率方差小于阈值数值时，将所述当前帧设置为长期参考帧。


5.根据权利要求1-4中任一所述的方法，其特征在于，所述基于普通参考帧和所述长期参考帧确定编码图像帧的参考索引，包括：
基于所述普通参考帧和所述长期参考帧依次根据第一类预测模式、第二类预测模式和第三类预测模式确定对应所述编码图像帧的参考索引；
其中，所述第一类预测模式至少包括MERGE预测模式和/或SKIP预测模式，所述第二类预测模式至少包括2N*2N预测模式和/或BIDIR预测模式，所述第三类预测模式至少包括2N*N预测模式、N*2N预测模式、2N*nD预测模式、2N*nU预测模式、nR*2N预测模式和/或nL*2N预测模式。


6.根据权利要求5所述的方法，其特征在于，所述基于所述普通参考帧和所述长期参考帧依次根据第一类预测模式、第二类预测模式和第三类预测确定对应所述图像帧对应的参考索引，包括：
根据第一类预测模式获取所述编码图像帧的编码宏块，将所述编码宏块的左边块、左上边块、上边块、右上边块、左下边块和所述编码宏块处于时域相对位置的参考编码宏块的目标参考索引信息融合生成第一参考索引，其中，所述参考编码宏块位于所述普通参考帧和/或长期参考帧；
对所述编码图像帧的编码宏块进行编码递归，分别根据所述编码宏块的父编码块的目标参考索引信息和子编码块的目标参考索引信息确定父融合参考索引和子融合参考索引；
将所述第一参考索引、所述父融合参考索引和子融合参考索引作为所述第二类预测模式下所述编码图像帧对应的第二参考索引；
根据第三类预测模式的模式类型在预设索引配置表查找所述编码图像帧对应的第三参考索引。


7.根据权利要求6...

【专利技术属性】
技术研发人员：崔同兵，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44