一种视频帧重构方法、装置及终端设备制造方法及图纸

本发明专利技术适用于视频压缩技术领域，提供了一种视频帧重构方法、装置及终端设备，所述方法包括：在视频压缩网络中获取第N‑2帧和第N‑1帧的重构图；根据所述第N‑2帧和第N‑1帧的重构图得到光流；基于所述光流和第N‑1帧的重构图得到第N帧的预测帧；根据所述第N帧的预测帧和第N帧得到第N帧的重构帧。本发明专利技术通过利用相邻帧的运动信息的相关性，参考前一帧运动信息压缩当前帧运动信息，减少运动信息的时域冗余，提高压缩性能。

A video frame reconstruction method, device and terminal equipment

【技术实现步骤摘要】
一种视频帧重构方法、装置及终端设备
本专利技术属于视频压缩
，尤其涉及一种视频帧重构方法、装置及终端设备。
技术介绍
现有技术在视频压缩过程中，基于光流预测可以去除视频序列中的大部分时域冗余信息，提升压缩性能。由于没有利用相邻帧的运动信息，从而使得运动信息的时域冗余较多，压缩性能不高。因此，有必要提出一种新的技术方案来解决上述问题。
技术实现思路
有鉴于此，本专利技术实施例提供了一种视频帧重构方法、装置及终端设备，以解决现有技术中视频压缩性能不高的问题。本专利技术实施例的第一方面提供了一种视频帧重构方法，包括：在视频压缩网络中获取第N-2帧和第N-1帧的重构图；根据所述第N-2帧和第N-1帧的重构图得到光流；基于所述光流和第N-1帧的重构图得到第N帧的预测帧；根据所述第N帧的预测帧和第N帧得到第N帧的重构帧。本专利技术实施例的第二方面提供了一种视频帧重构装置，包括：重构图模块，用于在视频压缩网络中获取第N-2帧和第N-1帧的重构图；光流模块，用于根据所述第N-2帧和第N-1帧的重构图得到光流；预测帧模块，用于基于所述光流和第N-1帧的重构图得到第N帧的预测帧；重构帧模块，用于根据所述第N帧的预测帧和第N帧得到第N帧的重构帧。本专利技术实施例的第三方面提供了一种视频帧重构终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本专利技术通过利用相邻帧的运动信息的相关性，参考前一帧运动信息压缩当前帧运动信息，减少运动信息的时域冗余，提高压缩性能。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的视频帧重构方法的实现流程示意图；图2是本专利技术实施例提供的视频帧重构装置的示意图；图3是本专利技术实施例提供的视频帧重构终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本专利技术实施例一提供的视频帧重构方法的实现流程，该方法的执行主体可以是终端设备，详述如下：步骤S101，在视频压缩网络中获取第N-2帧和第N-1帧的重构图。可选地，在视频压缩网络中提取第N-2帧和第N-1帧对应的网络的权重参数；进一步地，对上述权重参数进行编解码后生成重构权重参数；其中，上述编码可以是香农(Shannon)编码、哈夫曼(Huffman)编码或者算术编码(arithmeticcoding)等熵编码方案，此处不作限定；进一步地，根据上述重构权重参数初始化上述第N-2帧和第N-1帧对应的网络；可选地，将上述生成的重构权重参数替换掉上述第N-2帧和第N-1帧对应的网络中的权重参数，构成新的第N-2帧和第N-1帧对应的网络；进一步地，将第N-3帧和第N-2帧分别输入上述重构权重参数更新后的第N-2帧和第N-1帧对应的网络中，得到第N-2帧和第N-1帧的重构图。步骤S102，根据上述第N-2帧和第N-1帧的重构图得到光流。可选地，计算第N-2帧重构图图像的像素与第N-1帧重构图图像的像素的空间位置映射关系，得到光流。具体地，光流是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性查找相邻两帧之间的相关性，从而计算出相邻帧之间物体的运动信息：将第N-2帧重构图和第N-1帧重构图输入预先设定的光流网络，得到光流信息。进一步地，上述光流网络包括两种网络结构：FlowNetS(FlowNetSimple)和FlowNetC(FlowNetCorr)。其中上述光流网络FlowNetS是直接将两张图像按照通道维重叠后输入，FlowNetS的网络结构中只有卷积层；上述光流网络FlowNetC是先分别提取输入的两张图像的特征，再计算特征的相关性，即两张图像的特征在空间维做卷积运算。步骤S103，基于上述光流和第N-1帧的重构图得到第N帧的预测帧。可选地，根据上述光流对第N-1帧的重构图进行warp操作后得到第N帧的预测帧。具体地，根据上述光流，将第N-1帧的重构图warp(图像仿射变换)到指定位置得到第N帧的预测帧。步骤S104，根据上述第N帧的预测帧和第N帧得到第N帧的重构帧可选地，将上述第N帧的预测帧与当前帧相减得到残差；进一步地，将上述残差输入残差压缩网络得到解压残差；可选地，其中残差压缩网络为包含上采样层、编码网络、解码网络和下采样层的神经网络。将残差输入残差压缩网络，对上述残差进行编码得到残差比特流，再基于解码网络对上述残差比特流进行解码并下采样得到解压残差。进一步地，将上述第N帧的预测帧与上述解压残差相加得到第N帧的重构帧。本实施例中，通过利用相邻帧的运动信息的相关性，参考前一帧运动信息压缩当前帧运动信息，减少运动信息的时域冗余，提高压缩性能。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本专利技术实施例的实施过程构成任何限定。实施例二图2示出了本专利技术实施例提供的视频帧重构装置的结构框图，为了便于说明，仅示出了与本专利技术实施例相关的部分。该视频帧重构装置2包括：重构图模块21、光流模块22、预测帧模块23、重构帧模块24。其中，重构图模块21，用于在视频压缩网络中获取第N-2帧和第N-1帧的重构图；光流模块22，用于根据上述第N-2帧和第N-1帧的重构图得到光流；预测帧模块23，用于基于上述光流和第N-1帧的重构图得到第N帧的预测帧；重构帧模块24，用于根据上述第N帧的预测帧和第N帧得到第N帧的重构帧。可选地，上述重构图模块21包括：参数提取单元，用于在视频压缩网络中提取第N-2帧和第N-1帧对应的网络的权重参数；编解码单元，用于对上述权重参数进行编解码后生成重构权重参数；初始化单元，用于根据上述重构权重参数初始化上述第N-2帧和第N-1帧本文档来自技高网...

【技术保护点】
1.一种视频帧重构方法，其特征在于，包括：/n在视频压缩网络中获取第N-2帧和第N-1帧的重构图；/n根据所述第N-2帧和第N-1帧的重构图得到光流；/n基于所述光流和第N-1帧的重构图得到第N帧的预测帧；/n根据所述第N帧的预测帧和第N帧得到第N帧的重构帧。/n

【技术特征摘要】
1.一种视频帧重构方法，其特征在于，包括：
在视频压缩网络中获取第N-2帧和第N-1帧的重构图；
根据所述第N-2帧和第N-1帧的重构图得到光流；
基于所述光流和第N-1帧的重构图得到第N帧的预测帧；
根据所述第N帧的预测帧和第N帧得到第N帧的重构帧。


2.如权利要求1所述的视频帧重构方法，其特征在于，所述在视频压缩网络中获取第N-2帧和第N-1帧的重构图包括：
在视频压缩网络中提取第N-2帧和第N-1帧对应的网络的权重参数；
对所述权重参数进行编解码后生成重构权重参数；
根据所述重构权重参数初始化所述第N-2帧和第N-1帧对应的网络；
将第N-3帧和第N-2帧分别输入所述重构权重参数更新后的第N-2帧和第N-1帧对应的网络中，得到第N-2帧和第N-1帧的重构图。


3.如权利要求1所述的视频帧重构方法，其特征在于，所述根据所述第N-2帧和第N-1帧的重构图得到光流包括：
计算第N-2帧重构图图像的像素与第N-1帧重构图图像的像素的空间位置映射关系，得到光流。


4.如权利要求1所述的视频帧重构方法，其特征在于，所述基于所述光流和第N-1帧的重构图得到第N帧的预测帧包括：
根据所述光流对第N-1帧的重构图进行warp操作后得到第N帧的预测帧。


5.如权利要求1所述的视频帧重构方法，其特征在于，所述根据所述第N帧的预测帧和第N帧得到第N帧的重构帧包括：
将所述第N帧的预测帧与当前帧相减得到残差；
将所述残差输入残差压缩网络得到解压残差；
将所述第N帧的预测帧与所述解压残差相加得到第N帧的重构帧。


6.一种视频帧...

【专利技术属性】
技术研发人员：孙庆强，
申请(专利权)人：合肥图鸭信息科技有限公司，
类型：发明
国别省市：江苏;32