【技术实现步骤摘要】
本专利技术涉及视频帧率转换，具体涉及一种面向高帧率视频的可回溯帧率转换模型构建方法。
技术介绍
1、高帧率视频具有流畅感强、细腻度高的特点，开展面向高帧率视频的可回溯帧率转换模型构建方法的研究，有助于突破高帧率视频压缩效率，对于发展视频压缩新理论具有重要价值。
2、帧率决定视频流畅感。研究表明，伴随帧率增加，视频流畅感和画面细腻度也会随之提升，特别是对于运动镜头的画面跳停和运动模糊现象也将得到极大改善，视觉体验更加舒适。然而，帧率提升也使得视频数据量成倍激增，成为制约高帧率视频普及应用的瓶颈。因此，为适应高帧率视频的应用需求，帧率转换技术应运而生，其可分为帧率下变换技术和帧率上变换技术。
3、帧率下变换技术通过在编码端以“丢帧”方式降低待编码视频帧率，减少原始视频数据量，使压缩编码后的码流能够与带宽资源相匹配，以缓解“传不了”的窘境。如周等学者在文献《h.264码率控制跳帧算法的优化》中提出的帧率下变化方法，其原理大都以编码块的运动矢量为依据来判定视频帧的取舍，但该方法性能过于依赖运动搜索得到的运动矢量精确度，而运动矢量的获得又受到众多编码参数影响，较粗糙的判断粒度使得方法不敏感，阈值设置困难，准确度有限，难以客观衡量邻近帧之间的关联程度，应用场景受限。此外，肖等学者在文献《自适应去帧/插帧视频处理》中基于直接“丢帧”的帧率下变换，必定会造成“被丢弃帧”整帧信息的全部丢失，邻近帧之间的时空关联性遭到破坏，因不能保留必要的原始视频信息继而引起“过压缩”，导致解码视频出现画面抖动等现象，大大降低观感舒适度，这
4、帧率上变换技术通过在解码端以“插帧”方式提升解码视频帧率，使重建视频流畅感更强。如rak等学者在文献《基于受限对称光流的运动补偿插帧》中提出的基于块的运动补偿的帧率上变换技术以及zhou等学者在文献《基于外观流的视点合成》中提出的基于光流的运动补偿的帧率上变换技术。但前者会因编码块的误匹配导致内插帧出现块效应，影响帧率提升效果；后者虽然能更细致的描述物体运动，但由于其在实际应用中受限于光照变化，导致光流估计准确性不高，进而影响内插帧的像素合成。
5、在人工智能浪潮下，卷积神经网络模型对视频特征的提取能力相较于传统方法有了突破式进步，研究发现从时、空两个维度提取视频特征能更好的表征视频信息。基于此，有研究者提出基于多元时空特征的插帧网络，其中，最具代表性的是bao等人在文献《基于深度感知的视频插帧》中提出的一种融合深度信息的多元时空特征插帧方法。但遗憾的是，该方法对多元时空特征只是简单拼接，这制约了多元时空特征表征视频信息的能力。更值得深思的是，现有基于深度学习的帧率上变换的插帧对象主要是已丢失必要视频信息的低帧率视频。必要视频信息的先天性丢失，势必会抑制卷积神经网络对视频多元时空特征的提取能力，而多元时空特征能否高质量表征原始视频信息，直接影响插帧后重建视频流畅感和画面细腻度。
6、由此可见，现有帧率转换技术虽然包含帧率上、下变换过程，但两个过程相对独立，各司其责，将视频“压缩—传输—重建”全流程割裂开来。帧率下变换仅着眼于压缩码流是否适配于传输带宽，未充分考虑在解码端发生插帧操作时对必要视频信息的需求；帧率上变换大多是基于降帧后的低帧率视频来提取有限的时空特征以尽可能提高内插帧质量，忽视了在编码端因直接“丢帧”所导致的视频信息先天不足的隐患。因此，以“压缩、重建一体化”为核心思想，探明利用多元时空特征表征视频信息的原理，深入探究在多元时空特征指导下融通帧率上、下变换的帧率转换策略，对实现高帧率视频的可回溯压缩具有重要意义。
技术实现思路
1、本专利技术的目的在于提供一种面向高帧率视频的可回溯帧率转换模型构建方法，以解决现有帧率转换技术将帧率上、下变换割裂处理所引发的难以对视频源进行真实回溯的技术问题，最终在受限带宽下，实现高帧率视频的可回溯压缩与高质量重建，并在客观性能指标与主观视觉质量上证明了本专利技术方法的有效性。
2、本专利技术的专利技术思想为：本专利技术提供了一种面向高帧率视频的可回溯帧率转换模型构建方法，首先研究高帧率视频与低帧率视频之间的帧率转换关系，然后，对从空间和时间两个维度提取的视频信息特征进行融合，之后，设计包含时间和空间层面的目标损失函数，最后，根据上述步骤构建面向高帧率视频的可回溯帧率转换模型。
3、为了实现上述专利技术目的，本专利技术采用的技术方案具体为：一种面向高帧率视频的可回溯帧率转换模型构建方法，包括以下步骤：
4、步骤一、对高帧率视频与低帧率视频之间的帧率转换关系进行建模；
5、步骤二、从包含视频信息特征的两个基本维度空间维度和时间维度提取时空特征，并进行多元时空特征的融合；
6、步骤三、从时间以及空间两个层面设计目标损失函数；
7、步骤四、构建面向高帧率视频的可回溯帧率转换模型。
8、进一步地，所述步骤一具体包括以下步骤：
9、2.1、对高帧率视频到低帧率视频的降帧过程进行建模，其公式为其中，s表示降帧映射函数，是原高帧率视频，是降帧后的低帧率视频，α表示降帧过程中的参数；
10、2.2、对低帧率视频到高帧率视频的升帧过程进行建模，其公式为其中，u表示升帧映射函数，是升帧后的重建高帧率视频，β表示升帧过程中的参数。
11、进一步地，步骤二具体包括以下步骤：
12、3.1、从视频帧中提取局部空间特征和时间特征，并将局部空间特征送入空域lstm网络，学习局部空间特征之间的空间相关性；
13、3.2、将空域lstm网络输出的特征送入时域lstm网络，学习局部空间特征之间的时间相关性；
14、3.3、将时域lstm网络输出的特征送入全连接层，得到与视频帧的时间特征同一维度下的全局空间特征；
15、3.4、将视频帧的时间特征和全局空间特征进行横向级联，得到融合时空特征信息的特征图nc，h，w，并对其进行特征压缩，得到包含时空特征信息的压缩特征图nc，1，1；
16、3.5、对压缩特征图nc，1，1进行激励学习，得到激励学习后的特征图mc，1，1，然后利用sigmoid激活函数将其作为权重与nc，h，w逐通道相乘，得到融合后的多元时空特征图mc，h，w。
17、进一步地，所述步骤三具体包括以下步骤：
18、4.1、利用l2范数从时间层面计算降帧和升帧过程中所获时间特征的差异，时间特征损失函数为其中为降帧过程中的时间特征，其公式为其中f(·)表示双线性插值操作，it和it+1表示降帧过程中的邻近帧，fi→t+1和ft+1→t表示it和it+1之间的双向光流，为升帧过程中的时间特征，其公式为其中f(·)表示双线性插值操作，和表示升帧过程中的邻近帧，和表示和之间的双向光流；
19、4.2、利用kl散度和l1范数从空间层面计算降帧和升帧过程中所获空间特征的差异，空间特征损失函数为其中pt和分别表示降帧和升帧本文档来自技高网...
【技术保护点】
1.一种面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，所述步骤S2包括以下步骤：
4.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，所述步骤S3包括以下步骤：
5.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，所述步骤S4包括以下步骤：
【技术特征摘要】
1.一种面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求1所述的面向高帧率视频的可回溯帧率转换模型构建方法，...
【专利技术属性】
技术研发人员：刘畅，白鹤鸣，姜芮芮，张佳琳，王振国，
申请(专利权)人：南通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。