视频插帧方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种视频插帧方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到第一视频帧与第二视频帧之间的中间帧；将基于第一视频帧、中间帧和第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到预先训练的插帧模型的预测尺度组合信息；根据预测尺度组合信息，对预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；将调整后的插帧模型对应作为预先训练的插帧模型，循环上述步骤，直到满足预设终止条件，并将满足预设终止条件时对应的中间帧，作为第一视频帧和第二视频帧之间的目标视频帧。采用本方法能够提高生成的中间帧质量。生成的中间帧质量。生成的中间帧质量。

【技术实现步骤摘要】
视频插帧方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机视觉
，特别是涉及一种视频插帧方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机视觉技术的发展，人们对于视频帧率的要求也越来越高，因此，插帧技术在视频处理中也越来越重要。例如，可以通过视频插帧技术进行视频压缩，还可以进行视频慢动作处理，也可以通过视频插帧技术替换原视频中的坏帧。
[0003]传统技术中，通常根据相邻两个视频帧的光流来估算出两个视频帧之间的中间帧，但是，对视频帧内容涉及大幅度运动的中间帧进行光流合成，容易导致生成的中间帧损失视频细节，使得该生成的中间帧较为模糊、质量较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高生成的中间帧质量的视频插帧方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种视频插帧方法。所述方法包括：
[0006]将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；
[0007]将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；
[0008]根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；
[0009]将所述调整后的插帧模型对应作为所述预先训练的插帧模型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。
[0010]第二方面，本申请还提供了一种视频插帧装置。所述装置包括：
[0011]中间帧获取模块，用于将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；
[0012]尺度组合预测模块，用于将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；
[0013]插帧模型调整模块，用于根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；
[0014]视频帧确定模块，用于将所述调整后的插帧模型对应作为所述预先训练的插帧模
型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。
[0015]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0016]将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；
[0017]将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；
[0018]根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；
[0019]将所述调整后的插帧模型对应作为所述预先训练的插帧模型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。
[0020]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0021]将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；
[0022]将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；
[0023]根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；
[0024]将所述调整后的插帧模型对应作为所述预先训练的插帧模型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。
[0025]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0026]将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；
[0027]将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；
[0028]根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；
[0029]将所述调整后的插帧模型对应作为所述预先训练的插帧模型，并跳转至将第一视
频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。
[0030]上述视频插帧方法、装置、计算机设备、存储介质和计算机程序产品，将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到第一视频帧与第二视频帧之间的中间帧；将基于第一视频帧、中间帧和第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到预先训练的插帧模型的预测尺度组合信息；根据预测尺度组合信息，对预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；将调整后的插帧模型对应作为预先训练的插帧模型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到第一视频帧与第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足预设终止条件时对应的中间帧，作为第一视频帧和第二视频帧之间的目标视频帧。采用本方法，将降采样后的视频帧输入至预先训练的尺度组合预测模型，不仅实现了通过比第一视频帧、中间帧和第二视频帧尺寸更小的视频帧就得到了预测尺度组合信息，还能够降低预先训练的尺度组合预测模型的计算量，提高处理效率；通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频插帧方法，其特征在于，所述方法包括：将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧；将基于所述第一视频帧、所述中间帧和所述第二视频帧得到的降采样后视频帧，输入至预先训练的尺度组合预测模型，得到所述预先训练的插帧模型的预测尺度组合信息；根据所述预测尺度组合信息，对所述预先训练的插帧模型的当前尺度组合信息进行调整，得到调整后的插帧模型；将所述调整后的插帧模型对应作为所述预先训练的插帧模型，并跳转至将第一视频帧和第二视频帧输入至预先训练的插帧模型，得到所述第一视频帧与所述第二视频帧之间的中间帧的步骤，直到满足预设终止条件，并将满足所述预设终止条件时对应的中间帧，作为所述第一视频帧和所述第二视频帧之间的目标视频帧。2.根据权利要求1所述的方法，其特征在于，所述预先训练的插帧模型通过如下方式训练得到：将第一视频帧样本和第二视频帧样本输入至待训练的插帧模型，得到所述第一视频帧样本对应的第一目标光流和所述第二视频帧样本对应的第二目标光流；根据所述第一视频帧样本、所述第二视频帧样本、所述第一视频帧样本与第二视频帧样本之间的实际中间帧样本、所述第一目标光流和所述第二目标光流，得到所述第一视频帧样本对应的第三目标光流和所述第二视频帧样本对应的第四目标光流；根据所述第一视频帧样本、所述第二视频帧样本、所述实际中间帧样本、所述第一目标光流、所述第二目标光流、所述第三目标光流和所述第四目标光流，得到所述待训练的插帧模型的损失函数；根据所述损失函数，对所述待训练的插帧模型进行迭代训练，得到所述预先训练的插帧模型。3.根据权利要求2所述的方法，其特征在于，所述将第一视频帧样本和第二视频帧样本输入至待训练的插帧模型，得到所述第一视频帧样本对应的第一目标光流和所述第二视频帧样本对应的第二目标光流，包括：根据所述待训练的插帧模型的预设尺度组合信息中的第一预设尺度，对第一视频帧样本和第二视频帧样本进行缩放处理，得到第一缩放样本和第二缩放样本；将所述第一缩放样本和所述第二缩放样本，输入至所述待训练的插帧模型中的第一光流残差预测模型，得到所述第一缩放样本对应的第一初始光流残差和所述第二缩放样本对应的第二初始光流残差，并将所述第一初始光流残差作为第一初始光流和将第二初始光流残差作为第二初始光流；根据所述预设尺度组合信息中的第二预设尺度，对第一视频帧样本和第二视频帧样本进行缩放处理，得到第三缩放样本和第四缩放样本；将所述第三缩放样本、所述第四缩放样本、所述第一初始光流和所述第二初始光流，输入至所述待训练的插帧模型中的第二光流残差预测模型，得到所述第一初始光流的第一更新光流残差和所述第二初始光流的第二更新光流残差；所述第一更新光流残差用于对所述第一初始光流进行更新，得到第一更新光流；所述第二更新光流残差用于对所述第二初始光流进行更新，得到第二更新光流；
根据所述预设尺度组合信息中的第三预设尺度，对第一视频帧样本和第二视频帧样本进行缩放处理，得到第五缩放样本和第六缩放样本；将所述第五缩放样本、所述第六缩放样本、所述第一更新光流和所述第二更新光流，输入至所述第二光流残差预测模型，得到所述第一更新光流的第一目标光流残差和所述第二更新光流的第二目标光流残差；根据所述第一目标光流残差和所述第二目标光流残差，对所述第一更新光流和所述第二更新光流进行对应更新，得到所述第一视频帧样本对应的第一目标光流和所述第二视频帧样本对应的第二目标光流。4.根据权利要求2所述的方法，其特征在于，所述待训练的插帧模型还包括光流残差修正网络；所述根据所述第一视频帧样本、所述第二视频帧样本、所述第一视频帧样本与第二视频帧样本之间的实际中间帧样本、所述第一目标光流和所述第二目标光流，得到所述第一视频帧样本对应的第三目标光流和所述第二视频帧样本对应的第四目标光流，包括：将所述第一视频帧样本、所述第二视频帧样本、所述实际中间帧样本、所述第一目标光流、所述第二目标光流、所述第三目标光流和所述第四目标光流，输入至所述光流残差修正网络，得到所述第一目标光流对应的第三目标光流残差和所述第二目标光流对应的第四目标光流残差；根据所述第三目标光流残差和所述第四目标光流残差，对所述第一目标光流和所述第二目标光流进行对应更新，得到所述第一视频帧样本对应的第三目标光流和所述第二视频帧样本对应的第四目标光流。5.根据权利要求2所述的方法，其特征在于，所述根据所述第一视频帧样本、所述第二视频帧样本、所述实际中间帧样本、所述第一目标光流、所述第二目标光流、所述三目标光流和所述第四目标光流，得到所述待训练的...

【专利技术属性】
技术研发人员：盛泽煜，胡思行，蒋念娟，沈小勇，吕江波，
申请(专利权)人：深圳思谋信息科技有限公司，
类型：发明
国别省市：