一种插帧生成模型构建方法、视频插帧方法技术

本申请公开了一种插帧生成模型构建方法、视频插帧方法，先利用第一样本图像集、该第一样本图像集对应的实际插帧图像、第二样本图像集、该第二样本图像集对应的实际插帧图像、第三样本图像集和该第三样本图像集对应的实际插帧图像，构建插帧生成模型；再利用该插帧生成模型针对待插帧视频中各个待插帧位置上的插帧图像进行预测，并将预测得到的各个插帧图像分别插入该待插帧视频。其中，因预先构建的插帧生成模型具有较好的插帧图像预测性能，使得由该插帧生成模型针对待插帧视频预测得到的各个插帧图像均携带有准确的变化细节信息，从而使得插帧后的待插帧视频携带有更准确的变化细节信息，如此使得插帧后的待插帧视频具有更好的慢速回放效果。有更好的慢速回放效果。有更好的慢速回放效果。

【技术实现步骤摘要】
一种插帧生成模型构建方法、视频插帧方法


[0001]本申请涉及计算机
，尤其涉及一种插帧生成模型构建方法、视频插帧方法。

技术介绍

[0002]对于一些瞬间完成的变化过程(例如，闪电的出现过程、子弹击碎物品的发生过程、因车辆行驶速度太快导致的车祸过程)来说，因这些变化过程的变化速度太快，使得相关人员无法清楚地看到这些变化过程的变化细节，故可以利用视频拍摄设备针对这些变化过程进行视频拍摄，以便后续相关人员能够借助对记录有这些变化过程的视频进行慢速回放的方式观察分析这些变化过程的变化细节。
[0003]然而，因一些视频的自身缺陷(如，因低帧率的视频拍摄设备每秒只能记录少量图片导致由该视频拍摄设备拍摄的视频中图像帧数较少)，使得这些视频记录有较少的变化细节，如此导致在对这些视频进行慢速回放时无法清楚地展示出变化细节，从而导致慢速回放效果较差。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种插帧生成模型构建方法、视频插帧方法，能够针对由低帧率的视频拍摄设备拍摄的视频进行较好地插帧处理，使得插帧后视频能够具有更好的慢速回放效果。
[0005]本申请实施例提供了一种插帧生成模型构建方法，所述方法包括：
[0006]获取第一样本图像集、所述第一样本图像集对应的实际插帧图像、第二样本图像集、所述第二样本图像集对应的实际插帧图像、第三样本图像集和所述第三样本图像集对应的实际插帧图像；根据所述第一样本图像集和所述第一样本图像集对应的实际插帧图像，构建向后预测模型；根据所述第二样本图像集和所述第二样本图像集对应的实际插帧图像，构建向前预测模型；根据所述第三样本图像集和所述第三样本图像集对应的实际插帧图像，构建图像融合模型；利用所述向后预测模型、所述向前预测模型和所述图像融合模型，构建插帧生成模型。
[0007]本申请实施例还提供了一种视频插帧方法，所述方法包括：
[0008]从待插帧视频中确定待插帧位置、所述待插帧位置对应的向前预测参考图像集和所述待插帧位置对应的向后预测参考图像集；将所述待插帧位置对应的向前预测参考图像集和所述待插帧位置对应的向后预测参考图像集输入预先构建的插帧生成模型，得到所述插帧生成模型输出的所述待插帧位置对应的插帧图像；其中，所述插帧生成模型是利用权利要求1
‑
14任一项所述的插帧生成模型构建方法构建的；将所述待插帧位置对应的插帧图像插入至所述待插帧视频中所述待插帧位置。
[0009]本申请实施例还提供了一种设备，其特征在于，所述设备包括：处理器、存储器、系统总线；
[0010]所述处理器以及所述存储器通过所述系统总线相连；
[0011]所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行本申请实施例提供的插帧生成模型构建方法的任一实施方式，或者执行本申请实施例提供的视频插帧方法的任一实施方式。
[0012]本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行本申请实施例提供的插帧生成模型构建方法的任一实施方式，或者执行本申请实施例提供的视频插帧方法的任一实施方式。
[0013]本申请实施例还提供了一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例提供的插帧生成模型构建方法的任一实施方式，或者执行本申请实施例提供的视频插帧方法的任一实施方式。
[0014]基于上述技术方案，本申请具有以下有益效果：
[0015]本申请提供的技术方案中，先利用第一样本图像集、该第一样本图像集对应的实际插帧图像、第二样本图像集、该第二样本图像集对应的实际插帧图像、第三样本图像集和该第三样本图像集对应的实际插帧图像，构建插帧生成模型；再利用构建好的插帧生成模型针对待插帧视频中各个待插帧位置上的插帧图像进行预测，并将预测得到的各个插帧图像分别插入该待插帧视频。其中，因预先构建的插帧生成模型具有较好的插帧图像预测性能，使得由该插帧生成模型针对待插帧视频预测得到的各个插帧图像均携带有准确的变化细节信息，从而使得该待插帧视频对应的插帧后视频携带有更准确的变化细节信息，如此使得该待插帧视频对应的插帧后视频具有更好的慢速回放效果。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例提供的一种插帧生成模型构建方法的流程图；
[0018]图2为本申请实施例提供的一种第一样本视频的示意图；
[0019]图3为本申请实施例提供的一种第二样本视频的示意图；
[0020]图4为本申请实施例提供的一种第三样本图像集的结构示意图；
[0021]图5为本申请实施例提供的另一种第三样本图像集的结构示意图；
[0022]图6为本申请实施例提供的一种第一模型的结构示意图；
[0023]图7为本申请实施例提供的一种第二模型的结构示意图；
[0024]图8为本申请实施例提供的一种视频插帧方法的流程图；
[0025]图9为本申请实施例提供的一种待插帧视频的示意图；
[0026]图10为本申请实施例提供的一种插帧生成模型构建装置的结构示意图；
[0027]图11为本申请实施例提供的一种视频插帧装置的结构示意图。
具体实施方式
[0028]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]为了便于理解本申请实施例提供的技术方案，下面先介绍插帧生成模型构建方法，再介绍视频插帧方法(也就是，插帧生成模型的使用过程)。
[0030]方法实施例一
[0031]参见图1，该图为本申请实施例提供的一种插帧生成模型构建方法的流程图。
[0032]本申请实施例提供的插帧生成模型构建方法，包括S101
‑
S105：
[0033]S101：获取第一样本图像集、该第一样本图像集对应的实际插帧图像、第二样本图像集、该第二样本图像集对应的实际插帧图像、第三样本图像集和该第三样本图像集对应的实际插帧图像。
[0034]其中，第一样本图像集用于构建向后预测模型；而且本申请实施例不限定第一样本图像集的个数。另外，本申请实施例也不限定第一样本图像集中图像的个数，例如，第一样本图像集中图像的个数可以是N1。其中，N本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种插帧生成模型构建方法，其特征在于，所述方法包括：获取第一样本图像集、所述第一样本图像集对应的实际插帧图像、第二样本图像集、所述第二样本图像集对应的实际插帧图像、第三样本图像集和所述第三样本图像集对应的实际插帧图像；根据所述第一样本图像集和所述第一样本图像集对应的实际插帧图像，构建向后预测模型；根据所述第二样本图像集和所述第二样本图像集对应的实际插帧图像，构建向前预测模型；根据所述第三样本图像集和所述第三样本图像集对应的实际插帧图像，构建图像融合模型；利用所述向后预测模型、所述向前预测模型和所述图像融合模型，构建插帧生成模型。2.根据权利要求1所述的方法，其特征在于，所述获取第一样本图像集、所述第一样本图像集对应的实际插帧图像、第二样本图像集、所述第二样本图像集对应的实际插帧图像、第三样本图像集和所述第三样本图像集对应的实际插帧图像，包括：获取第一样本视频、第二样本视频和第三样本视频；从所述第一样本视频中抽取所述第一样本图像集和所述第一样本图像集对应的实际插帧图像；从所述第二样本视频中抽取所述第二样本图像集和所述第二样本图像集对应的实际插帧图像；从所述第三样本视频中抽取所述第三样本图像集和所述第三样本图像集对应的实际插帧图像。3.根据权利要求2所述的方法，其特征在于，所述从所述第一样本视频中抽取所述第一样本图像集和所述第一样本图像集对应的实际插帧图像，包括：按照第一间隔从所述第一样本视频中抽取N1个第一样本图像，得到所述第一样本图像集；将所述第一样本图像集中N1个第一样本图像的视频位置的最大值加第一预设值，得到向后标签位置；按照所述向后标签位置从所述第一样本视频中抽取所述第一样本图像集对应的实际插帧图像；其中，N1为正整数；和/或，所述从所述第二样本视频中抽取所述第二样本图像集和所述第二样本图像集对应的实际插帧图像，包括：按照第二间隔从所述第二样本视频中抽取N2个第二样本图像，得到所述第二样本图像集；将所述第二样本图像集中N2个第二样本图像的视频位置的最小值减第二预设值，得到向前标签位置；按照所述向前标签位置从所述第二样本视频中抽取所述第二样本图像集对应的实际插帧图像；其中，N2为正整数。4.根据权利要求2或3所述的方法，其特征在于，所述从所述第三样本视频中抽取所述第三样本图像集和所述第三样本图像集对应的实际插帧图像，包括：按照第三间隔从所述第三样本视频中抽取N3个第三样本图像；将所述N3个第三样本图像的视频位置的最大值加第三预设值，得到第一插帧标签位置，并将所述N3个第三样本图像的视频位置的最大值加第四预设值，得到抽取起始位置；按照所述第一插帧标签位置从
所述第三样本视频中抽取所述第三样本图像集对应的实际插帧图像；按照所述抽取起始位置和所述第三间隔从所述第三样本视频中抽取N4个第三样本图像，以使所述N4个第三样本图像的视频位置均不小于所述抽取起始位置；将所述N3个第三样本图像和所述N4个第三样本图像的集合，确定为所述第三样本图像集；其中，所述第四预设值大于所述第三预设值；N3为正整数，且N4为正整数；或者，所述从所述第三样本视频中抽取所述第三样本图像集和所述第三样本图像集对应的实际插帧图像，包括：按照第四间隔从所述第三样本视频中抽取N5个第三样本图像；将所述N5个第三样本图像的视频位置的最小值减第五预设值，得到第二插帧标签位置，并将所述N5个第三样本图像的视频位置的最小值减第六预设值，得到抽取终止位置；按照所述第二插帧标签位置从所述第三样本视频中抽取所述第三样本图像集对应的实际插帧图像；按照所述抽取终止位置和所述第四间隔从所述第三样本视频中抽取N6个第三样本图像，以使所述N6个第三样本图像的视频位置均不大于所述抽取终止位置；将所述N5个第三样本图像和所述N6个第三样本图像的集合，确定为所述第三样本图像集；其中，所述第六预设值大于所述第五预设值；N5为正整数，且N6为正整数。5.根据权利要求1所述的方法，其特征在于，所述向后预测模型的构建过程，包括：将所述第一样本图像集输入第一模型，得到所述第一模型输出的所述第一样本图像集对应的预测插帧图像；根据所述第一样本图像集对应的预测插帧图像和所述第一样本图像集对应的实际插帧图像，更新所述第一模型，并继续执行所述将所述第一样本图像集输入第一模型的步骤，直至在达到第一停止条件时，根据所述第一模型，确定所述向后预测模型；和/或，所述向前预测模型的构建过程，包括：将所述第二样本图像集输入第二模型，得到所述第二模型输出的所述第二样本图像集对应的预测插帧图像；根据所述第二样本图像集对应的预测插帧图像和所述第二样本图像集对应的实际插帧图像，更新所述第二模型，并继续执行所述将所述第二样本图像集输入第二模型的步骤，直至在达到第二停止条件时，根据所述第二模型，确定所述向前预测模型。6.根据权利要求5所述的方法，其特征在于，所述第一模型包括第一特征生成层、第一特征分离层、第一像素权重确定层、第一图像加权层和向后特征预测层；所述第一样本图像集对应的预测插帧图像的生成过程，包括：将所述第一样本图像集输入所述第一特征生成层，得到所述第一特征生成层输出的所述第一样本图像集对应的第一待分离特征；将所述第一样本图像集对应的第一待分离特征输入所述第一特征分离层，得到所述第一特征分离层输出的所述第一样本图像集对应的第一非运动特征和所述第一样本图像集对应的第一运动特征；将所述第一样本图像集对应的第一运动特征输入所述第一像素权重确定层，得到所述第一像素权重确定层输出的所述第一样本图像集对应的像素级权重；
将所述第一样本图像集对应的像素级权重和所述第一样本图像集输入所述第一图像加权层，得到所述第一图像加权层输出的所述第一样本图像集对应的加权图像集；将所述第一样本图像集对应的加权图像集输入所述第一特征生成层，得到所述第一特征生成层输出的所述第一样本图像集对应的第二待分离特征；将所述第一样本图像集对应的第二待分离特征输入所述第一特征分离层，得到所述第一特征分离层输出的所述第一样本图像集对应的第二非运动特征和所述第一样本图像集对应的第二运动特征；将所述第一样本图像集对应的第二非运动特征和所述第一样本图像集对应的第二运动特征输入所述向后特征预测层，得到所述向后特征预测层输出的所述第一样本图像集对应的预测插帧图像。7.根据权利要求6所述的方法，其特征在于，所述第一像素权重确定层包括第一依赖衰减系数确定子层和第一依赖权重生成子层，且所述第一样本图像集对应的像素级权重的生成过程包括：将所述第一样本图像集对应的第一运动特征输入所述第一依赖衰减系数确定子层，得到所述第一依赖衰减系数确定子层输出的...

【专利技术属性】
技术研发人员：贾若然，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：