视频的插帧方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供了视频的插帧方法、装置、计算机设备及存储介质，方法包括：获取第一视频帧和第二视频帧；基于预设中间光流估计网络对第一视频帧和第二视频帧进行中间光流估计，得到目标中间光流图；将目标中间光流图、第一视频帧和第二视频帧输入预设映射变换网络，得到第一映射中间帧信息和第二映射中间帧信息；基于预设深度可分离卷积融合网络对第一映射中间帧信息和第二映射中间帧信息进行特征融合，得到第一视频帧和第二视频帧之间的目标中间帧。本申请通过中间光流估计网络直接估计中间光流信息，减小了模型的计算量，并且，本申请采用深度可分离卷积融合网络进行特征融合，减小了特征融合过程的计算量，进一步提高了视频的插帧速度。帧速度。帧速度。

【技术实现步骤摘要】
视频的插帧方法、装置、计算机设备及存储介质


[0001]本专利技术涉及视频处理
，尤其涉及一种视频的插帧方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着人工智能技术的发展，视频插帧算法在老旧的电影的视频质量提升、慢动作视频制作等方面得到青睐。视频资源通过视频插帧算法提升视频质量，可以将24/30帧率的视频提升至60帧率甚至更高，而视频插帧后再进行视频升格则可以获得慢动作视觉效果。
[0003]主流视频插帧方法通常是基于光流法完成，其中的光流是代表连续视频帧中同一对象(物体)的像素点移动到下一帧的移动量。现有的基于光流法的视频插帧模型通常将前后连续两帧图像作为输入，通过网络提取两帧图像之间的光流，再依据两帧图像之间的光流确定中间光流信息，进而基于中间光流信息合成中间帧。然而，由于需要逐像素计算光流来保证插帧效果，现有的视频插帧方法计算量大，插帧速度慢，插帧效率较低。

技术实现思路

[0004]本专利技术实施例提供了视频的插帧方法、装置、计算机设备及存储介质，旨在解决现有的视频插帧模型插帧速度慢，插帧效率较低的技术问题。
[0005]第一方面，本专利技术实施例提供了一种视频的插帧方法，方法包括：
[0006]获取第一视频帧和第二视频帧；
[0007]基于预设中间光流估计网络对第一视频帧和第二视频帧进行中间光流估计，得到目标中间光流图；
[0008]将目标中间光流图、第一视频帧和第二视频帧输入预设映射变换网络，得到与第一视频帧对应的第一映射中间帧信息，和与第二视频帧对应的第二映射中间帧信息；
[0009]基于预设深度可分离卷积融合网络对第一映射中间帧信息和第二映射中间帧信息进行特征融合，得到第一视频帧和第二视频帧之间的目标中间帧。
[0010]第二方面，本专利技术实施例提供了一种视频的插帧装置，装置包括：
[0011]获取单元，用于获取第一视频帧和第二视频帧；
[0012]光流估计单元，用于基于预设中间光流估计网络对第一视频帧和第二视频帧进行中间光流估计，得到目标中间光流图；
[0013]映射变换单元，用于将目标中间光流图、第一视频帧和第二视频帧输入预设映射变换网络，得到与第一视频帧对应的第一映射中间帧信息，和与第二视频帧对应的第二映射中间帧信息；
[0014]特征融合单元，用于基于预设深度可分离卷积融合网络对第一映射中间帧信息和第二映射中间帧信息进行特征融合，得到第一视频帧和第二视频帧之间的目标中间帧。
[0015]第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方
面的视频的插帧方法，或者，处理器执行计算机程序时实现上述第一方面的视频的插帧方法。
[0016]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中计算机可读存储介质存储有计算机程序，计算机程序当被处理器执行时使处理器执行上述第一方面的视频的插帧方法，或者，计算机程序当被处理器执行时使处理器执行上述第一方面的视频的插帧方法。
[0017]本专利技术实施例提供了视频的插帧方法，包括：获取第一视频帧和第二视频帧，并基于预设中间光流估计网络对第一视频帧和第二视频帧进行中间光流估计，得到目标中间光流图，进而将目标中间光流图、第一视频帧和第二视频帧输入预设映射变换网络，得到与第一视频帧对应的第一映射中间帧信息，和与第二视频帧对应的第二映射中间帧信息，并基于预设深度可分离卷积融合网络对第一映射中间帧信息和第二映射中间帧信息进行特征融合，得到第一视频帧和第二视频帧之间的目标中间帧。本申请一方面在光流估计过程中通过中间光流估计网络直接估计出中间光流信息，而不是先估计出双向光流再计算出中间光流，减小了模型的计算量，另一方面，本申请采用深度可分离卷积融合网络进行第一映射中间帧信息和第二映射中间帧信息的特征融合，相比于常规的卷积融合网络，减小了特征融合过程中的计算量，进一步提升了视频的插帧速度，提高了视频的插帧效率。
附图说明
[0018]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本专利技术实施例提供的视频的插帧方法的流程示意图；
[0020]图2a为本专利技术实施例提供的中间光流估计网络的光流估计过程示意图；
[0021]图2b为本专利技术实施例提供的光流估计模块的结构示意图；
[0022]图3为本专利技术实施例提供的映射变换网络的映射变换过程示意图；
[0023]图4a为本专利技术实施例提供的深度可分离卷积融合网络的结构示意图；
[0024]图4b为本专利技术实施例提供的深度可分离卷积块的结构示意图；
[0025]图4c为本专利技术实施例提供的转置卷积块的结构示意图；
[0026]图5为本专利技术实施例提供的视频的插帧装置的示意性框图；
[0027]图6为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0030]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0031]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0032]随着人工智能技术的发展，视频插帧算法在老旧的电影的视频质量提升、慢动作视频制作等方面得到青睐。视频资源通过视频插帧算法提升视频质量，可以将24/30帧率的视频提升至60帧率甚至更高，而视频插帧后再进行视频升格则可以获得慢动作视觉效果。
[0033]现有的视频插帧模型通常将前后连续两帧图像作为输入，通过网络提取两帧图像之间的光流，再依据两帧图像之间的光流确定中间光流信息，进而基于中间光流信息合成中间帧。然而，由于需要逐像素计算光流，现有的视频插帧方法计算量大，插帧速度慢，插帧效率较低。
[0034]基于此，本专利技术提供了一种视频的插帧方法、装置、计算机设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频的插帧方法，其特征在于，包括：获取第一视频帧和第二视频帧；基于预设中间光流估计网络对所述第一视频帧和所述第二视频帧进行中间光流估计，得到目标中间光流图；将所述目标中间光流图、所述第一视频帧和所述第二视频帧输入预设映射变换网络，得到与所述第一视频帧对应的第一映射中间帧信息，和与所述第二视频帧对应的第二映射中间帧信息；基于预设深度可分离卷积融合网络对所述第一映射中间帧信息和所述第二映射中间帧信息进行特征融合，得到所述第一视频帧和所述第二视频帧之间的目标中间帧。2.根据权利要求1所述的方法，其特征在于，所述预设中间光流估计网络包括N个光流估计模块，其中，N大于或等于3，所述基于预设中间光流估计网络对所述第一视频帧和所述第二视频帧进行中间光流估计，得到目标中间光流图，包括：对所述第一视频帧、所述第二视频帧进行第一下采样，得到第一分辨率对应的第一视频帧和第二视频帧；将所述第一分辨率对应的第一视频帧和第二视频帧输入第一光流估计模块，得到第一中间光流图；对所述第一视频帧、第二视频帧进行第i下采样，得到第i分辨率对应的第一视频帧和第二视频帧；将所述第i分辨率对应的第一视频帧和第二视频帧与所述第一中间光流图进行叠加后输入第i光流估计模块，得到第二中间光流图；其中，所述i的初始值为2，且所述i的取值范围为[2,N]；所述第一下采样的采样倍数大于所述第i下采样的采样倍数，所述第i下采样的采样倍数随着i的增大而降低；将所述i增1更新；若i小于N，则将所述第二中间光流图作为所述第一中间光流图，并返回执行所述对所述第一视频帧、第二视频帧进行第i下采样，得到第i分辨率对应的第一视频帧和第二视频帧；将所述第i分辨率对应的第一视频帧和第二视频帧与所述第一中间光流图进行叠加后输入第i光流估计模块，得到所述第i光流估计模块输出的第二中间光流图的步骤；若i等于N,则将所述第一视频帧和所述第二视频帧与所述第二中间光流图进行叠加后输入第N光流估计模块,得到第N中间光流图；将所述第N中间光流图确定为所述目标中间光流图。3.根据权利要求1所述的方法，其特征在于，所述第一映射中间帧信息包括第一映射中间帧和第一特征映射中间帧，所述第二映射中间帧信息包括第二映射中间帧和第二特征映射中间帧，所述将所述目标中间光流图、所述第一视频帧和所述第二视频帧输入预设映射变换网络，得到与所述第一视频帧对应的第一映射中间帧信息，和与所述第二视频帧对应的第二映射中间帧信息，包括：通过所述预设映射变换网络对所述第一视频帧和所述第二视频帧分别进行特征提取，得到第一特征视频帧和第二特征视频帧；通过所述预设映射变换网络基于所述目标中间光流图分别对所述第一视频帧和所述第一特征视频帧进行映射变换，得到所述第一映射中间帧和所述第一特征映射中间帧；通过所述预设映射变换网络基于所述目标中间光流图分别对所述第二视频帧和所述第二特征视频帧进行映射变换，得到所述第二映射中间帧和所述第二特征映射中间帧。
4.根据权利要求3所述的方法，其特征在于...

【专利技术属性】
技术研发人员：陈佳昊，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：