本申请提供视频插帧方法及装置，其中视频插帧方法包括：从待插帧视频中获取连续的第一视频帧和第二视频帧；确定第一视频帧和第二视频帧对应的帧间光流图，其中，帧间光流图用于指示各像素点从第一视频帧至第二视频帧的运动信息；基于帧间光流图，确定第一视频帧和第二视频帧之间的目标插帧时刻；根据第一视频帧、第二视频帧和目标插帧时刻，确定对应的目标合成帧，并将目标合成帧插入第一视频帧和第二视频帧之间。如此，实现了在第一视频帧和第二视频帧之间的任意位置进行插帧，利用了任意时刻插帧，插帧越靠近任一输入的视频帧，其插帧伪影越少的特点，提高了基于连续的两帧视频帧生成合成帧的准确率，从而提高了插帧质量和插帧效果。插帧效果。插帧效果。
【技术实现步骤摘要】
视频插帧方法及装置
[0001]本申请涉及视频处理
，特别涉及一种视频插帧方法。本申请同时涉及一种视频插帧装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
[0002]随着计算机技术和网络技术的快速发展，各种各样的视频层出不穷，观看视频已成为人们工作、休闲、娱乐的重要方式。为了提高视频的帧率和流畅度，可以在视频中连续的两视频帧之间插入合成帧，缩短帧间显示时间。
[0003]现有技术中，可以复制前一帧或后一帧的画面作为合成帧，插入至连续的两视频帧之间，即复制帧；或者，还可以将前后两视频帧进行类似双重曝光的模糊处理来得到合成帧，即混合帧；又或者，可以基于深度学习模型进行插帧，通过对前后两帧画面进行分析建模生成光流从而得到帧间线性映射关系，最终结合出合成帧。
[0004]然而，上述方法中，第一种由于依靠的是完全复制前一帧或者后一帧来提高帧率，并不会带来视觉上的提升，有时反而会导致视频观感卡顿；第二种虽然参考了前后两帧的信息，但简单的双重曝光模糊会导致较为严重的伪影，同时一帧清晰一帧模糊会给视频编解码带来额外的负担；第三种基于光流估计模型的插帧方法，当原始两帧之间真实地存在大光流时，由于光流估计不准等原因，会导致合成出来的合成帧也出现严重的伪影。也即是，现有进行视频插帧的方法中，基于连续的两帧视频帧在存在大运动时生成合成帧的准确率较低，可能会出现严重的伪影，插帧质量和插帧效果差。
技术实现思路
[0005]有鉴于此，本申请实施例提供了一种视频插帧方法。本申请同时涉及一种视频插帧装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的基于连续的两帧视频帧生成合成帧的准确率较低，可能会出现严重的伪影，插帧质量和插帧效果差的技术问题。
[0006]根据本申请实施例的第一方面，提供了一种视频插帧方法，包括：
[0007]从待插帧视频中获取连续的第一视频帧和第二视频帧；
[0008]确定第一视频帧和第二视频帧对应的帧间光流图，其中，帧间光流图用于指示各像素点从第一视频帧至第二视频帧的运动信息；
[0009]基于帧间光流图，确定第一视频帧和第二视频帧之间的目标插帧时刻；
[0010]根据第一视频帧、第二视频帧和目标插帧时刻，确定对应的目标合成帧，并将目标合成帧插入第一视频帧和第二视频帧之间。
[0011]根据本申请实施例的第二方面，提供了一种视频插帧装置，包括：
[0012]获取模块，被配置为从待插帧视频中获取连续的第一视频帧和第二视频帧；
[0013]第一确定模块，被配置为确定第一视频帧和第二视频帧对应的帧间光流图，其中，帧间光流图用于指示各像素点从第一视频帧至第二视频帧的运动信息；
[0014]第二确定模块，被配置为基于帧间光流图，确定第一视频帧和第二视频帧之间的目标插帧时刻；
[0015]插入模块，被配置为根据第一视频帧、第二视频帧和目标插帧时刻，确定对应的目标合成帧，并将目标合成帧插入第一视频帧和第二视频帧之间。
[0016]根据本申请实施例的第三方面，提供了一种计算设备，包括：
[0017]存储器和处理器；
[0018]存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，以实现下述方法：
[0019]从待插帧视频中获取连续的第一视频帧和第二视频帧；
[0020]确定第一视频帧和第二视频帧对应的帧间光流图，其中，帧间光流图用于指示各像素点从第一视频帧至第二视频帧的运动信息；
[0021]基于帧间光流图，确定第一视频帧和第二视频帧之间的目标插帧时刻；
[0022]根据第一视频帧、第二视频帧和目标插帧时刻，确定对应的目标合成帧，并将目标合成帧插入第一视频帧和第二视频帧之间。
[0023]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意视频插帧方法的步骤。
[0024]本申请实施例提供的视频插帧方法，从待插帧视频中获取连续的第一视频帧和第二视频帧；确定第一视频帧和第二视频帧对应的帧间光流图，其中，帧间光流图用于指示各像素点从第一视频帧至第二视频帧的运动信息；基于帧间光流图，确定第一视频帧和第二视频帧之间的目标插帧时刻；根据第一视频帧、第二视频帧和目标插帧时刻，确定对应的目标合成帧，并将目标合成帧插入第一视频帧和第二视频帧之间。
[0025]这种情况下，可以先基于第一视频帧和第二视频帧对应的帧间光流图，确定出第一视频帧和第二视频帧之间的目标插帧时刻，然后基于第一视频帧和第二视频帧，确定出该目标插帧时刻对应的目标合成帧，自适应地指导插帧时刻往前或者往后移动，更靠近第一视频帧或第二视频帧，避免获得的目标合成帧与前后两视频帧都差别较大的情况。如此，实现了在第一视频帧和第二视频帧之间的任意位置进行插帧，利用了任意时刻插帧，插帧越靠近任一输入的视频帧，其插帧伪影越少的特点，提高了基于连续的两帧视频帧生成合成帧的准确率，大幅改善了两视频帧中大运动可能会出现的伪影，提高了插帧质量和插帧效果。
附图说明
[0026]图1是本申请一实施例提供的一种视频插帧方法的流程图；
[0027]图2是本申请一实施例提供的一种帧间光流图；
[0028]图3a是本申请一实施例提供的一种应用于两倍插帧场景下的视频插帧方法的处理过程示意图；
[0029]图3b是本申请一实施例提供的一种第一视频帧的示意图；
[0030]图3c是本申请一实施例提供的一种第二视频帧的示意图；
[0031]图3d是本申请一实施例提供的一种合成帧的示意图；
[0032]图3e是本申请一实施例提供的另一种合成帧的示意图；
[0033]图4是本申请一实施例提供的一种视频插帧装置的结构示意图；
[0034]图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0035]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0036]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0037]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频插帧方法，其特征在于，包括：从待插帧视频中获取连续的第一视频帧和第二视频帧；确定所述第一视频帧和所述第二视频帧对应的帧间光流图，其中，所述帧间光流图用于指示各像素点从所述第一视频帧至所述第二视频帧的运动信息；基于所述帧间光流图，确定所述第一视频帧和所述第二视频帧之间的目标插帧时刻；根据所述第一视频帧、所述第二视频帧和所述目标插帧时刻，确定对应的目标合成帧，并将所述目标合成帧插入所述第一视频帧和所述第二视频帧之间。2.根据权利要求1所述的视频插帧方法，其特征在于，所述基于所述帧间光流图，确定所述第一视频帧和所述第二视频帧之间的目标插帧时刻，包括：基于所述帧间光流图，确定所述第一视频帧和所述第二视频帧之间的光流强度指标；根据光流强度范围和插帧时刻之间的对应关系，确定所述光流强度指标对应的目标插帧时刻。3.根据权利要求2所述的视频插帧方法，其特征在于，所述基于所述帧间光流图，确定所述第一视频帧和所述第二视频帧之间的光流强度指标，包括：确定目标像素点在横轴方向上的横轴分量，以及在纵轴方向上的纵轴分量，其中，所述目标像素点为所述帧间光流图中的任一像素点；基于所述帧间光流图中各像素点的横轴分量，确定平均横轴分量，并基于所述帧间光流图中各像素点的纵轴分量，确定平均纵轴分量；基于所述横轴分量、所述纵轴分量、所述平均横轴分量和所述平均纵轴分量，确定所述第一视频帧和所述第二视频帧之间的光流强度指标。4.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述第一视频帧、所述第二视频帧和所述目标插帧时刻，确定对应的目标合成帧，包括：根据所述目标插帧时刻，生成插帧时刻信息；将所述第一视频帧、所述第二视频帧和所述插帧时刻信息输入训练完成的插帧模型，获得所述插帧模型输出的目标合成帧，其中，所述目标合成帧为所述插帧时刻信息指示的目标插帧时刻对应的合成帧。5.根据权利要求4所述的视频插帧方法，其特征在于，所述将所述第一视频帧、所述第二视频帧和所述插帧时刻信息输入训练完成的插帧模型，获得所述插帧模型输出的目标合成帧，包括：将所述第一视频帧、所述第二视频帧和所述插帧时刻信息输入所述插帧模型的光流分析层，通过所述光流分析层确定第一时间戳至所述目标插帧时刻的第一光流，以及所述目标插帧时刻至第二时间戳的第二光流，其中，所述第一时间戳为所述第一视频帧的时间戳，所述第二时间戳为所述第二视频帧的时间戳；通过所述插帧模型的采样层基于所述第一光流从所述第一视频帧中采样，获得第一采样结果，并基于所述第二光流从所述第二视频帧中...
【专利技术属性】
技术研发人员：邱慎杰，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。