插值帧的生成方法、装置、电子设备和存储介质制造方法及图纸

本申请涉及一种插值帧的生成方法和装置、电子设备、计算机可读存储介质。方法包括获取原始视频中所包括的第一帧和第二帧；第一帧和第二帧间隔预设数量的帧；对第一帧和第二帧进行运动估计，得到第一帧和第二帧之间的第一运动矢量；基于第一帧和第二帧之间的第一运动矢量，确定第一帧和第二帧之间的第一帧率；基于第一帧率和第一运动矢量，生成第一帧和第二帧之间的插值帧。上述插值帧的生成方法和装置、电子设备、计算机可读存储介质，可以提高生成的插值帧的准确性。

【技术实现步骤摘要】
插值帧的生成方法、装置、电子设备和存储介质
本申请涉及视频处理领域，特别是涉及一种插值帧的生成方法、装置、电子设备和计算机可读存储介质。
技术介绍
随着计算机技术的发展，出现了插帧技术，即在视频的图像帧中生成新的图像帧，并插入视频中，可以提高视频的帧率，从而使得视频的帧率与计算机设备的刷新率相匹配。然而，传统的视频插帧方法，存在生成新的图像帧不准确的问题。
技术实现思路
本申请实施例提供了一种插值帧的生成方法、装置、电子设备、计算机可读存储介质，可以提高生成的插值帧的准确性。一种插值帧的生成方法，包括：获取原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率；基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。一种插值帧的生成装置，包括：图像帧获取模块，用于获取原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；运动估计模块，用于对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；第一帧率确定模块，用于基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率；差值帧生成模块，用于基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的插值帧的生成方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。上述插值帧的生成方法、装置、电子设别和计算机可读存储介质，获取原始视频中所包括的第一帧和第二帧；第一帧和第二帧间隔预设数量的帧；对第一帧和第二帧进行运动估计，得到第一帧和第二帧之间的第一运动矢量；第一运动矢量表示第一帧和第二帧之间的运动情况，基于第一帧和第二帧之间的第一运动矢量，即基于第一帧和第二帧之间的运动情况，可以更准确地确定第一帧和第二帧之间的第一帧率，再基于第一帧率和第一运动矢量，生成更准确的第一帧和第二帧之间的插值帧。并且，生成的插值帧可以插入到第一帧和第二帧之间，则第一帧和第二帧之间的视频片段的帧率越高，该视频片段在播放时也更加清晰、流畅。一种插值帧的生成方法，包括：获取原始视频中的上一次插值帧生成过程中得到的第二运动矢量；基于所述第二运动矢量，确定第一帧率；基于所述第一帧率确定所述原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。一种插值帧的生成装置，包括：第二运动矢量获取模块，用于获取原始视频中的上一次插值帧生成过程中得到的第二运动矢量；第一帧率确定模块，用于基于所述第二运动矢量，确定第一帧率；图像帧获取模块，用于基于所述第一帧率确定所述原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；运动估计模块，用于对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；差值帧生成模块，用于基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的插值帧的生成方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的方法的步骤。上述插值帧的生成方法、装置、电子设备和计算机可读存储介质，获取原始视频中的上一次插值帧生成过程中得到的第二运动矢量；基于第二运动矢量，确定第一帧率；基于第一帧率确定原始视频中所包括的第一帧和第二帧；第一帧和第二帧间隔预设数量的帧；对第一帧和第二帧进行运动估计，得到第一帧和第二帧之间的第一运动矢量；第一运动矢量表示第一帧和第二帧之间的运动情况，而基于第一帧和第二帧之间的运动情况和第一帧率，可以更准确地生成第一帧和第二帧之间的插值帧。并且，生成的插值帧可以插入到第一帧和第二帧之间，则第一帧和第二帧之间的视频片段的帧率越高，该视频片段在播放时也更加清晰、流畅。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一个实施例中图像处理电路的示意图；图2为一个实施例中插值帧的生成方法的流程图；图3为一个实施例中生成目标视频的流程图；图4为一个实施例中基于不同目标模式得到第一帧率的流程图；图5为另一个实施例中基于不同目标模式得到第一帧率的流程图；图6为另一个实施例中生成目标视频的流程图；图7为一个实施例中插值帧生成的系统框架示意图；图8为另一个实施例中插值帧的生成方法的流程图；图9为另一个实施例中生成目标视频的流程图；图10为一个实施例中插值帧的生成装置的结构框图；图11为另一个实施例中插值帧的生成装置的结构框图；图12为一个实施例中电子设备的内部结构示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一帧称为第二帧，且类似地，可将第二帧称为第一帧。第一帧和第二帧两者都是帧，但其不是同一帧。本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(ImageSignalProcessing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。如图1所示，图像处理电路包括成像设备(照相机)110和ISP处理器120。成像设备110捕捉的图像数据首先由ISP处理器120处理，ISP处理器120对图像数据进行分析以捕本文档来自技高网...

【技术保护点】
1.一种插值帧的生成方法，其特征在于，包括：/n获取原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；/n对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；/n基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率；/n基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。/n

【技术特征摘要】
1.一种插值帧的生成方法，其特征在于，包括：
获取原始视频中所包括的第一帧和第二帧；所述第一帧和所述第二帧间隔预设数量的帧；
对所述第一帧和所述第二帧进行运动估计，得到所述第一帧和所述第二帧之间的第一运动矢量；
基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率；
基于所述第一帧率和所述第一运动矢量，生成所述第一帧和所述第二帧之间的插值帧。


2.根据权利要求1所述的方法，其特征在于，所述获取原始视频中所包括的第一帧和第二帧之前，还包括：
获取预设帧率，以及原始视频的第二帧率；
基于所述预设帧率和所述第二帧率确定插帧倍率；
根据所述插帧倍率确定第一帧和第二帧。


3.根据权利要求2所述的方法，其特征在于，所述根据所述插帧倍率确定第一帧和第二帧，包括：
当所述插帧倍率是整数倍率时，获取所述原始视频中未进行插帧处理的相邻的两帧，分别作为第一帧和第二帧；
当所述插帧倍率是小数倍率时，确定所述预设帧率和所述第二帧率之间的最大公约数，将所述第二帧率除以所述最大公约数，得到第一数量，并获取所述原始视频中未进行插帧处理的第一数量的图像帧，从所述第一数量的图像帧中确定第一帧和第二帧；所述第一数量大于2。


4.根据权利要求3所述的方法，其特征在于，所述从所述第一数量的图像帧中确定第一帧和第二帧，包括：
按照原始视频中各个帧的排列顺序，从所述第一数量的图像帧中获取首尾两帧，分别作为第一帧和第二帧。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
去除所述第一数量的图像帧中除首尾两帧之外的其他帧，将所述插值帧插入所述第一帧和所述第二帧之间，并返回执行所述获取原始视频中所包括的第一帧和第二帧步骤，直到对所述原始视频中的所有图像帧进行插帧完成时，生成目标视频。


6.根据权利要求1所述的方法，其特征在于，所述第一帧和所述第二帧均包括目标对象；
所述基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率，包括：
基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述目标对象在所述第一帧和所述第二帧之间的目标运动程度；
根据所述目标运动程度确定所述第一帧和所述第二帧之间的第一帧率；所述目标运动程度与所述第一帧率成正相关。


7.根据权利要求6所述的方法，其特征在于，所述第一帧和所述第二帧之间的第一运动矢量包括所述目标对象对应区域的局部运动矢量，以及所述第一帧和所述第二帧之间的全局运动矢量；
所述基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述目标对象在所述第一帧和所述第二帧之间的目标运动程度，包括：
根据所述目标对象对应的局部运动矢量，确定所述目标对象的第一运动程度；
根据所述第一帧和所述第二帧之间的全局运动矢量，确定所述第一帧和所述第二帧之间的第二运动程度；
基于所述第一运动程度和所述第二运动程度，确定所述目标对象在所述第一帧和所述第二帧之间的目标运动程度。


8.根据权利要求6所述的方法，其特征在于，所述根据所述目标运动程度确定所述第一帧和所述第二帧之间的第一帧率，包括：
预先将运动程度划分为至少两个运动等级；每个所述运动等级对应一个帧率；
将所述目标运动程度与至少两个所述运动等级进行匹配，获取所述目标运动程度所在的运动等级作为目标运动等级；
将所述目标运动等级对应的帧率作为所述第一帧和所述第二帧之间的第一帧率。


9.根据权利要求6所述的方法，其特征在于，所述方法还包括：
对所述第一帧中的目标对象和所述第二帧中的目标对象进行差分处理，得到所述目标对象的参考运动程度；
将所述参考运动程度与所述目标运动程度进行差值处理，得到运动差值；
当所述运动差值小于运动差值阈值时，执行所述根据所述目标运动程度确定所述第一帧和所述第二帧之间的第一帧率步骤；
当所述运动差值大于或等于所述运动差值阈值时，基于所述目标运动程度和所述参考运动程度确定新的目标运动程度。


10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取电子设备运行视频的目标模式；
获取所述目标模式对应的目标帧率范围；
所述基于所述第一帧和所述第二帧之间的第一运动矢量，确定所述第一帧和所述第二帧之间的第一帧率，包括：
基于所述第一帧和所述第二帧之间的第一运动矢量，在所述目标帧率范围内确定所述第一帧和所述第二帧之间的第一帧率。


11.根据权利要求10所述的方法，其特征在于，所述目标模式包括第一模式和第二模式，所述第一模式的功耗比所述第二模式的功耗低，所述第二模式的刷新率比所述第一模式的刷新率高；
所述获取所述目标模式对应的目标帧率范围，包括：
当所述目标模式是所述第一模式时，获取所述第一模式的第一帧率范围；
当所述目标模式是所述第二模式时，获取所述第二模式的第二帧率范围；所述第一帧率范围内的最大值小于所述第二帧率范围内的最小值；
所述基于所述第一帧和所述第二帧之间的第一运动矢量，在所述目标帧率范围内确定所述第一帧...

【专利技术属性】
技术研发人员：舒文婷，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44