视频插值帧的生成方法、装置及电子设备制造方法及图纸

本申请公开了一种视频插值帧的生成方法，属于图像处理技术领域。该方法包括：确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。以解决现有技术中视频帧率转换时，出现伪影的问题。出现伪影的问题。出现伪影的问题。

【技术实现步骤摘要】
视频插值帧的生成方法、装置及电子设备


[0001]本申请属于图像处理
，具体涉及一种插值帧生成方法、装置及电子设备。

技术介绍

[0002]视频帧率上转换(FRUC)是指在连续的原始帧之间插入新的中间帧。对于一个低帧率的视频，可能会产生突然的运动伪影，如抖动或运动混叠。由于FRUC可以提高帧率，上转换的视频具有更好的视觉感知，让物体运动的视觉效果更加的连续、平滑。FRUC已广泛应用于视频压缩、视频制作和慢动作视频回放等各种视频应用中。
[0003]对于视频帧率上转换技术，其中一个关键问题是如何处理广泛存在于视频场景中的不规则大运动。然而，大多数现有的FRUC工作都有恒定的亮度和线性运动假设，很容易导致伪影，如运动模糊和帧闪烁。

技术实现思路

[0004]本申请实施例的目的是提供一种视频插值帧的生成方法、装置及电子设备，以解决现有技术中视频帧率转换时，出现伪影的问题。
[0005]第一方面，本申请实施例提供了一种视频插值帧的生成方法，包括：
[0006]确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
[0007]根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
[0008]根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
[0009]将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
[0010]其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。
[0011]第二方面，本申请实施例提供了一种视频插值帧的生成装置，包括：
[0012]第一确定模块，所述第一确定模块用于确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；
[0013]构建模块，所述构建模块用于根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；
[0014]第二确定模块，根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；
[0015]第三确定模块，将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；
[0016]其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述
第二帧图像位于所述第一帧图像之后。
[0017]第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时实现如第一方面所述的显示方法的步骤。
[0018]第四方面，本申请实施例提供了一种可读存储介质，包括计算机程序，所述计算机程序在计算机上被执行时，实现如第一方面所述的显示方法的步骤。
[0019]在本申请实施例中，先确定待处理视频中相邻的第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标，第二帧图像位于第一帧图像之后，然后根据第一位置坐标，所述第二位置坐标和所述第一帧图像与第二帧图像的第一时间间隔构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹，再确定所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；最后将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置。通过构建一个新的的运动模型，精确定位视频中目标物体的运动轨迹，从而更精确的确定待插值块在待插值帧中的位置，以解决现有技术中视频帧率转换时，出现伪影的问题。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的金字塔模型搜索结构
[0022]图2是本申请实施例提供运动模型示意图
[0023]图3是本申请实施例提供基于稀疏先验的异常值修复模块
[0024]图4是本申请实施例提供的一种视频插值帧的生成装置的结构示意图
具体实施方式
[0025]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0026]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0027]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频插值帧的生成方法进行详细地说明。
[0028]为了清楚理解本专利技术实施例，下面对本专利技术实施例中的一些要素进行解释：
[0029]宏块：将一帧图像等分成若干部分，每一部分称为一个宏块。一般地，每个宏块为一正方形。
[0030]当前块：将一帧图像中、当前时刻正在处理的的宏块称为当前块。本专利技术实施例中，当前块
[0031]所在的图像为第一帧图像。
[0032]匹配块：匹配块是与当前块相对应的，可以描述为与当前块对应的匹配块。
[0033]本专利技术实施例
[0034]中，匹配块所在的图像为第二帧图像。当前块为一个宏块时，匹配块可以为一个宏块，匹配块也可以为多个宏块
[0035]时间间隔：表示相邻的两帧图像由前一帧播放至后一帧所用的时间。
[0036]待插值帧：待插值帧是指还未完成插值的图像。待插值帧均可以称为虚拟帧(即并非视频本身的图像，而是通过一定方法得到的新的图像。
[0037]待插值块：待插值块与当前块相对应的，可以描述为与当前块对应的待插值块。待插值块所在的图像为待插值帧。
[0038]本专利技术实施例提供的一种视频插值帧的生成方法，包括：
[0039]步骤201：确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标。
[0040]本申请实施例中，由于宏块是一个长宽具有一定长度的块，因此，当前块的第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频插值帧的生成方法，其特征在于，包括：确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标；根据所述第一位置坐标和所述第二位置坐标构建运动模型，所述运动模型用于指示所述当前块相对所述匹配块的运动轨迹；根据所述待插值帧相对所述目标帧图像的插入位置，确定目标时刻，所述目标帧图像为第一帧图像或第二帧图像；将所述目标时刻作为所述运动模型的输入参数，确定与所述当前块对应的待插值块在待插值帧中的位置；其中，所述第一帧图像和所述第二帧图像为待处理视频中相邻的两帧图像，所述第二帧图像位于所述第一帧图像之后。2.根据权利要求1所述的视频插值帧的生成方法，其特征在于，所述根据所述第一位置坐标和所述第二位置坐标构建运动模型包括：根据位置参数、速度参数、加速度参数和时间参数构建二阶多项式；根据所述第一位置坐标，所述第二位置坐标构建运动模型得到所述二阶多项式中所述速度参数的速度参数值和加速度参数的加速度参数值；将所述速度参数值代替所述速度参数，所述加速度参数值代替所述加速度参数得到所述运动模型。3.根据权利要求1所述的视频插值帧的生成方法，其特征在于，在所述确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当前块对应的匹配块的第二位置坐标之前，所述方法还包括：根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标。4.根据权利要求3所述的视频插值帧的生成方法，其特征在于，在所述根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标之前，所述方法还包括：将所述第一帧图像的多个层及所述第二帧图像的多个层分别划分为数量不同的宏块，其中，所述第一帧图像与所述第二帧图像对应的层的宏块的数量相同；对各宏块进行单边运动向量估计，得到各宏块的运动向量，所述宏块包括所述当前块。5.根据权利要求4所述的视频插值帧的生成方法，其特征在于，还包括：所述第一帧图像与所述第二帧图像从顶层到底层划分的宏块的数量依次增加。6.根据权利要求4所述的视频插值帧的生成方法，其特征在于，所述对各宏块进行单边运动向量估计，得到各宏块的运动向量，包括：获取各宏块之间的相对位置信息与色度信息；将所述各宏块之间的相对位置信息和色度信息作为所述单边运动向量估计的参数，得到各宏块的运动向量。7.根据权利要求3所述的视频插值帧的生成方法，其特征在于，在所述根据所述当前块的运动向量得到第一位置坐标及所述匹配块的第二位置坐标之后，所述方法还包括：若所述当前块具有多个与所述当前块匹配的匹配块或所述当前块不具有与所述当前块匹配的匹配块，则将所述当前块所在区域确定为异常区域；若所述当前块具有一个与所述当前块匹配的匹配块，则所述当前块所在区域为正常区
域；根据所述第一帧图像中正常区域和异常区域的分布情况得到目标矩阵；在所述确定与所述当前块对应的待插值块在待插值帧中的位置之后，所述方法还包括：生成待插值帧，所述待插值帧的所述位置包括所述待插值块；基于所述目标矩阵和稀疏采样模型处理所述待插值帧，得到目标待插值帧；将所述目标待插值帧插入所述第一帧图像与所少数第二帧图像之间。8.一种视频插值帧的生成装置，所述装置包括：第一确定模块，所述第一确定模块用于确定第一帧图像中的当前块的第一位置坐标，第二帧图像中与所述当...

【专利技术属性】
技术研发人员：黄海鸥，李江城，梁丕树，夏群兵，
申请(专利权)人：深圳市爱协生科技有限公司，
类型：发明
国别省市：