一种基于运动信息的非整数倍帧率提升方法技术

本发明专利技术提供了一种基于运动信息的非整数倍帧率提升方法。首先利用帧间相关度判断基群中是否发生场景变换；其次利用帧间运动速度和帧间相关度相结合的方法精确判断物体运动的快慢，从而获得待插帧的位置；最后利用运动补偿的方法获得待插帧位置处的内插帧，最终实现非整数倍的帧率提升。本发明专利技术突破了整数倍帧率提升的限制，充分利用帧间的运动信息，在运动速度更快的地方插帧，从而使帧率提升后的视频运动更加流畅，增强视觉效果；同时利用运动补偿获得待插帧，从而减少运动抖动和模糊现象。在本发明专利技术最后从理论、主观及客观三个方面分析证明了本发明专利技术方法相较于传统方法的优越性及可行性。

【技术实现步骤摘要】

本专利技术涉及一种利用帧间运动信息转换视频信号帧率的方法，属于多媒体处理领域。
技术介绍
在多媒体处理过程中，由于网络带宽、实现编解码的数字信号处理器的性能以及不同多媒体产品互通中的匹配问题等因素，经常需要对视频进行帧率转换。例如，(1)在信道带宽受到限制的条件下，在编码端必须降低传输帧率(降至每秒10或15帧)，只传输一部分的视频内容，那么在解码端通过帧率上转换技术可以恢复出完整的视频内容，既提升了信道带宽的利用率，又保证了视频质量可以满足用户观影需求；(2)不同多媒体产品互通中的匹配，即不同帧率的视频格式之间的转换。电影节目源是以每秒24帧速率播放胶片，而电视NTSC(美国国家电视标准)制式是以每秒30帧的速率播放，液晶显示器的播放帧率则需要达到每秒60帧。因此为了能够使电影节目源在电视设备上播放并获得高质量的视觉质量，必须进行节目源的帧率上转换，即帧率提升。目前帧率转换中研究较多的是二倍帧率提升，即整数倍帧率提升。这种提升多为了提高视频帧率以达到提高视觉质量，增加视频逼真感和流畅感的目的。但是现实应用中的帧率转换需要多种视频帧率之间的相互转换，不一定是提升二倍，很多情况下需要的是非整数倍的帧率提升，即提升因子k(源帧率为M帧/秒，提升后帧率为N秒/帧，则提升因子k＝N/M)为分数。例如上述例子中为减少时间冗余度，需要在解码端对15帧/秒的视频上转换到24帧/秒(k＝8/5)；为了在液晶显示器播放电影源节目，需要将24帧/秒上转换到60帧/秒(k＝5/2)。同时，二倍帧率提升中所有帧都能够被平等对待且时域分布完全对称，但在非整数倍帧率提升中，时域分布也相应变得复杂。因此对于非整数倍帧率提升，面临两个问题，一个是插帧位置的确定，另一个则是如何获得待插帧位置的内插帧。目前现有的非整数倍帧率提升方法多是利用均匀间隔法确定插帧位置，并利用待插帧位置处的相邻两帧进行帧复制或者线性求和获得插值帧，这些方法容易硬件实现，但都不可避免地存在着缺点：对原始序列进行了时域平移，并改变了物体的运动轨迹，会引起视觉效果上的运动跳跃。
技术实现思路
为了实现多种视频格式之间的转换，本专利技术提供了一种非整数倍的帧率提升方法，突破了原有的二倍帧率提升的限制，适用性更广泛。为了解决传统方法实现非整数倍帧率转换中引起的运动跳跃问题，本专利技术的帧率提升方法基于运动信息，即充分利用帧间的运动信息确定待插帧的位置，在运动速度快的地方插帧，从而使帧率提升后的视频运动更加流畅，增强视觉效果；同时利用运动补偿获得待插帧，从而减少运动抖动和模糊现象。在本专利技术中，以M帧为一个基群，重构N-M帧，实现视频帧率M帧/秒到N帧/秒的非整数倍帧率提升(N>M，且N/M为分数)。首先利用帧间相关度判断这个基群中是否发生场景变换；其次利用帧间运动速度和帧间相关度相结合的方法判断物体运动的快慢，从而获得N-M个待插帧的位置；最后利用运动补偿的方法获得待插帧位置处的内插帧，从而实现非整数倍的帧率提升。本专利技术的技术解决方案如下：一种基于运动信息的非整数倍帧率提升方法，其特征在于该方法包括以下步骤：步骤1：对原始视频进行处理，处理为帧；步骤2：依次求基群内相邻两帧之间的相关程度，即帧间相关度，并对其排序处理；步骤3：基群内场景检测，场景变换处进行前帧复制获得内插帧；步骤4：依次获得基群内相邻两帧对应宏块之间的块运动矢量和帧间对应宏块之间的块间相关度，然后将所述块运动矢量和块间相关度结合求得帧间运动速度，并对其排序处理；步骤5：首先基于帧间相关度和帧间运动速度精确判断物体运动快慢，其次利用相邻的帧间运动速度之间的相似度判断步骤4所求帧间运动速度的精确度，最终在运动快、所求速度精确度高的帧间确定待插帧的位置；步骤6：基于步骤4中所求相邻两帧对应宏块之间的块运动矢量，在待插帧位置处进行运动补偿插帧；步骤7：将插入帧和原始帧合成高帧率的视频。优选地，在步骤2中依次求一个基群内相邻两帧间的相关系数绝对值作为帧间相关度，按照从小到大排序，并保留所对应的帧位置，以用于步骤5。优选地，在步骤3中通过帧间相关度与设定阈值之间的大小关系判断基群内是否发生场景变化。优选地，在步骤4中采用菱形搜索法进行运动估计，得到各个宏块的运动矢量，同时利用对应宏块间的相关系数绝对值作为其相关度；然后采用去尾法，去掉相关度极高宏块的矢量，对剩余宏块矢量大小求均值作为帧间运动速度；最后对帧间运动速度从大到小排序，并保留所对应的帧位置，以用于步骤5。优选地，在步骤5中，结合步骤2和4中排序后的帧间相关度和帧间运动速度，确定速度快的地方插帧，若此时插帧数目小于需要插帧的总数，则再利用相邻的两个帧间运动速度之间的相似度，在相似度高且速度大的帧间插帧，从而保证插帧位置在运动轨迹变化快的位置处。优选地，在步骤6中，采用双向运动补偿方式在上述所得插帧处插帧，减小所求内插帧的空洞和重叠效应。该方法准确地定位插帧位置，并提高内插帧的质量，从而在成功上转换帧率的基础上增强视觉效果，减小运动跳跃，使提升后的视频运动更连贯。附图说明图1是本专利技术的流程图；图2是菱形搜索模板示意图；图3是双向重叠块运动补偿示意图；图4是传统方法1非整数倍帧率提升示意图；图5是传统方法2非整数倍帧率提升示意图；图6是帧复制缺陷示意图；图7是Akiyo视频仿真结果PSNR和SSIM比较图。具体实施方式本专利技术提出了一种基于运动信息的非整数倍帧率提升方法。对原视频连续M帧为一个基群，对基群内相邻帧间首先进行场景检测，在场景变化处前帧复制进行插帧；再结合块运动估计和块相关度，采用去尾求均值法得到帧间运动速度；然后结合帧间运动速度和帧间相关度确定待插帧的位置；其次利用相邻的两个帧间运动速度之间的相似度和各个帧间运动速度的大小确定其余的待插帧位置；最后采用重叠块双向运动补偿获得待插帧位置处的内插帧，进而达到非整数倍帧率提升的目的，同时解决内插帧中的空洞和重叠问题，并使插帧处于原运动轨迹上从而消除了运动模糊和抖动现象，提高了非整数倍帧率提升后的视觉效果。图1中明确表示了本专利技术所述方法的整体流程，以帧率M帧/秒提升到N帧/秒为例(N>M，且N/M为分数)，具体实施步骤如下：(1)读入视频，读取M帧为一个基群，以基群为单位进行帧操作。(2)获取基群内帧间相关度：依次求帧间相关系数绝对值|ρt|，作为帧间相关度γt，并对其从小到大排序，同时本文档来自技高网...

【技术保护点】
一种基于运动信息的非整数倍帧率提升方法，其特征在于该方法包括以下步骤：步骤1：对原始视频进行处理，处理为帧；步骤2：依次求基群内相邻两帧之间的相关程度，即帧间相关度，并对其排序处理；步骤3：基群内场景检测，场景变换处进行前帧复制获得内插帧；步骤4：依次获得基群内相邻两帧对应宏块之间的块运动矢量和帧间对应宏块之间的块间相关度，然后将所述块运动矢量和块间相关度结合求得帧间运动速度，并对其排序处理；步骤5：首先基于帧间相关度和帧间运动速度精确判断物体运动快慢，其次利用相邻的帧间运动速度之间的相似度判断步骤4所求帧间运动速度的精确度，最终在运动快、所求速度精确度高的帧间确定待插帧的位置；步骤6：基于步骤4中所求相邻两帧对应宏块之间的块运动矢量，在待插帧位置处进行运动补偿插帧；步骤7：将插入帧和原始帧合成高帧率的视频。

【技术特征摘要】
1.一种基于运动信息的非整数倍帧率提升方法，其特征在于该方法包括以下步骤：
步骤1：对原始视频进行处理，处理为帧；
步骤2：依次求基群内相邻两帧之间的相关程度，即帧间相关度，并对其排序处理；
步骤3：基群内场景检测，场景变换处进行前帧复制获得内插帧；
步骤4：依次获得基群内相邻两帧对应宏块之间的块运动矢量和帧间对应宏块之间的
块间相关度，然后将所述块运动矢量和块间相关度结合求得帧间运动速度，并对其排序处
理；
步骤5：首先基于帧间相关度和帧间运动速度精确判断物体运动快慢，其次利用相邻的
帧间运动速度之间的相似度判断步骤4所求帧间运动速度的精确度，最终在运动快、所求速
度精确度高的帧间确定待插帧的位置；
步骤6：基于步骤4中所求相邻两帧对应宏块之间的块运动矢量，在待插帧位置处进行
运动补偿插帧；
步骤7：将插入帧和原始帧合成高帧率的视频。
2.如权利要求1所述的基于运动信息的非整数倍帧率提升方法，其特征在于：在步骤2
中依次求一个基群内相邻两帧间的相关系数绝对值作为帧间相关度，按照从小到大排序，
并保留所对应的帧位置，以用于步骤5。
...

【专利技术属性】
技术研发人员：刘琚，曲爱喜，肖依凡，杨本亚，
申请(专利权)人：山东大学苏州研究院，
类型：发明
国别省市：江苏;32