一种基于深度引导扩展块匹配的三维视频帧率提升方法技术

本发明专利技术公开了一种基于深度引导扩展块匹配的三维视频帧率提升方法，包括：对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。本发明专利技术有效的解决了三维视频帧率提升中插入帧前景物体边缘模糊的问题。

【技术实现步骤摘要】

本专利技术涉及一种基于深度引导扩展块匹配的三维视频帧率提升方法。
技术介绍
作为一种新兴的可视媒介形式，三维视频能够为用户提供很强的立体感和沉浸感，其中最常用的三维视频格式是彩色+深度视频帧。与传统二维视频相比，三维视频同时提供彩色和深度视频，与此同时，随着视频采集和播放设备的发展，单帧视频空间分辨率有了很大的提高，因此相对于传统视频，三维视频数据量剧增。在实际立体视频传输系统中，通常需要通过高效的编码技术和虚拟视点合成达到减少传输数据量的目的。即便如此，三维视频的高帧率传输仍然存在巨大挑战。众所周知，视频播放帧率越高，画面运动就越平滑、细腻。由于显示设备的物理特性和人体视觉系统的生理特性，当视频帧率较低时，会产生运动模糊或者伪影的现象，对于大尺寸显示设备，这种现象更加明显。作为一种常用的视频增强技术，帧率提升通过对解码后的视频进行处理，在两个解码视频帧之间插入一帧或者多帧，实现视频由低帧率向高帧率的转换。因此，利用帧率提升技术可以解决上述立体视频系统中多视点视频的高帧率传输难题。虽然传统视频帧率提升的研究已经比较充分，一些高效的帧率提升算法已经被提出并应用，但现有的算法通常对视频场景中运动物体边缘图像块进行传统块匹配获取运动向量，并根据运动向量同时参考上一帧与当前帧进行插入帧边缘图像块的重建，从而产生块匹配不准确而导致的插入帧运动物体边缘模糊，极大地影响了帧率提升后视频的视觉质量。另一方面，针对立体视频，现有的三维视频帧率提升算法并未充分利用深度信息、不同视点之间的空间信息，而这些信息在运动估计、运动向量场优化处理以及运动补偿方面具有重要作用。专利技术内容本专利技术为了解决上述问题，提出了一种基于深度引导扩展块匹配的三维视频帧率提升方法，本专利技术首先利用基于块的双向运动估计计算出插入帧每个图像块的运动向量，并根据运动向量生成初始深度插入帧；其次，利用深度信息对插入帧中的图像块进行分类；然后，对边缘图像块运动向量进行优化处理；最后，采用适应性运动补偿方法对插入帧进行重建，能够有效解决三维视频帧率提升中插入帧前景物体边缘模糊的问题。为了实现上述目的，本专利技术采用如下技术方案：一种基于深度引导扩展块匹配的三维视频帧率提升方法，包括以下步骤：(1)对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧；(2)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；(3)将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；(4)以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。所述步骤(1)中，具体方法为：将插入帧分成尺寸相等的图像块，利用彩色视频帧对每个图像块进行双向运动估计，得到每个块的初始运动向量，利用插入帧的初始运动向量、上一帧深度图像和当前帧深度图像，进行运动补偿，生成初始深度插入帧。所述步骤(2)中，具体方法包括：(2-1)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量；(2-2)根据二维结构张量在x、y方向上的梯度，构建二维结构张量的非负特征值，根据各个深度图像块的非负特征值，判断图像块的类型。优选的，所述步骤(2-1)中，具体方法为，D为插入帧中一个图像块对应的深度图像块，则D的二维结构张量为： J = Σ ▿ D ▿ D T = ΣD x 2 ΣD x D y ΣD y D x ΣD y 2 - - - ( 1 ) ]]>Dx和Dy为D在x和y方向上的梯度，J是一个对称半正定矩阵。优选的，所述步骤(2-2)中，具体方法为： λ m a x = ΣD x 2 + ΣD y 2 + ( ΣD x 2 - ΣD y 2 ) 2 + 4 ( ΣD x D y 本文档来自技高网...

【技术保护点】
一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：包括以下步骤：(1)对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧；(2)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；(3)将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；(4)以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。

【技术特征摘要】
1.一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：包括以下步骤：(1)对视频帧进行基于图像块的双向运动估计，利用估计得到的运动向量进行补偿得到初始深度插入帧；(2)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量，根据二维结构张量将图像块分成边缘图像块和非边缘图像块；(3)将边缘图像块分成子块，利用基于深度信息引导的扩展块匹配方法估计每个子块的运动向量；(4)以图像块为单位，对非边缘图像块和边缘图像子块进行适应性运动补偿，实现插入帧的重建。2.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(1)中，具体方法为：将插入帧分成尺寸相等的图像块，利用彩色视频帧对每个图像块进行双向运动估计，得到每个块的初始运动向量，利用插入帧的初始运动向量、上一帧深度图像和当前帧深度图像，进行运动补偿，生成初始深度插入帧。3.如权利要求1所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(2)中，具体方法包括：(2-1)根据初始深度插入帧，计算插入帧中每个深度图像块的二维结构张量；(2-2)根据二维结构张量在x、y方向上的梯度，构建二维结构张量的非负特征值，根据各个深度图像块的非负特征值，判断图像块的类型。4.如权利要求3所述的一种基于深度引导扩展块匹配的三维视频帧率提升方法，其特征是：所述步骤(2-1)中，具体方法为，D为插入帧中一个图像块对应的深度图像块，则D的二维结构张量为： J = Σ ▿ D ▿ D T = ΣD x 2 ΣD x D y ...

【专利技术属性】
技术研发人员：杨晓晖，冯志全，唐好魁，蒋彦，徐涛，王灵垠，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37