基于双向跟踪和特征点修正的平面视频转立体视频的方法技术

本发明专利技术涉及基于双向跟踪和特征点修正的平面视频转立体视频的方法，属于计算机多媒体技术领域。该方法包括将整个平面视频序列划分成内容相关的子序列；指定一帧作为关键帧；对关键帧进行前景物体分割，并提取对应的深度图及轮廓特征点；进行双向跟踪得到非关键帧的轮廓特征点；去除不满足运动一致性准则的轮廓特征点；将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合，并恢复非关键帧前景物体轮廓，进而得到原平面视频序列的深度图序列；最后得到原平面视频序列对应的立体视频序列。本发明专利技术基于关键帧，获取高精度视频序列深度图，很好地实现平面视频转立体视频。

【技术实现步骤摘要】

本专利技术属于计算机多媒体
，是一种将普通平面视频转为立体视频的技术。
技术介绍
通过对人类生理立体视觉要素的研究发现，人类左右眼看同一场景时因存在视差 而产生立体感，所谓视差即三维空间中同一物体在左右眼成像时会有水平方向上的位 移。传统的视频序列都是单路的平面视频序列，而立体视频序列则包含了多路(两路或两 路以上)平面视频序列，各路平面视频序列同一时刻的视图之间带有视差信息，能够 为观看者提供对应的左眼视图序列和右眼视图序列，这也是观看立体视频时可以产生如临 其境的立体感的原因。一直以来，真实感立体视频以其场景的真实感，很强的视觉冲击力，受到大众的喜爱， 也被电视、电影、广告等行业所重视。早期的立体显示方式，需要一定的辅助工具(如偏 振眼镜等)，从而限制了立体视频的应用范围。随着立体显示技术的发展，现有裸眼立体 显示技术(如裸眼自由式多视点显示技术、裸眼双目立体显示技术)己经逐渐成熟，可以 实现无需佩戴特殊的辅助工具的立体视频直接呈现。目前，裸眼立体显示技术的成熟和立 体视频应用的逐渐普及，对相应的立体视频内容生成技术提出了很高的要求。立体视频的内容生成技术是相关计算机多媒体领域内的重要难题之一。多路立体视频 片源的的获取主要有两种途径1) 多路立体^集设备设计立体摄像机(即多路摄像机)， 一方面可以直接获取裸眼 自由式立体显示设备所需的多路视频信息，另一方面也可以利用现有计算机算法，从多路 视频中获取场景和对象的三维信息，如深度信息、场景对象模型等，并通过这些三维信息， 渲染出对应的立体视频。基于多路立体采集设备的技术方案优势在于获取多路立体视频或 者三维信息的直接性和便利性，而且还有丰富的计算机算法和成熟的研究成果来支持。但 多路立体采集设备复杂，成本高，同时对于各个摄像机之间的标定、校准和同步都大大限 制了该技术方案在现阶段广泛应用的可能性。2) 平面视频转立体视频技术通过用户交互或者计算机算法的处理，提取传统平面 视频序列中场景和对象的深度信息，基于这样的深度信息可以很容易渲染得到立体视频所 需的多路视频数据。该技术方案特点在于无需特殊硬件设备，硬件成本低；同时，将现有 庞大的平面媒体资源换为立体视频的商业价值较高。因此，平面视频转换为立体视频技术 越来越受到重视。平面视频转立体视频技术的关键在于从平面视频序列中提取深度信息， 而现阶段主要采取用户手动勾勒视频帧前景对象轮廓，并赋予深度信息的方式，保证转换的精度，但转换工作量较大，转换周期长，商业成本高。另外还有利用计算机算法辅助， 如勾勒视频序列关键帧的前景对象轮廓，赋予深度信息，并通过跟踪算法完成其他非关键 帧的自动转换，可以提高人工转换的效率，但是效果受到了算法鲁棒性的影响，根据距离 较短，自动转换的精度也不高。本专利技术中所涉及的成熟算法-O视频子序列划分和镜头检测技术镜头检测算法是基于内容的视频检索技术的一部分，其特点在于能够方便地利用计算 机对视频数据进行处理以产生适当的摘要，从而更加全面地表示、处理、组织和获取视频 数据。视频中的一个镜头是指用同一摄像机进行连续不间断拍摄、表示时间和空间上的一 个连续动作的帧序列；从内容的上下文语义上讲，镜头是视频序列内容的基本单元，而镜 头边缘检测则是对应的功能算法，通过对视频帧特定的图像信息进行分析(如亮度变化、 直方图分布、运动估计、边缘图等)，利用视频序列镜头边缘若干帧特定信息的突变，来 检测视频子序列，完成视频子序列划分和关键帧提取。2) KLT算法广泛应用于计算机视觉领域，主要步骤包括特征点选取对于图像中/VXyV(w通常为奇数)的像素块，当像素块中所有像素之间 灰度改变大于适应的范围时，则选取像素块中心的像素点作为特征点；特征点跟踪特征点选取后，KLT算法通过最小化像素块灰度值的SSD (像素块中所 有像素点对应的灰度值差的平方和)，自动在后续帧里对特征点的位置变化进行跟踪。3) Canny边缘求取算法Carmy算法是一种边缘检测算法，能够检测到图像中局部区域中像素亮度变化显著的 部分。Canny算法首先通过高斯滤波器平滑原图，然后用一阶偏导的优先差分来计算梯度 的幅值和方向，并使用梯度幅值进行非极大值抑制；最后利用双阈值算法检测和连接边缘。4) B样条插值算法利用离散点进行插值，拟合得到光滑曲线的轨迹，并且，离散点位于最终所拟合的光 滑曲线上。5) 基于深度图的立体渲染算法(DIBR)和立体视频生成在不同的观察位置(观察视角)成像的视图中，三维空间中的点与摄像机中心的距离 (景深信息)，表现为平面视图中成像点坐标的位移(即视差)；而该视差信息和 景深(即深度值)成反比关系。DIBR渲染算法基于一个观察位置上所得的平面视图中每个 像素所对应的深度信息，计算该像素点的视差值，并进行相应的坐标位移；对该视图 中每一个像素进行移动后，便生成了该观察视角相邻位置上成像虚拟平面视图；而利用这 些带有视差信息的多路视图，便能合成多路立体显示设备所需要的立体视图。
技术实现思路
本专利技术的目的是为了改进传统平面视频转立体视频技术的不足，提出一种基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视频的转换方法，本方法能够较好地解决跟踪精度随跟踪距离增大时的衰减问题，最大限度地避免跟踪误差扩散，从而能够基于关键帧，自动获取高精度的视频序列深度图；采用高精度的双向特征点跟踪能够支持更 长的自动跟踪距离，从而大大降低了人机交互的工作量，很好地实现平面视频转立体视频。 本专利技术提出的基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视 频的转换方法，具体步骤为1) 利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上 下文关系，将整个平面视频序列划分成W个内容相关的子序列&、 &、 ...、 同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧《/、 &.....^，其余作为非关键帧，其中下标AA为正整数；2) 选定一个平面视频子序列&，对该子序列中的关键帧&进行前景物体分割，并提 取对应的深度图及轮廓特征点、，其中下标为正整数，且0</￡^， 0<n￡L， ￡表示关 键帧&轮廓特征点的数目；3) 参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点；4) 计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓 特征点进行分析，去除不满足运动一致性准则的轮廓特征点；5) 对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征 点，并将新增轮廓特征点补充到原来的轮廓特征点集合中；6) 计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前 景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合；7) 计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓；8) 根据关键帧前景物体的深度值，得到该视频子序列的深度图序列；9) 对每一个视频子序列按照步骤2) ~8)所述方法，获取对应的深度图序列；所有深 度图序列组成原平面视频序列的深度图序列；10) 计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图本文档来自技高网...

【技术保护点】
一种基于双向跟踪和特征点修正的改进ＫＬＴ算法来实现平面视频到立体视频的转换方法，具体步骤为：１）利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成Ｎ个内容相关的子序列Ｓ↓［１］、Ｓ↓［２］、…、Ｓ↓［Ｎ］；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧Ｋ↓［１］、Ｋ↓［２］、…、Ｋ↓［Ｎ］，其余作为非关键帧，其中下标Ｎ为正整数；２）选定一个平面视频子序列Ｓ↓［ｉ］，对该子序列中的关键帧Ｋ↓［ｉ］进行前景物体分割，并提取对应的深度图及轮廓特征点ｘ↓［ｎ］，其中下标ｉ，ｎ为正整数，且０＜ｉ≤Ｎ，０＜ｎ≤Ｌ，Ｌ表示关键帧Ｋ↓［ｉ］轮廓特征点的数目；３）参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点；４）计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点；５）对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用ＫＬＴ算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中；６）计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合；７）计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓；８）根据关键帧前景物体的深度值，得到该视频子序列的深度图序列；９）对每一个视频子序列按照步骤２）～８）所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；１０）计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用ＤＩＢＲ算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；１１）所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。...

【技术特征摘要】
1. 一种基于双向跟踪和特征点修正的改进KLT算法来实现平面视频到立体视频的转换方法，具体步骤为1)利用镜头检测技术，对要处理的平面视频序列，计算机自动按照相邻帧内容的上下文关系，将整个平面视频序列划分成N个内容相关的子序列S1、S2、…、SN；同时，用户通过计算机屏幕指定每个子序列中任意一帧作为关键帧K1、K2、…、KN，其余作为非关键帧，其中下标N为正整数；2)选定一个平面视频子序列Si，对该子序列中的关键帧Ki进行前景物体分割，并提取对应的深度图及轮廓特征点xn，其中下标i，n为正整数，且0＜i≤N，0＜n≤L，L表示关键帧Ki轮廓特征点的数目；3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点；4)计算机自动利用邻近边缘特征点运动一致性准则，对每一非关键帧上的相邻轮廓特征点进行分析，去除不满足运动一致性准则的轮廓特征点；5)对于非关键帧上轮廓特征点稀疏的区域，计算机自动利用KLT算法新增轮廓特征点，并将新增轮廓特征点补充到原来的轮廓特征点集合中；6)计算机自动将非关键帧轮廓特征点集合中每一个轮廓特征点的位置调整到对应前景物体的轮廓上，得到该视频子序列每一非关键帧对应的轮廓特征点集合；7)计算机自动基于轮廓特征点集合恢复每一个非关键帧前景物体轮廓；8)根据关键帧前景物体的深度值，得到该视频子序列的深度图序列；9)对每一个视频子序列按照步骤2)～8)所述方法，获取对应的深度图序列；所有深度图序列组成原平面视频序列的深度图序列；10)计算机自动将原平面视频序列的每一帧图像作为参考视图，根据对应的深度图，利用DIBR算法得到相应多个视角的视图；根据特定立体显示设备的要求，将同一时刻的多个视角视图合成为该时刻对应的立体视频帧；11)所有时刻的立体视频帧组成原平面视频序列对应的立体视频序列。2、 如权利要求l所述方法，其特征在于，所述步骤2)选定一个平面视频子序列&， 对该子序列中的关键帧&进行前景物体分割，并提取对应的深度图及轮廓特征点，具体包 括21)对关键帧&进行前景物体分割用户通过计算机屏幕基于图像编辑软件工具，手动勾勒关键帧&的前景物体0/、 02.....CW对应的边缘轮廓C;、 C2.....CM，完成关键帧前景物体的分割；勾勒方法具体实现为用户通过计算机屏幕沿着关键帧中待分割的 前景物体的轮廓每隔一段距离取一个点，所有点依次连接得到该物体的闭合轮廓曲线，由 此完成了对该前景物体的分割；轮廓曲线以外的所有区域为背景区域，其中下标M为正整数；22) 生成关键帧深度图根据关键帧前景物体O,的特点，用户通过计算机屏幕以输入 数值的方式，指定边缘轮廓Cy所围区域内每个像素的深度值，像素的深度值以一整数表示， 该像素的空间位置离摄像机的距离，取值范围为大于0，小于等于255，其中深度值0，表 示空间位置在距离摄像机无限远处，而深度值255则表示距离摄像机最近的空间位置；同 时，指定背景区域像素的深度值为0，得到关键帧的深度图；23) 提取关键帧的轮廓特征点在关键帧中所有的前景物体边缘轮廓上，计算机自动利用KLT算法提取其轮廓特征点&，获得代表关键帧中该前景物体的轮廓特征点集合 W。3、 如权利要求l所述方法，其特征在于，所述步骤3)参考关键帧前景物体的轮廓特征点，进行双向跟踪得到非关键帧的轮廓特征点，具体包括31) 设视频子序列中第f帧为关键帧，其中f为整数，表示帧序号，参考关键帧前景 物体的轮廓特征点，对该子序列中的相邻非关键帧，按照帧号为f-l、 ,-2、...的顺序，计算 机自动利用KLT算法进行后向跟踪，得到关键帧轮廓特征点集合(xj中的每一个轮廓特征 点、在相邻非关键帧中对应的轮廓特征点x，并将其坐标作为该轮廓特征点在本非关键帧 中的初始位置；32) 参考关键帧前景物体的轮豫特征点，对相邻非关键帧，按照帧号为什l、什2、... 的顺序，计算机自动利用KLT算法进行前向跟踪，得到...

【专利技术属性】
技术研发人员：戴琼海，尤志翔，邵航，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]