对视频进行多体深度恢复和分割的方法技术

本发明专利技术公开一种对视频进行多体深度恢复和分割的方法，包括如下步骤：（１）对视频用迭代方法进行能量最小化，得到视频的每一帧的初始标号，初始标号由像素的深度和分割信息组成；（２）对每一帧进行图像分割后，用多体平面拟合方法对每一帧图像的初始标号进行优化，得到每一帧图像所有分割块的优化后的标号；（３）利用优化后的标号，为每一帧上的每个像素从邻近帧中选出一组可见帧和一组不可见帧；（４）对所述视频的每一帧用迭代方法进行能量最小化，得到视频的每一帧的迭代后的标号，然后用层次置信度传播算法进一步扩展迭代后的标号中深度的级数。本发明专利技术可对存在多个刚性物体运动的视频进行深度恢复和分割。

【技术实现步骤摘要】

本专利技术涉及一种深度恢复和分割的方法，对存在多个刚性物体运动的视频进行深 度恢复和分割。
技术介绍
基于深度的三维恢复和图像(或视频)分割一直以来都是计算机视觉中的基础问 题，因为计算出来的深度图像和分割图像可以被分别或共同用于很多重要的应用中，比如 物体识别、基于图像的渲染、和图像(或视频)编辑。然而对这两类问题的研究经常是独立 的，直到最近才有人开始对他们一同进行研究。比如L. Quan, J. Wang, P. Tan, and L. Yuan. Image-based modeling by joint segmentation. International Journal of Compu ter Vision (IJCV，0 7 )。多视图的立体恢复(深度恢复)技术(Multi-View Stereo，即MVS)可以用来从一 组图像中计算深度和三维几何信息。基于三维重建的重要性，已经有人对存在运动物体的 动态场景进行重建进行了研究。三维运动分割是将多个运动物体的特征轨迹区分开来， 目的是恢复他们的实际位置和对应的摄像机运动信息。为了简单起见，这类方法大多数 都采用仿射摄像机模型(affine camera motion)，比如 J. P. Costeira and Τ. Kanade. A multi-body factorization method for motion analysis. IEEE International Conference on Computer Vision (ICCV’ 95)，也有少数已经提出来的方法处理透视摄像 机模型下的三维分割问题，比如 K. Schindler, J. U, and H. Wang. Perspective -view multibody structure-and-motion through model selection. (ECCV'06)。然而，这些方 法都不能被直接用到高质量的三维重建上面来，特别是在需要得到图像分割的前提下。如果运动的刚性物体都分别被遮住了，那么可以对每一个物体独立地运用MVS。经 典的图像分割方法比如 mean shift、normalized cuts 禾口 weighted aggregation (SWA)，都 只是简单的处理二维图像而没有考虑MVS中的整体几何信息。为了抽取出前景中的运动物体和该物体一些可能的可见边界，一些双层分割方法 被提了出来，比如 A. Criminisi, G. Cross, A. Blake, and V. Kolmogorov. Bilayersegmentation of live video. CVPR，06。这些方法假定摄像机是静止的，背景颜色也 很容易估计或者模拟。然而值得注意的是这些方法也不适用于MVS，因为在MVS中摄像机是 需要移动的。最近，章国锋等人在G. Zhang, J. Jia, W. Hua, and H. Bao. Robust bilayer segmentation and motion/depth estimation with a handheld camera. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI ’ 2010)中用运动 信息和深度信息来模拟背景环境并且抽取出高质量的前景层。可以不断地对计算得到的深 度运动场和双层分割结果进行迭代优化。然而此方法仅限于双层分割。另外对于前景层来 说只计算了其运动信息而没有计算深度信息，这对于三维重建来说是不够的。在二维运动分割中，运动趋势相同的像素被大致分到一组，最后再分成多个不同层次。这种方法严重依赖于运动估计的精确性，并且很难得到高质量的分割结果，特别是当 出现严重遮挡的时候。另外，二维运动分割也需要得到运动和分割的计算，这二者是“鸡和蛋”的问题，也 就是说，对运动估计的不精确会造成分割的不准确，反过来对分割的不准确又会造成运动 计算的不精确。于是对这二者的优化经常会得到一个局部的最优值而结束。
技术实现思路
本专利技术的目的在于提供一种，可对存在多 个刚性物体运动的视频进行深度恢复和分割。为实现上述目的，本专利技术所采取的技术方案是该对视频进行多体深度恢复和分 割的方法包括如下步骤(1)利用式(1)的能量方程对视频用迭代方法进行能量最小化，得到视频的每一帧的 初始标号，所述初始标号由像素的深度信息和分割信息组成，权利要求1. 一种，其特征在于，包括如下步骤 (1)利用式(1)的能量方程对视频用迭代方法进行能量最小化，得到视频的每一帧的 初始标号，所述初始标号由像素的深度信息和分割信息组成，5'Cl；/)=i 0-^sji( Λ( ))+^ Σ KhWhhiyM(ι)其中，2.根据权利要求1所述的，其特征在于，步骤 (2)所述“用多体平面拟合方法对所述初始标号进行优化”的方法如下对每一帧进行图像分割后，对每个分割块逐次赋予一个物体标号，同一分割块每次所 赋予的物体标号互不相同，然后对每个分割块的每次赋值结果利用式(1)所示的能量方程 得到相应的最小能量值和该分割块所在平面的参数；将每个分割块中的最小能量值中的最 小值与初始标号所对应的最小能量值进行比较若分割块中的最小能量值中的最小值小于 初始标号所对应的最小能量值，则将该分割块中的最小能量值中的最小值所对应的物体标 号作为分割标号赋给该分割块中的像素，得到该分割块的优化后的标号；否则，以所述初始 标号作为该分割块的优化后的标号。全文摘要本专利技术公开一种，包括如下步骤(1)对视频用迭代方法进行能量最小化，得到视频的每一帧的初始标号，初始标号由像素的深度和分割信息组成；(2)对每一帧进行图像分割后，用多体平面拟合方法对每一帧图像的初始标号进行优化，得到每一帧图像所有分割块的优化后的标号；(3)利用优化后的标号，为每一帧上的每个像素从邻近帧中选出一组可见帧和一组不可见帧；(4)对所述视频的每一帧用迭代方法进行能量最小化，得到视频的每一帧的迭代后的标号，然后用层次置信度传播算法进一步扩展迭代后的标号中深度的级数。本专利技术可对存在多个刚性物体运动的视频进行深度恢复和分割。文档编号G06T7/20GK102074020SQ201010616940公开日2011年5月25日 申请日期2010年12月31日 优先权日2010年12月31日专利技术者章国锋, 鲍虎军 申请人:浙江大学本文档来自技高网...

【技术保护点】
一种对视频进行多体深度恢复和分割的方法，其特征在于，包括如下步骤：（１）利用式（１）的能量方程对视频用迭代方法进行能量最小化，得到视频的每一帧的初始标号，所述初始标号由像素的深度信息和分割信息组成，Ｅ′（Ｌ，＊）＝＊＊（１－Ｐ↓［ｉｎｉｔ］（ｘ↓［ｔ］，Ｌ↓［ｔ］（ｘ↓［ｔ］））＋λ↓［ｓ］＊ρ（Ｌ↓［ｔ］（ｘ↓［ｔ］），Ｌ↓［ｔ］（ｙ↓［ｔ］）））（１）其中，Ｐ↓［ｉｎｉｔ］（ｘ↓［ｔ］，Ｌ↓［ｔ］（ｘ↓［ｔ］））＝１／｜φ′（ｘ↓［ｔ］｜＊ｐ↓［ｃ］（ｘ↓［ｔ］，Ｌ↓［ｔ］（ｘ↓［ｔ］），Ｉ↓［ｔ］，Ｉ↓［ｔ′］）（２）ｐ↓［ｃ］（ｘ↓［ｔ］，ｌ，Ｉ↓［ｔ］，Ｉ↓［ｔ′］）＝σ↓［ｃ］／σ↓［ｃ］＋｜｜Ｉ↓［ｔ］（ｘ↓［ｔ］）－Ｉ↓［ｔ′］（ｘ′）｜｜（３）式（１）、式（２）和式（３）中，Ｉ↓［ｔ］表示第ｔ帧图像，ｔ＝１…ｎ，且ｎ为视频的总帧数；ｘ↓［ｔ］表示Ｉ↓［ｔ］上的一个像素；Ｌ↓［ｔ］（ｘ↓［ｔ］）表示ｘ↓［ｔ］的标号；Ｎ（ｘ↓［ｔ］）表示像素ｘ↓［ｔ］的所有邻近像素；ρ（Ｌ↓［ｔ］（ｘ↓［ｔ］），Ｌ↓［ｔ］（ｙ↓［ｔ］））＝ｍｉｎ｛｜Ｌ↓［ｔ］（ｘ↓［ｔ］）－Ｌ↓［ｔ］（ｙ↓［ｔ］）｜，η｝，表示邻近像素之间的标号的差值；η表示截断参数；φ′（ｘ↓［ｔ］）表示对像素ｘ↓［ｔ］可见的帧，且所述对像素ｘ↓［ｔ］可见的帧中与ｘ↓［ｔ］对应的像素在第ｔ帧的重投影与ｘ↓［ｔ］重合；ｐ↓［ｃ］表示像素ｘ↓［ｔ］和ｘ′的颜色相似性；ｌ表示ｘ↓［ｔ］的标号；σ↓［ｃ］表示控制式（３）的差分函数形状的参数；ｘ′表示第ｔ′帧中与像素ｘ↓［ｔ］对应的像素，且第ｔ′帧是属于φ′（ｘ↓［ｔ］）的一帧；Ｉ↓［ｔ］（ｘ）表示像素ｘ↓［ｔ］的颜色值；Ｉ↓［ｔ′］（ｘ′）是像素ｘ′的颜色值；ｘ′的坐标由利用式（４）得到的ｘ′↑［ｋ］进行齐次坐标到二维坐标的转变得到：ｘ′↑［ｋ］～Ｋ↓［ｔ′］Ｒ↓［ｔ′］↑［Ｔ］Ｒ↓［ｔ］Ｋ↓［ｔ］↑［－１］ｘ↓［ｔ］↑［ｋ］＋Ｄ（ｌ）Ｋ↓［ｔ′］Ｒ↓［ｔ′］↑［Ｔ］（Ｔ↓［ｔ］－Ｔ↓［ｔ′］）（４）式（４）中，ｈ表示齐次坐标；Ｄ（ｌ）表示像素ｘ↓［ｔ］的标号中的深度信息；Ｋ↓［ｔ′］、Ｒ↓［ｔ′］和Ｔ↓［ｔ′］分别对应表示第ｔ′帧所对应的摄像机的内部参数矩阵、外部参数的旋转矩阵和外部参数的平移矩阵；Ｋ↓［ｔ］、Ｒ↓［ｔ］和Ｔ↓［ｔ］分别是第ｔ帧对应的摄像机的内部参数矩阵、外部参数的旋转矩阵和外部参...

【技术特征摘要】

【专利技术属性】
技术研发人员：鲍虎军，章国锋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[]