利用三维模型表示画面序列的方法以及对应的信号和设备技术

技术编号:3599772 阅读:314 留言:0更新日期:2012-04-11 18:40
本发明专利技术涉及一种表示画面序列的方法,该序列分组成称为画面组(GOP)的由至少二个的相继画面构成的组,其中每个所述GOP关联着一个纹理型、网格式三维模型。依据本发明专利技术,与层nGOP关联的三维模型是通过一个至少考虑到表示与层n-1GOP关联的三维模型的不规则网格的至少一个的顶点的不规则网格表示的,所述顶点称为公共顶点。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的领域为画面(或图象)序列的编码。更具体地,本专利技术涉及通过三维模型或3D模型流编码画面序列的技术。
技术介绍
我们记得通过3D模型的视频编码在于通过一个或更多的3D纹理模型表示视频序列。发送到画面序列编码器的信息包括3D模型、和3D模型关联的纹理画面以及拍摄该序列的摄象机的参数组。从而这种类型的编码能得到比常规编码技术低的位率,在常规技术中通常用象素集表示视频序列,发送象素集花费要多得多。另外,和常规编码技术相比,这种通过3D模型编码的技术能对重构序列添加某些功能。从而能改变对景物的照明,得到立体显示,稳定序列(当它是视频序列时),对景物添加对象或者改变视点从而在景物中模拟自由导航(自由导航可以定义为相对于原始路径改变摄象机路径)。从而画面编码市场中的主要需求是用于从视频序列提取3D模型的方法。实际上,从真实3D景物开始,利用3D建模得到的内容要比利用过去设想的合成法得到的内容照片更逼真得多。此外,利用上面提到的那些功能,获得真实景物的虚拟模型能设想出大量的应用,例如电子商务、视频游戏、仿真、特效或地理定位上的应用。目前已知若干从视频画面构建3D模型的技术。称为主动技术的一些技术要求控制对真实景物的照明并且通常采用激光技术或者大量的摄象机以便获得数个视角以及大量深度上的数据。称为被动技术的其它技术则依赖于复杂的计算算法并且基于画面之间的关系或者基于廓象。它们之间的不同主要在于所要求的校准等级以及所允许的交互程度。它们包括从一组照片或画面重建一段3D信息并且主要应对下面两个问题—建立或者确定对应,其在于为给定画面中的某个区找到其它画面中的对应区(该区可能减小成画面中的一个点);—校准摄象机,这包括估计画面成形参数(即,摄象机的固有参数(例如焦距等)以及摄象机的外在参数(摄象机获取序列中的不同画面的位置等))。通常人工地完成对应的建立,例如V.M.Bove等在“Semi-automatic 3D-model extraction from uncalibrated 2Dcamera”,Proceedings Visual Data Exploration and Analysis,1995,中说明那样。校准则是一个辛苦的过程并且和它关联的计算算法经常是不稳定的。从而许多方法依赖于校准的序列,而校准序列要求人的动作(E.Boyer等,“Calibrage et Reconstruction àl’aide de Parallélépipèdes etde Parallélogrammes”,Proceedings of 13thFrench Speakers’ Congresson Shape Recognition and Artificial Intelligence,2002)或者要求复杂的获取系统,后者依赖于“转台”(W.Niem,“Robust and Fast Modelingof 3D Natural Objects from Multiple Views”,vcip 1994,1994)或者依赖于使用移动机器人(J.Wingbermuhle,“Automatic Reconstruction of3D Object Using a Mobile Monoscopic Camera”,Proceedings ofInternational Conference on Recent Advances in 3D Imaging andModeling,Ottawa,Canada,1997)。在某些其它自动或半自动方法中,不人工地管理建立对应。例如可以参阅A.Fitzgibbon等(“Automatic Line Matching and 3DReconstruction of Buildings from Multiple Views”,IAPRS,Munich,Germany,1999)或C.Zeller等(“3D Reconstruction of Ubran Scenefrom Sequence of Images”,INRIA,Information Technology 2572,1995)说明的技术。但是,这些半自动或自动方法要求对要重构的景物做出许多假设从而例如只可应用于建筑景物。3D自动重构方法通常实现以下步骤—检测特定的点或线;—建立画面间的对应在此步骤中,沿着视频序列遵循先前步骤期间提取出的特定点或线;—彼此相关不同的画面;—3D点的投影重构;—若需要,自动校准或细化校准,以求得3D度量模型(实质上,在欧氏空间中完成模型的交互操作);—估计3D纹理模型。一些基于上述算法的方法能从运动下的单筒摄象机给出的数据重构3D模型(即,不存在对摄象机的固有或外在参数或者对要重构的景物的先验知识)。例如参阅以下描述的技术P.Debevec等,“PanelSession on Visual Scene Repnesentation”,Smile 2000,2000,或者G.Cross等,“VHS to VRML3D Graphical Models from VideoSequences”,IEEE International Conference on MultimediaComputing and System,Florence,1999)。J.Rning等在“Modeling Structured Environments by a SingleMoving Camera”,Second International Conference on 3D Imagingand Modeling,1999,中提出从检测出的轮廓估计第一模型的方法以及扩展地卡尔曼滤波器。但是,该方法具有大大依赖于轮廓的缺点并且不适用于复杂的景物。在“VHS to VRM3D Graphical Models from Video Sequences”,IEEE International Conference on Multimedia Computing andSystem,Florence,1999,中,G.Cross等提出一种方法,用于通过Harris方法检测点以及建立不同视图之间这些点的对应同时进行几何估计。通过交叉相关、组合二张视图间的表极(epipolar)几何或者组合三张视图间的三焦点几何(它们使能导引的匹配)这些点进入对应。接着把对应案例扩充到该序列并且通过捆绑调整进行优化。我们接着得到3×4投影矩阵以及3D欧氏结构(通过自动校准),原始画面的纹理放在该结构上。这屏蔽几何缺陷。但是,该方法的一个缺点是,二个相继画面之间的移动必须相对小而且画面序列必须为合理尺寸。从而该方法不能对无论什么样的画面序列都适用。Louvain大学还提出了二种途径。依据第一途径(M.Pollefeys,“Tutorial on 3D Modeling fromImage”,eccv 2000,2000),通过Torr算法(在上面提到的文献中说明)提取被检测画面的特定点或线并且进入对应。同时,评估受限制的校准以便能消除和校准不相容的对应。利用Beardsley法(M.Pollefeys,“Tut本文档来自技高网...

【技术保护点】
一种画面序列的表示方法,该画面序列分组成称为GOP的由至少两个相继画面构成的组,每个所述GOP与一个纹理型网格式三维模型关联,其中与层n的GOP关联的三维模型是通过一个至少考虑到表示与层n-1的GOP关联的三维模型的不规则网格的至少一个的顶点的不规则网格表示的。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员:拉尔夫勒巴尔特帕特里克基奥亚
申请(专利权)人:法国电信公司
类型:发明
国别省市:FR[法国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1