本发明专利技术描述了一种用二维图像，如人脸图片实现三维人脸重建的技术。先前的人脸知识和普通的人脸被用来从图像提取稀疏的三维信息，并识别图像对。束调整用来实现确定更多精确的三维摄照相机位置，矫正图像对，并且未使用先前人脸知识提取密集的三维人脸信息。例如利用张量投票，移除孤立点。三维表面从密集的三维信息中提取出来；并且表面的细节从图像提取出来。
【技术实现步骤摘要】
【国外来华专利技术】由2D图像实现3D人脸重建相关申请的交叉参考本申请要求于2006年1月31日递交的美国临时申i青60/764， 007的优先 权。在先申请的内容认为是本申请的一部分(或并入其内容作为参考)。联邦政府支持的研究或发展美国政府可以依照授权NO. HMI-582-04-1-2002对本专利技术有一定的权利。
技术介绍
传统的人脸重建技术经常用人脸的一个或多个二维图像(例如数字照片) 来创建脸部的一个三维表述。依此创建的表述可以是表示不同人脸的个体特征 的文件，例如电子文件。所述文件可以用于，例如面部识别，动画的制作或者 渲染。该图像一旦被获取，就经常在先前知识或人脸通常看上去是什么样子的假 定基础上进行处理。这种知识经常^皮称为"领域知识"， 一种"先前才莫型"， 或者尤其是一种"一般人脸"。例如，先前人脸知识可以显示不同种类的面部 特征，比如眼睛、鼻子等等的当前位置或者可能的位置。先前人脸知识是由可 以假定人脸是由人脸的基本形状和外观、照相机参数、光参数、以及其他已知 元素，或易于估计的元素等的一种线性组合形成的。这些元素可以被组合来估 计人脸可能的外貌。此外，领域知识可以由艺术家定义的一般人脸形状或由多 个已知的人脸计算出的平均人脸形状的形式参与。在整个重建的过程中，人脸重建的普通技术利用一^:人脸的先前知识，和 可能的一组人脸度量或形变参数。另外一种普通的技术尝试避开先前人脸知识 的使用，而是使用纯粹的数据驱动的方法来实现人脸重建。这是可以实现的， 例如，利用从多个校准照相机得到的多个图像中的二维要点的三角法测量。不幸的是，由于在整个重建过程中利用了一般人脸，前者的方法可能提供不现实 的数据。后者的方法需要额外的硬件构造，而该硬件构造在一个合理的成本下 事实上很难实现。单一照相机纯粹数据驱动的方法緩解了多视角立体方法的硬 件约束，但是它自身可能会由于在处理的阶段中缺乏约束而不稳定。 技术概要本申请描述了利用辅助技术获取三维人脸信息的技术。根据一些方面，在 处理操作过程中，在一些部分利用人脸结构的先前知识，而处理操作过程中的 其他部分则是纯粹的数据驱动。另外一种操作利用单一照相机，以进行从一组二维图像得到三维信息的确定。附图的简要说明附图说明图1所示为操作的总体流程图；和图2所示为实现流程图的通用目标计算机；图3所示为三维人脸跟踪是如何由一般人脸辅助的；图4A和4B显示了分别嵌入在圆柱形空间和展开的三角形空间中的密集的 三维特征。 具体实施例方式在此，将描述能够用来实现更多总体目标的不同方法的总体的结构和技 术，以及更详细的实施例。本专利技术涉及一种确定物体，例如人脸的三维信息的方法。尽管本专利技术的具 体实施例参考人脸的三维重建和绘图来描述，但是应该可以理解的是这些相同 的技术可以用于重建和绘图任何物体的多个视图。当用于人脸时，由在此揭示 的技术生成的三维信息可用于任何基于人脸的应用，如动画片的制作，识别，以及绘图。在此描述的技术，可能比更多依赖于一般人脸的先前知识的其他技 术更实际可行。本专利技术人承认使用强大的人脸外貌的先前知识来重建人脸的先前的系统， 有效地量化了用于构成和渲染人脸的基础形状的数目。强大的先前知识或者一 般人脸方法，被施加的先前知识或者一般人脸所提供的自由度有效地限制。因 此，信息和之后的重建并没有捕获原始人脸的所有精细的细节。所述"人脸空间"量化是由于先前知识和相关的转换限制了能够被系统重 建的所有可能人脸的空间而产生。 一般人脸或者基于纯粹先前知识的方法可能 没有足够的自由度来覆盖整个人脸空间。本实施例通过忽视先前人脸知识或者在处理过程关键点的一般人脸约束来 捕获精细的人脸细节，而不是依靠利用数据驱动方法来寻找在此^皮称为密集特 征的人脸细节的数据。数据驱动方法需要大量的数据来有效地处理噪音、测量的不可靠性和孤立点(outliers)。然而，本专利技术的系统没有利用纯粹的数据驱 动方法，而且由一体化的先前人脸知识或者一般人脸的方法所辅助。依照一个方面，大量的数据可以从操作获得多重图像的单一照相机来获 得。例如，这可以用共同形成图像的活动序列的视频帧获得，也可以从一个或 多个照相机获得的多种不同的静态图像来获得。美国专利号1203211揭露了一种产生三维人脸才莫型的方法，该方法没有使 用什么先前人脸知识，而只是完全地数据驱动。本专利技术系统用了一种主要用数 据驱动的系统，但是用先前人脸知识或一般人脸来测定信息的某些部分。参照图1的流程图描述一下本专利技术的实施例。图1同样举例说明了一些示 范性的极小的照片，用于阐明操作过程。此流程图可在任何通用计算机上执行， 例如图2所示的系统。该系统包括一个处理器200， 一个用户接口 205，例如鼠标和键盘，和一个显示屏210。例如，该计算机可以是，基于因特尔的处理器或 其他任何种类的处理器。该计算机从一个或多个摄#^几215，例如静态照相才几或 摄影机，接收原始的或经过处理的图像数据。该处理器200根据在此提供的说 明处理所述原始数据。作为一种替换，照相机的信息可以存储在一个存储器220 内，例如一个硬盘驱动，并且在稍后处理。本实施例从图像序列例如视频序列，从视频序列得到的停止运动类型的图 像序列，或者只是一些静态图像，中提取信息。除非目标物是标准的完全静止 并且照相机不变换位置，在图像集中，图像序列具有目标物头部的多种不同视 角。在步骤100处，确定了初始姿势的估计。这可能用了一种人脸跟踪算法， 例如如图3所示的算法，来推导出初始头部姿势的估计，并且推导出表示人脸 外貌的面部轮廓(mask)。这使用了人脸构造的先前知识来测定头部可能的位置 和姿态，像鼻子，嘴等类似的面部特征的位置。图3描述了在3种不同图像310, 320, 330中3种不同的姿势。同样的脸部轮廓300是每个上述这些图像的叠加。 所述脸部轮廓300描述了一般人脸，并且有眼，口鼻等的点。这样，该轮廓就 能够帮助估计图像的姿势。在步骤110处，姿势评估技术将一组的视图传递到稀疏特征跟踪模块。传 送到所述模块的图像，被认为是可从中提取三维信息的图像对的合适的候选图 像。稀疏特征跟踪模块110为每个图像对产生了 一组特征匹配， 一个图像对中 的两个图像充分相近以至于可以获得这些特征关联。在步骤120实现姿势选择，来选择图像，该图像能够正确地产生可以用于 3D信息的确定的图像对。这些图像对应该姿势相近，并且具有相同的光特性。在步骤130处，执行对整个系列特征点的全局最优化。这被用来优化照相机位置估计和计算稀疏二维特征的三维结构。在步骤135处，优化后的照相机位置用于矫正多对的图像，从而把相应特征点的搜索空间约束为在多对图像里的水平扫描线。在步骤140处，通过图像对进行密集特征关联。这发现了除在步骤110处 实现的稀疏4企测以外的附加特征。这些匹配通过三角测量法来确定，该三角测 量法使用优化的照相机位置形成密集3D点云或差距图。相应于单个图像对的点云接着融合进单一点云，并且在步骤145处移除出 界点。密集特征检测是完全地数据驱动，没有用先前人脸知识或一般人脸。步 骤150定义了密集特征计算辅助手段，作为密集特征关^:的简化。这可能包括 特征点丢弃技术(例如张量投票)，并且可能包括区域搜索最小化。在本文档来自技高网...
【技术保护点】
一种人脸重建方法，包括： 利用先前人脸知识分析人脸的大量图像来找到稀疏的、三维人脸特征；以及 利用所述稀疏三维人脸特征来分析所述大量图像，以利用数据驱动方法，不使用任何先前知识找到密集三维特征。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：杰勒德麦迪尼，道格拉斯费德洛，
申请(专利权)人：南加利福尼亚大学，
类型：发明
国别省市：US[美国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。