３Ｄ人脸捕获方法和设备技术

本发明专利技术提供一种３Ｄ人脸捕获的方法和设备，所述方法包括：获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

【技术实现步骤摘要】

本专利技术涉及一种3D人脸捕获的方法和设备。
技术介绍
目前，消费者已经不满足于二维(2D)信息。人们期望在诸如人机交互、自然游戏 控制、三维(3D)显示等方面获得新的体验。这些都需要高质量的3D内容，尤其需要3D人 脸的信息。激光扫描仪是捕获3D对象最普遍且方便的装置。使用激光技术，可以获得非常准 确的3D表面。某些研究者尝试使用单个相机或多个相机捕获3D人脸。在公开号为US6556196且名为“用于处理图像的方法和设备”的美国专利中，从2D 图像构建3D人脸。专利技术人提出了形变模型方法来使用2D图像对3D人脸进行建模。通过激 光扫描仪捕获的很多精确3D人脸模型来训练形变模型，3D人脸被表示为主成分分析(PCA) 参数，通过最小化3D人脸投影和输入图像之间的差异来估计所述PCA参数。但是该专利技术仅 使用2D图像，因此3D人脸重建不稳健。另外，上述专利技术需要手动标注特征点并且需要非常 长的计算时间。在公开号为US2009052748且名为“从2D表示构建人脸的3D表示的方法和系统” 的美国专利中，专利技术人使用单个中性正面人脸图像重建3D人脸。从2D输入图像检测了部 分输入的面部特征，并且最小化了输入特征与来自合成的3D人脸的特征之间的差异。但是该专利技术对于输入存在很多限制。此外，从单个人脸图像重建3D人脸是不适定 问题，其结果是重建的3D人脸不稳健。尽管通过激光扫描仪重建的3D人脸非常精确，但是还存在一些问题。问题之一是 界面不够友好。另外，扫描是机械处理，这将花费一些时间，并且在激光扫描头部期间人应 该保持不动。还有些人认为激光对人眼有害。此外，激光扫描仪非常昂贵以致不能广泛使用。基于图像的3D人脸建模方法不如激光扫描仪稳健。这些方法花费更多计算时间。 而且这些方法不能实现稳健且精确的3D人脸模式。为了得到理想的结果，一些方法需要手 动标注特征点。一些方法利用了人脸3D形状和2D纹理PCA模型。由于通过激光扫描的3D 人脸数据库训练这些模型，因此获得这些模型是很艰难的工作。
技术实现思路
由于激光扫描仪装置非常昂贵且界面不友好，并且基于图像的方法也不稳健。本 专利技术提出一种以较便宜的硬件稳健地重建3D人脸的设备和方法。本专利技术的设备包括(XD相机、深度相机和数据处理器。这些装置都比激光扫描仪 便宜很多。由于深度相机能够捕获深度信息，因此深度相机和(XD相机的组合能够大大提 供系统稳健性。根据本专利技术的一方面，提供一种3D人脸捕获方法，所述方法包括获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进 行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模 型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于 三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。根据本专利技术的另一方面，提供一种3D人脸捕获设备，所述设备包括用于获得人 脸彩色图像的单元；用于获得人脸深度图像的单元；图像对齐模块，将人脸彩色图像和人 脸深度图像进行对齐；三维人脸模型产生模块，用于对人脸彩色图像进行二维建模，将建模 的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；第一去噪模块，用 于去除三维人脸模型的深度噪声；以及第二去噪模块，用于将三维人脸模型和三维人脸模 板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确 的三维人脸模型。附图说明图1是示出根据本专利技术的示例性实施例的3D人脸捕获设备的框图；图2是示出根据本专利技术的示例性实施例的RGB图像上的面部划分的示意图；图3是示出根据本专利技术的示例性实施例的使用迭代算法来去除深度噪声的流程 图；图4是示出根据本专利技术的示例性实施例的计算尺度无关方差时的加权函数的示 图；图5是示出本专利技术中使用的3D人脸模板的示例；图6是示出根据本专利技术的示例性实施例的多特征ICP算法的流程图；以及图7示出根据本专利技术的示例性实施例的3D人脸捕获方法的流程图。具体实施例方式以下，参照附图来详细说明本专利技术的实施例。图1是示出根据本专利技术的示例性实施例的3D人脸捕获设备的框图。如图1所示，本专利技术的3D人脸捕获设备包括CCD相机、深度相机和数据处理器， 所述数据处理器包括图像对齐模块、3D人脸模型产生模块、不基于模型去噪模块和基于模 型去噪模块。(XD相机拍摄人脸的彩色图像(RGB图像)，例如1024X768的彩色图像。本专利技术实施例中的深度相机可以是T0F (光照时间)相机，用于获得强度图像和深度图像。由于(XD相机可捕获人脸RGB图像，而深度相机可捕获强度图像和深度图像，而且 经由不同的相机捕获RGB图像和深度图像，因此不能将RGB图像和深度图像直接融合。在 本专利技术中提供了 一个图像对齐模块。图像对齐模块将来自两个不同相机的图像进行对齐，以输出具有6个元素(R，G， B, x, y，z)的图像，即，具有颜色信息和深度信息的图像。通过相机标定来计算相机内部参数和相机外部参数。然后，将6元素(R，G，B, x, y，z)的图像输出到3D人脸产生模块。3D人脸模型产生模块将根据给出的6元素图像产生粗糙的3D人脸模型。具体过 程如下第一步在RGB图像中检测人脸区域并在人脸区域中检测两个眼睛。可以通过传统基于Haar的检测来准确地检测人脸区域和眼睛。第二步在RGB图像上划分人脸区域。划分方法如图2所示，使用椭圆建模2D人脸，并且使用两个眼睛的坐标(X(1，y(1)和 (Xl，Yl)来估计椭圆参数。旋转人脸使得y0 = ylo划分的人脸区域是椭圆本文档来自技高网...

【技术保护点】
一种三维人脸捕获方法，所述方法包括：获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像上，以获得三维人脸模型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的匹配来去除剩余噪声，以获得精确的三维人脸模型。

【技术特征摘要】
1.一种三维人脸捕获方法，所述方法包括 获得人脸彩色图像；获得人脸深度图像；将人脸彩色图像和人脸深度图像进行对齐；对人脸彩色图像进行二维建模，将建模的二维人脸区域罩在图像对齐模块输出的图像 上，以获得三维人脸模型；去除三维人脸模型的深度噪声；以及将三维人脸模型和三维人脸模板对齐，并且基于三维人脸模型和三维人脸模板之间的 匹配来去除剩余噪声，以获得精确的三维人脸模型。2.如权利要求1所述的三维人脸捕获方法，其特征在于在对人脸彩色图像进行二维建 模的步骤中，使用椭圆对人脸彩色图像进行二维建模。3.如权利要求2所述的三维人脸捕获方法，其特征在于去除三维人脸模型的深度噪声 的步骤包括计算深度方向上的尺度无关方差V ；将尺度无关方差V与第一阈值进行比较来判断三维人脸模型中是否存在噪声。4.如权利要求3所述的三维人脸捕获方法，其特征在于所述尺度无关方差V的计算方 法为5.如权利要求3所述的三维人脸捕获方法，其特征在于所述第一阈值根据实验选择。6.如权利要求3所述的三维人脸捕获方法，其特征在于去除三维人脸模型的深度噪声 的步骤还包括如果三维人脸模型中存在噪声，则计算顶点深度方向的均值将顶点的深度和均值乏 的差值与第二阈值T进行比较；如果所述差值大于第二阈值T，则该顶点为噪声，将其去除。7.如权利要求6所述的三维人脸捕获方法，其特征在于通过迭代计算均值8.如权利要求6所述的三维人脸捕获方法，其特征在于第二阈值T为IYjW(Zi-Z)XjZi^f T = const Xj-~=；-V YW{z-z)其中，const是一个常数。9.如权利要求1所述的三维人脸捕获方法，其特征在于将三维人脸模型和三维人脸模 板对齐包括步骤a.粗糙地估计尺度因子；b.根据计算的尺度因子对输入的三维人脸模板进行归一化；c.利用多种特征对三维人脸模型和三维人脸模板进行顶点匹配；d.对已匹配的顶点估计平移系数和旋转系数，判断平移系数和旋转系数是否收敛；e.如果平移系数和旋转系数不收敛，则更新尺度因子；f.根据更新的尺度因子来更新输入的三维人脸模型；g.重复上述步骤a-f直到平移系数和旋转系数收敛。10.如权利要求9所述的三维人脸捕获方法，其特征在于所述多种特征包括顶点的三 维坐标、颜色信息、法线方向、顶点邻域信息。11.如权利要求9所述的三维人脸捕获方法，在步骤C中，如果存在不匹配的顶点，则认 为该顶点是噪声并将其去除。12.—种三维人脸捕获设备，所述设备包括 用于获得人脸彩色图像的单元；用...

【专利技术属性】
技术研发人员：任海兵，黄向声，林和燮，
申请(专利权)人：三星电子株式会社，北京三星通信技术研究有限公司，
类型：发明
国别省市：KR[韩国]