三维人脸的自动定位方法、曲面配准方法和系统技术方案

本发明专利技术公开了三维人脸的鼻尖点自动定位的方法、三维人脸的特征点自动定位的方法、三维人脸曲面配准方法和系统，为任意张不同的三维人脸曲面建立生理上密集的点到点对应关系。其技术方案为：选择一张三维人脸曲面，找到鼻尖点并进行姿态归一化校正，寻找多个特征点，经过球形重采样与三角形网格面曲面重构后成为参考脸；输入多张三维人脸曲面，找到鼻尖点并进行姿态归一化校正，寻找和参考脸对应的多个特征点；以特征点为基准，将参考脸变形拟合到目标脸上；在拟合后的目标脸上找到参考脸的每个顶点对应的最近点，作为生理上的对应点，按照参考脸的网络结构将目标脸上的生理上的对应点重构成三维曲面，完成目标脸与参考脸的配准。

【技术实现步骤摘要】

本专利技术涉及一种模式识别和计算机视觉技术，尤其涉及一种新的三维人脸的鼻尖点自动定位的方法、三维人脸的特征点自动定位的方法、三维人脸曲面自动配准方法和系统，用于为任意张不同的三维人脸自动建立生理上的点到点密集对应关系，可以应用到人脸识别、生物特征分析等领域。
技术介绍
随着三维扫描与成像技术的发展，生物个体特别是人脸的三维数据可以很轻易地得到，这些三维数据已经越来越广泛地应用于生物医学及相关领域。近10年来，以3dMD公司为代表的厂商生产的三维物体表面成像设备以其快速、高分辨率，并且附带物体颜色纹理信息而广泛地被众多研究机构以及医院采用。一般来说，三维表面成像设备输出的三维图形是由密集的三角形或者多边形网格构成的三维曲面。三维人脸曲面的后续处理和分析通常要求不同个体的三维人脸曲面彼此精密地配准，也就是说要为不同的三维人脸曲面之间建立点到点的密集对应关系。国际上三维人脸曲面配准技术在上世纪90年代就已经兴起，配准方法有刚性和非刚性之分。前者对人脸使用刚性变换(如平移、旋转、缩放等)，后者则使用变形方法使三维人脸之间更好地拟合在一起，从而使找到的对应点更加精确。对于刚性的配准方法来讲，目前使用最广泛的是迭代最近点(ICP,IterativeClosestPoint)算法。该方法通过在一张脸上寻找另外一张脸的每个顶点的对应点，求出一种最佳的平移和旋转变换使这些点对最好地拟合在一起，并依此方式反复迭代。尽管该方法易于r>实现，但是使用ICP方法得到的对应点并不是生理上的对应点，这个缺点源于它只对三维人脸曲面实行了刚性的变换。从另一方面来讲，非刚性方法由于对三维人脸曲面采用了弯曲和形变，因而能使三维人脸曲面更好的拟合在一起，从而求出来的对应点也更加接近生理上的对应点。一种典型的曲面变形方法就是薄板样条(TPS,ThinPlateSpline)方法。TPS方法是一种以基准点为指导的曲面变形方法，该方法通过将曲面弯曲变形使两个曲面上的基准点对重合在一起，并且这种弯曲变形的弯曲能量是最小的。在部分文献中，研究者需要在三维人脸曲面上手动标定基准点。然而在通常的研究中，需要对几百甚至上千幅三维人脸曲面进行分析，在这种场合下，通过手动标定基准点的方法就行不通了。大多数自动特征点标定方法通常使用基于曲率的曲面特征，其中最常用的两个特征是HK曲率和形状索引(SI,ShapeIndex)。这种基于曲率特征的方法对存在较多有毛刺噪声或者不规整的曲面的鲁棒性差，而且也不能很好地利用曲面的纹理特征。大多数现存的三维人脸配准方法都假设要处理的人脸是正面姿态或者接近正面的姿态，因而这些方法对三维人脸的旋转很敏感，从而限制了它们的应用范围。大部分现存的三维人脸曲面配准方法都不能为侧脸建立良好的点到点对应关系，因此这些方法通常先将正脸裁剪下来(侧脸被剔除)，然后进行配准。然而对于大部分生物医学相关的后续研究来讲，侧脸的信息或者其对应关系都是不可或缺的。现存的三维人脸曲面配准方法的另外一个常见的缺点是配准后的人脸只含有形状信息而没有颜色纹理信息，配准后的三维人脸因为丢失了颜色信息，不仅视觉效果差，而且不利于后续研究。因此，设计一种好的三维人脸配准方法，使之能够很好地解决以上所述的缺陷，是需要解决的关键问题。
技术实现思路
本专利技术的目的在于解决上述问题，提供了三维人脸的鼻尖点自动定位的方法。本专利技术还提供了一种三维人脸的特征点自动定位的方法。本专利技术还提供了一种三维人脸曲面配准方法，适用于任意姿态的三维人脸曲面配准，且参考脸结构非常均匀。本专利技术的另一目的在于提供了一种三维人脸曲面配准系统，适用于任意姿态的三维人脸曲面配准，且参考脸结构非常均匀。本专利技术的技术方案为：本专利技术揭示了一种三维人脸的鼻尖点自动定位的方法，其包括如下步骤：(1)选取三维人脸曲面中若干顶点作为可能的鼻尖点；(2)确定每个可能的鼻尖点的周围邻域；(3)对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据r和e生成一个鼻尖点的可能性评判函数f，根据f定位鼻尖点。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，步骤(1)中，如果人脸的三维数据包含颜色信息，先利用颜色信息进行皮肤检测，然后只选取颜色与人脸皮肤相近的点作为可能的鼻尖点。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，步骤(1)中，如果拍摄时人脸的姿态都接近正面，只选取人脸曲面最前面的部分顶点作为可能的鼻尖点。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，如果步骤(1)中选中的某一可能的鼻尖点的判据值f大于某一阈值N，则其它可能的鼻尖点中，与该点距离小于D的点都不再作为可能的鼻尖点。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，N的取值范围可以是22到28之间的任意值，相应的，D的取值范围可以是5mm到9mm之间的任意值。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，步骤(2)中，周围邻域可以是球形邻域。根据本专利技术的三维人脸的鼻尖点自动定位的方的一实施例，步骤(3)的具体方法为：假设某个可能的鼻尖点p的周围邻域内包含k个顶点，第n个顶点的坐标表示为(xn,yn,zn)。于是构造两个矩阵A=x12+y12+z12...xk2+yk2+zk2---(1)]]>B=x1...xky1...ykz1...zk1...1---(2)]]>其中A为k×1的矩阵，B为4×k的矩阵。由这两个矩阵求出1个4×1的矩阵WW＝(BBT)-1BA(3)进而可以求出最佳拟合球面的半径r=W(4)+14(W(1)2+W(2)2+W(3)2)---(4)]]>式中W(*)代表矩阵W的第*个元素。拟合误差可以用下式求得e=1k(A-BTW)T(A-BTW)---(5)]]>鼻尖点的可能性评判函数f由e和r计算得到，即f＝e(12＋|r-12|)(6)对于每个可能的鼻尖点，都利用其周围邻域计算出其f值，将f值最小的顶点定为鼻尖点。本专利技术还揭示了一种三维人脸的特征点自动定位的方法，其包括如下步骤：(1)选取M个三维人脸作为训练集，(2)在训练集上手动标注出特征点；(3)对训练集的特征点构建局部块向量；(4)将主成份分析方法应用到训练集的M个局部块向量，求出平均局部块向量、协方差矩阵及其第i大的特征值λi及相应的特征向量ui，使用最大的k个特征值对应的特征向量构建特征点的局部块特征空间U；(5)对目标脸的特征点进行粗本文档来自技高网...

【技术保护点】
一种三维人脸的鼻尖点自动定位的方法，其包括如下步骤：(1)选取三维人脸曲面中若干顶点作为可能的鼻尖点；(2)确定每个可能的鼻尖点的周围邻域；(3)对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据r和e生成一个鼻尖点的可能性评判函数 f，根据f定位鼻尖点。

【技术特征摘要】
1.一种三维人脸的鼻尖点自动定位的方法，其包括如下步骤：
(1)选取三维人脸曲面中若干顶点作为可能的鼻尖点；
(2)确定每个可能的鼻尖点的周围邻域；
(3)对每个可能的鼻尖点的周围邻域的所有顶点进行球面拟合，计算最佳拟合球面的半径r和拟合误差e，并根据r和e生成一个鼻尖点的可能性评判函数f，根据f定位鼻尖点。
2.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(1)中，如果人脸的三维数据包含颜色信息，先利用颜色信息进行皮肤检测，然后只选取颜色与人脸皮肤相近的点作为可能的鼻尖点。
3.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(1)中，如果拍摄时人脸的姿态都接近正面，只选取人脸曲面最前面的部分顶点作为可能的鼻尖点。
4.根据权利要求1所述的三维人脸的鼻尖点自动定位的方法，其特征是：步骤(3)的具体方法为：假设某个可能的鼻尖点p的周围邻域内包含k个顶点，第n个顶点的坐标表示为(xn,yn,zn)；于是构造两个矩阵
⑴
⑵
其中A为k×1的矩阵，B为4×k的矩阵；由这两个矩阵求出1个4×1的矩阵W
⑶
进而可以求出最佳拟合球面的半径
⑷
式中W(*)代表矩阵W的第*个元素；拟合误差可以用下式求得
⑸
鼻尖点的可能性评判函数f由e和r计算得到，即
⑹
对于每个可能的鼻尖点，都利用其周围邻域计算出其f值，将f值最小的顶点定为鼻尖点。
5.一种三维人脸的特征点自动定位的方法，其包括如下步骤：
(1)选取M个三维人脸作为训练集，
(2)在训练集上手动标注出特征点；
(3)对训练集的特征点构建局部块向量；
(4)将主成份分析方法应用到训练集的M个局部块向量，求出平均局部块向量、协方差矩阵及其第i大的特征值λi及相应的特征向量ui，使用最大的k个特征值对应的特征向量构建特征点的局部块特征空间U；
(5)对目标脸的特征点进行粗略定位；
(6)在目标脸的高度图和灰度图上，选取特征点的粗略位置为中心的长为L、宽为W的邻域或直径为W的圆形邻域作为特征点的搜索区域；
(7)对特征点的搜索区域内的每一个点构建局部块向量T；
(8)将特征点的搜索区域内的每一个点的T投影到U上，得到投影向量T’，计算判据η，从搜索区域所有点中选择η值最小的点作为最终的特征点，并将该点返回（映射）到原三维曲面上，得到特征点的精确定位。
6.根据权利要求5所述的三维人脸的特征点自动定位的方法，其特征是：生成高度图和灰度图并构建局部块向量的方法包括如下步骤：
(1)对三维人脸曲面进行姿态归一化校正；
(2)对三维人脸进行均匀重采样得到高度图和颜色图；
(3)将三维人脸的颜色图经过灰度化后得到灰度图；
(4)在三维人脸的高度图和灰度图上以特征点为中心分别选取长为L、宽为W的局部高度块和局部灰度块；
...

【专利技术属性】
技术研发人员：唐鲲，郭建亚，
申请(专利权)人：中国科学院上海生命科学研究院，
类型：发明
国别省市：上海;31