一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统技术方案

本发明专利技术基于双目立体视觉原理，研究一种基于人脸面型空间分布的无相位展开三维人脸重建方法，通过多帧(优选地N≥3)相移光栅条纹所蕴含的纹理信息基础上提取的人脸特征点，作为人脸面型空间分布的锚点，在人脸上进行三角剖分并求粗视差图，然后通过相移光栅条纹解得的截断相位信息辅助粗视差的精确匹配，得到精视差图，进而完成三维重建。提出方法无需进行相位展开，也无需投影任何附加结构光场或嵌入任何信号。对比已有方法，本发明专利技术所述方法不仅有效减少了三维人脸建模所需投影图像数目，还从算法上略去了相位展开的耗时计算步骤，使得该方法对动态场景的敏感度较低，为实时高精度三维人脸测量提供了行之有效的解决方案。维人脸测量提供了行之有效的解决方案。维人脸测量提供了行之有效的解决方案。

【技术实现步骤摘要】
一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统


[0001]本专利技术涉及光学三维成像领域，尤其涉及一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统。

技术介绍

[0002]三维人脸识别技术快速走向应用的前提是大规模三维人脸数据的建库，基于三角测量原理的光学三维测量技术具有全场非接触、精度高、速度快等显著优点，被认为是获取高速高精度三维人脸数据重要推崇的技术之一。通过投影结构光光场至待测人脸表面获取三维面形数据，通常采用单目或双目相机来拍摄受到待测人脸表面调制的变形图像序列，并提取相位信息来重建三维模型。而结构光编码的目的在于丰富或增加被测弱纹理人脸表面的特征，从而提高三维重建结果的准确性、可靠性以及建模的完整性。目前，结构光编码主要有散斑结构光和条纹结构光，其中，基于条纹结构光编码的双目立体匹配系统因其高精度显著优点被应用广泛。而条纹结构光系统中，相移轮廓术(PSP)，以其更高的精度，更大的分辨率，更低的复杂度以及对环境光的不敏感性而闻名。
[0003]PSP的应用前提是被测量对象是相对静止的。然而，与测量静态对象不同的是，面部或多或少地处于运动中，例如呼吸，眨眼，抽搐或具有其他动态表情。而在动态三维人脸识别过程中，除了精度要求外，我们还希望能获取实时的三维人脸模型。因此，对于高精度的正弦条纹结构光三维人脸重建系统，我们还面临以下两个挑战：
[0004]应尽可能的减少图像采集数量，节省采集时间。传统方法中投影条纹数量较多，如多频法、格雷码法等，相位解算过程中往往需要投影多帧低频信号去解算高频信号才能得到高精度的绝对相位，不仅大大增加了采集时间，而且会因人脸运动造成的伪像而降低建模精度。
[0005]尽可能优化重建算法，节省计算时间。当前最流行的相位展开算法主要有两种：空间相位展开算法和时间相位展开算法。空间相位展开算法首先确定截断相位图上的2π不连续位置，然后通过添加或减去2π的整数倍来删除其不连续性，但其存在因展开路径误差积累造成的鲁棒性较差的问题。而时间相位展开虽然能很好的克服空间相位展开的难题，且这些年来已经开发了许多方法，如多频法和格雷码法等，但其条纹投影数量依然是目前待解决问题。
[0006]公开号为CN109903377A，名为“一种无需相位展开的三维人脸建模方法及系统”的中国专利公开了一种利用人脸几何信息约束条件去对齐截断相位级次标记线，从而直接使用截断相位进行立体匹配来重建三维人脸模型的方法。但是本专利技术是通过三角剖分得到人脸面形空间粗视差分布图，再利用截断相位信息对粗视差信息进行精确匹配。虽然都是无相位展开方法，但是实现方法不一样。

技术实现思路

[0007]针对
技术介绍
中存在投影条纹数量多的具体问题，提供一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统，通过绘制三角网格替换传统的相位展开方案进行三维重建，无需进行相位展开，即可完成高精度三维重建。
[0008]为了实现上述目的，本专利技术采用的技术方案包括以下各方面。
[0009]一种基于人脸面形空间分布的无需相位展开三维人脸重建算法，包括：
[0010]步骤501，以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的人脸图像，分别对所采集到的条纹结构光场中的人脸图像进行极线校正，得到截断相位；其中，N是大于等于3的整数，M是大于等于2的整数；
[0011]步骤502，从级线校正后的人脸图像中解析出所蕴含的纹理信息，形成纹理图相对；并根据所述纹理图像对，提取人脸特征点；
[0012]步骤503，基于所述人脸特征点，以人脸特征点锚点，对人脸面部进行三角剖分，形成基于三角形的人脸面形空间分布图；
[0013]步骤504，基于所述人脸面形空间分布图，形成网格视差图，通过对网格内部点进行插值，得到粗视差图；
[0014]步骤505，基于所述粗视差图结合所述左右截断相位，通过搜索得到精视差图；
[0015]步骤506，基于所述精视差图结合系统标定信息，完成三维重建，得到面部的高精度三维点云数据。
[0016]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，采用delaunay三角剖分法对人脸面部进行三角剖分，得到所述基于三角形的人脸面形空间分布图。
[0017]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，采用Candide 3为人脸模型对人脸进行三角剖分，得到所述基于三角形的人脸面形空间分布图。
[0018]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，在人脸特征点基础上初始绘制的三角形，采用迭代法通过三角形内部取重心或三角形边上取中点，有序扩增稀疏面上特征点的数量，增加三角形的数量。
[0019]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，步骤504具体包括：计算每个三角形顶点的视差值，通过对三角形每条边进行线性插值形成网格视差图，再采用相关插值算法，以顶点视差值为基准计算三角形内部每个像素点的视差值，形成粗视差值。
[0020]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，步骤505具体还包括：通过相移光栅条纹解得的截断相位，对获得的粗视差图上每一个像素点的对应视差值重新进行精确匹配，得到精匹配的高密度视差图。
[0021]优选的，一种基于人脸面形空间分布的无需相位展开三维人脸重建算法中，每个像素点的粗视差值的误差小于一个光栅条纹周期，即
[0022]一种基于人脸面形空间分布的无相位展开三维人脸建模系统，其特征在于，包括一个控制单元，以及与所述控制单元通讯连接的光场投影装置、2个成像系统，所述成像系统在外触发信号作用下同步采集受人脸表面调制的变形条纹图像序列，并传送至所述控制单元，所述控制单元用于控制协调的所述光场投影装置、成像系统的工作流程，以使所述系
统能够执行上述基于人脸面形空间分布的无需相位展开三维人脸建模方法。
[0023]综上所述，由于采用了上述技术方案，本专利技术至少具有以下有益效果：
[0024]本专利技术基于人脸特征点对人脸面部进行三角剖分，首先计算每个三角形的顶点视差，生成网格视差图，再通过相关插值法生成粗视差，最后基于截断相位辅助粗视差进行精确匹配，生成高密度视差图，进而重建三维人脸。这种三维人脸重建方法，一方面无需投影附加结构光场或嵌入其它信号(如散斑三角波等)，只需投影大于或等于3帧正弦相移图像即可完成三维人脸重建，大大节省了图像采集时间，降低了对动态场景的敏感度；另一方面，算法只依赖于从采集的图像中解析的人脸特征点信息、截断相位信息即可完成稠密视差图的计算，无需进行相位展开，算法简单可并行运算，大大节省了计算时间；此外，与传统方法相比，该方法不受投影的条纹频率、测量深度范围等限制，有较强的鲁棒性。因此，本专利中专利技术的方法可应用于精度及实时性要求均较高的动态三维人脸测量场合，在三维人脸识别领域中有着重要应用价值。
附图说明
[0025]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸面形空间分布的无相位展开三维人脸建模方法，其特征在于，所述方法包括：步骤501，以不相同的M个拍摄角度采集N帧被测物的在条纹结构光场中的人脸图像，分别对所采集到的条纹结构光场中的人脸图像进行极线校正，得到截断相位；其中，N是大于等于3的整数，M是大于等于2的整数；步骤502，从级线校正后的人脸图像中解析出所蕴含的纹理信息，形成纹理图相对；并根据所述纹理图像对，提取人脸特征点；步骤503，基于所述人脸特征点，以人脸特征点锚点，对人脸面部进行三角剖分，形成基于三角形的人脸面形空间分布图；步骤504，基于所述人脸面形空间分布图，形成网格视差图，通过对网格内部点进行插值，得到粗视差图；步骤505，基于所述粗视差图结合所述左右截断相位，通过搜索得到精视差图；步骤506，基于所述精视差图结合系统标定信息，完成三维重建，得到面部的三维点云数据。2.根据权利要求1所述的方法，其特征在于，步骤503中，采用delaunay三角剖分法对人脸面部进行三角剖分，得到所述基于三角形的人脸面形空间分布图。3.根据权利要求1所述的方法，其特征在于，步骤503中，采用Candide 3人脸模型对人脸面部进行三角剖分，得到所述基于三角...

【专利技术属性】
技术研发人员：郭燕琼，游志胜，吕坤，段智涓，朱江平，肖宁，
申请(专利权)人：四川川大智胜软件股份有限公司，
类型：发明
国别省市：