一种三维人脸体征采集系统及方法技术方案

本发明专利技术公开了一种三维人脸体征采集系统及方法，属于图片处理、人脸三维建模和识别技术领域。本发明专利技术的系统包括摄影场，摄影场为半环形，用于获取多视图人像的图片，通过摄影场标定技术建立具有真实尺度的坐标系，并采集一正两侧、人脸关键特征和人脸三维模型的信息；摄影场包括镜头支架和背板，镜头支架用于从各个不同角度采集人脸部和上身的照片，背板用于保持背景单一和位置标定；方法包括S1：摄影场标定；S2：脸部关键点提取和量测；S3：一正两侧图片生成；S4：人脸三维建模。本发明专利技术的采集数据的兼容性高，可采集人脸三维模型、人证比对小图、人脸关键点特征值、一正两侧图片和身高等信息。

【技术实现步骤摘要】
一种三维人脸体征采集系统及方法
本专利技术涉及图片处理、人脸三维建模和识别
，具体涉及为一种三维人脸体征采集系统及方法。
技术介绍
随着刑事侦查、安防等领域信息化建设的深入，个体识别技术越来越丰富，在实战中进一步使用新技术的需求也越来越迫切。不可否认的是，信息采集的数据是识别比对的基础。从现有人员信息标准化采集系统建设的内容来看，人像采集的信息一般包含被采集者的身份、人像照片、身高、一正两侧等数据。传统采集设备的流程和信息的应用还有一定局限，一般都存在如下的几个问题:(1)相比于三维人像模型，二维图像只是三维模型特定角度下的二维投影，存在与真实纹理和几何信息的缺失，在实际案件侦破中进行信息比对和人脸识别会受到影响；(2)不能自动采集到真实的人脸关键特征尺度信息。例如，眼宽距离、鼻子高度、嘴巴宽度等；(3)自动化程度低，采集的速度较慢，人像照片、身高、一正两侧信息不能一体化兼容采集，需要被采集人多次配合；(4)采集流程繁琐，对采集人的操作技术要求较高，导致单次采集成功率较低。基于传统的三维人像采集方案通常采用手持式三维扫描设备，对人脸区域进行一段时间的扫描，扫描过程中需要被采集人保持静止状态，约束条件较为严格，操作较为复杂，效率低下，而且采集出来的三维模型不能真实地反应出实际的几何尺度信息。
技术实现思路
本专利技术的目的是提供一种能够实现对被采集人的三维人脸模型、一正两侧图片、身高、人脸关键特征量和人像图片采集的三维人脸体征采集系统及方法。为实现上述目的，本专利技术的技术方案如下：一种三维人脸体征采集系统，包括摄影场，所述摄影场为半环形，用于获取多视图人像的图片，通过摄影场标定技术建立具有真实尺度的坐标系，并采集一正两侧、人脸关键特征和人脸三维模型的信息；所述摄影场包括镜头支架和背板，所述镜头支架用于从各个不同角度采集人脸部和上身的照片，所述背板用于保持背景单一和位置标定；所述镜头支架包括水平设置的下镜头支架和上镜头支架，所述镜头支架上安装有摄像头，所述下镜头支架距离地板高155cm，所述上镜头支架距离地板高175cm，所述下镜头支架和上镜头支架均包括杆长为50cm的左支杆、中支杆和右支杆，所述左支杆与中支杆的夹角和右支杆与中支杆的夹角均为120°，所述左支杆、中支杆和右支杆上均水平均匀设置有5个摄像头，每根杆上相邻摄像头之间的距离为10cm，所述左支杆和右支杆上靠近中支杆两端的摄像头分别距离中支杆左右两端5cm，所述下镜头支架和上镜头支架的中支杆上的中间摄像头的连线上还设置有一个竖支杆，所述竖支杆上垂直距离下镜头支架和上镜头支架的中支杆上的中间摄像头10cm处分别设置有1个摄像头，在水平距离竖支杆上中间摄像头40cm处设置为摄影场空间中心点，摄像头方向均朝向摄影场空间中心点，所述摄像头提供HTTPAPI接口，且摄像头通过网线和路由器与采集主机连接，所述采集主机用于发出拍照和下载命令，获取被采集人各个不角度的面部上身的照片进行处理；在水平距离竖直杆上中间摄像头35cm处竖直对应的地板上设置田字框，所述田字框的尺寸为30cm×30cm，用于被采集人站立拍照；所述背板垂直设置在水平距离竖支杆上中间摄像头150cm的地板上，所述背板为纯白色，背板高200cm，宽120cm，背板上水平设置有上下两排框标，每排框标设置有2个，2个框标分别距离背板左右边缘3cm，下排框标距离地板174cm，上排框标距离下排框标5cm，且距离背板上边缘3cm，所述框标尺寸为8cm×8cm。一种三维人脸体征采集方法，应用于一种三维人脸体征采集系统，包括以下步骤：S1：摄影场标定，获取摄影场中所有相机的内、外方位参数；S2：脸部关键点提取和量测，获取面部体征数据的三维坐标值；S3：一正两侧图片生成；S4：人脸三维建模。进一步的是，所述步骤S1中摄影场标定的具体步骤为：建立绝对空间坐标系，通过在摄影场中布设的已知空间位置的框标，然后通过在图像中自动识别框标的算法，以及标定算法，求解真实空间尺度中摄影场中所有相机的内、外方位参数，为人脸模型整体三维重建和面部特征量测提供影像的定位参数。进一步的是，所述图像中自动识别框标的算法是基于yolo3的深度学习识别算法，对数百张带有框标的照片进行标注，训练算法模型，在识别出框标的初始位置后，再与模板框标进行图像的相关系数的精确匹配，获取框标中心点的像素坐标与空间真实三维坐标的联系；所述标定算法是用于确定框标中心在坐标系的绝对位置以及在所有镜头上能看到该框标的像平面坐标。进一步的是，所述步骤S2中脸部关键点提取与量测具体步骤为：S201：基于图片的脸部关键点检测，通过基于深度卷积网络的模型提取人脸面部特征；S202：前方交会解算，对于已知定向参数的影像和这些影像之间的同名点像点坐标，利用光线交会原理计算出这些像点对应的物方点的三维空间坐标，具体计算过程如下：(x'P2-P0)X＝0(y'P2-P1)X＝0其中，u、v为像点的像素坐标，K为相机参数矩阵，R、T为影像的平移旋转参数，P0，P1，P2为矩阵P的第1，2，3行。进一步的是，步骤S3中一正两侧图片生成的具体步骤为：S301：图片人像分割，采用基于深度学习的语义分割，通过采集并标注不同人物在摄影场拍摄的照片，然后进行训练、学习，得到相关的参数用于语义分割程序集成，最后采用全卷积网络进行人形分割；S302：计算身高，根据步骤S2计算出的脸部关键点的坐标，得出脸部关键点距离地板的高度和高度差，并计算得到与像平面坐标y的差值比，再通过步骤S301中分割的图像，得到图像中被采集人头顶的像素高度，根据比例算出被采集人的实际身高；S303:合成照片，根据被采集人的身高，选取对应竖支架上的拍摄的一张照片，对图片按照标准进行裁切，按照比例上下画标尺和写名字。进一步的是，所述步骤S4中人脸三维建模的具体步骤为：S401:基于特征点的稀疏重建，用于自动求解用户输入图像的摄影位姿和相机参数；S402:影像密集匹配，用于依据图像的摄影位姿和相机参数完成自动分区和多视密集匹配，生成三维场景的密集空间点云；S403:空间点云构网，用于对空间点云进行多视融合并构建三角网，生成三维场景表面模型的初值；S404:三维模型的整体优化，根据图像一致性和可视性约束对表面模型进行精细调节，并根据原始影像做纹理映射，最终生成满足用户要求的三维模型。进一步的是，所述步骤S401具体包括二维影像特征跟踪、三维位姿估计、光束法平差与优化和三维恢复，所述二维影像特征跟踪包括影像可视性分析、特征提取和特征匹配，所述三维位姿估计包括投影矩阵估计和基础矩阵估计。进一步的是，所述步骤S402的具体步骤为：根据图像的位姿选择每一张图像的近邻图像集，然后根据初始获取的三维人像轮廓，通过影像成像模型重投影到原始影像上形成初本文档来自技高网...

【技术保护点】
1.一种三维人脸体征采集系统，包括摄影场，其特征在于，所述摄影场为半环形，用于获取多视图人像的图片，通过摄影场标定技术建立具有真实尺度的坐标系，并采集一正两侧、人脸关键特征和人脸三维模型的信息；所述摄影场包括镜头支架和背板，所述镜头支架用于从各个不同角度采集人脸部和上身的照片，所述背板用于保持背景单一和位置标定；/n所述镜头支架包括水平设置的下镜头支架和上镜头支架，所述镜头支架上安装有摄像头，所述下镜头支架距离地板高155cm，所述上镜头支架距离地板高175cm，所述下镜头支架和上镜头支架均包括杆长为50cm的左支杆、中支杆和右支杆，所述左支杆与中支杆的夹角和右支杆与中支杆的夹角均为120°，所述左支杆、中支杆和右支杆上均水平均匀设置有5个摄像头，每根杆上相邻摄像头之间的距离为10cm，所述左支杆和右支杆上靠近中支杆两端的摄像头分别距离中支杆左右两端5cm，所述下镜头支架和上镜头支架的中支杆上的中间摄像头的连线上还设置有一个竖支杆，所述竖支杆上垂直距离下镜头支架和上镜头支架的中支杆上的中间摄像头10cm处分别设置有1个摄像头，在水平距离竖支杆上中间摄像头40cm处设置为摄影场空间中心点，摄像头方向均朝向摄影场空间中心点，所述摄像头提供HTTP API接口，且摄像头通过网线和路由器与采集主机连接，所述采集主机用于发出拍照和下载命令，获取被采集人各个不角度的面部上身的照片进行处理；/n在水平距离竖直杆上中间摄像头35cm处竖直对应的地板上设置田字框，所述田字框的尺寸为30cm×30cm，用于被采集人站立拍照；/n所述背板垂直设置在水平距离竖支杆上中间摄像头150cm的地板上，所述背板为纯白色，背板高200cm，宽120cm，背板上水平设置有上下两排框标，每排框标设置有2个，2个框标分别距离背板左右边缘3cm，下排框标距离地板174cm，上排框标距离下排框标5cm，且距离背板上边缘3cm，所述框标尺寸为8cm×8cm。/n...

【技术特征摘要】
1.一种三维人脸体征采集系统，包括摄影场，其特征在于，所述摄影场为半环形，用于获取多视图人像的图片，通过摄影场标定技术建立具有真实尺度的坐标系，并采集一正两侧、人脸关键特征和人脸三维模型的信息；所述摄影场包括镜头支架和背板，所述镜头支架用于从各个不同角度采集人脸部和上身的照片，所述背板用于保持背景单一和位置标定；
所述镜头支架包括水平设置的下镜头支架和上镜头支架，所述镜头支架上安装有摄像头，所述下镜头支架距离地板高155cm，所述上镜头支架距离地板高175cm，所述下镜头支架和上镜头支架均包括杆长为50cm的左支杆、中支杆和右支杆，所述左支杆与中支杆的夹角和右支杆与中支杆的夹角均为120°，所述左支杆、中支杆和右支杆上均水平均匀设置有5个摄像头，每根杆上相邻摄像头之间的距离为10cm，所述左支杆和右支杆上靠近中支杆两端的摄像头分别距离中支杆左右两端5cm，所述下镜头支架和上镜头支架的中支杆上的中间摄像头的连线上还设置有一个竖支杆，所述竖支杆上垂直距离下镜头支架和上镜头支架的中支杆上的中间摄像头10cm处分别设置有1个摄像头，在水平距离竖支杆上中间摄像头40cm处设置为摄影场空间中心点，摄像头方向均朝向摄影场空间中心点，所述摄像头提供HTTPAPI接口，且摄像头通过网线和路由器与采集主机连接，所述采集主机用于发出拍照和下载命令，获取被采集人各个不角度的面部上身的照片进行处理；
在水平距离竖直杆上中间摄像头35cm处竖直对应的地板上设置田字框，所述田字框的尺寸为30cm×30cm，用于被采集人站立拍照；
所述背板垂直设置在水平距离竖支杆上中间摄像头150cm的地板上，所述背板为纯白色，背板高200cm，宽120cm，背板上水平设置有上下两排框标，每排框标设置有2个，2个框标分别距离背板左右边缘3cm，下排框标距离地板174cm，上排框标距离下排框标5cm，且距离背板上边缘3cm，所述框标尺寸为8cm×8cm。


2.一种三维人脸体征采集方法，应用于权利要求1所述的一种三维人脸体征采集系统，其特征在于，包括以下步骤：
S1：摄影场标定，获取摄影场中所有相机的内、外方位参数；
S2：脸部关键点提取和量测，获取面部体征数据的三维坐标值；
S3：一正两侧图片生成；
S4：人脸三维建模。


3.根据权利要求2所述的一种三维人脸体征采集方法，其特征在于，所述步骤S1中摄影场标定的具体步骤为：建立绝对空间坐标系，通过在摄影场中布设的已知空间位置的框标，然后通过在图像中自动识别框标的算法，以及标定算法，求解真实空间尺度中摄影场中所有相机的内、外方位参数，为人脸模型整体三维重建和面部特征量测提供影像的定位参数。


4.根据权利要求3所述的一种三维人脸体征采集方法，其特征在于，所述图像中自动识别框标的算法是基于yolo3的深度学习识别算法，对数百张带有框标的照片进行标注，训练算法模型，在识别出框标的初始位置后，再与模板框标进行图像的相关系数的精确匹配，获取框标中心点的像素坐标与空间真实三维坐标的联系；
所述标定算法是用于确定框标中心在坐标系的绝对位置以及在所有镜头上能看到该框标的像平面坐标。


5.根据权利要求2所述的一种三维人脸体征采集方法，其特征在于，所述步骤S2中脸部关键点提取与量测具体步骤为：...

【专利技术属性】
技术研发人员：刘凯，李学川，聂丹，王强，毛再生，杨刚，黄海鹏，
申请(专利权)人：武汉天远视科技有限责任公司，
类型：发明
国别省市：湖北;42