基于摄像头设备的三维人脸重建方法及相关设备技术

本申请涉及一种基于摄像头设备的三维人脸重建方法及相关设备，涉及计算机技术领域，该方法包括：通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；依据每一视角方向下的采集图像数据进行人脸点云处理，得到人脸点云数据集；依据人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；基于预设的人脸基点云数据，对姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；依据目人脸点云数据进行曲面重建，得到三维人脸模型。本申请利用消费级的摄像头设备完成三维人脸重建，在满足人三维人脸模型所需的模型精度的同时降低成本。的模型精度的同时降低成本。的模型精度的同时降低成本。

【技术实现步骤摘要】
基于摄像头设备的三维人脸重建方法及相关设备


[0001]本申请涉及计算机
，尤其涉及一种基于摄像头设备的三维人脸重建方法及相关设备。

技术介绍

[0002]人脸信息是识别他人身份的重要信息，三维信息在机器视觉的多个领域和方向有着重要的应用。因此，将常见的平面人脸图像立体化就有着显著的意义。
[0003]目前，对真人人脸进行三维重建的方法主要有两种方式：第一种方式是搭建单目相机阵列，利用视差原理来实现三维人脸模型重建，但是单目相机阵列的价格昂贵，且需要同步控制单目相机阵列中的所有相机在同一时刻进行拍摄，并且为相机标定次数和提升标定精度，需要固定的拍摄场所，即通过搭建单目相机阵列来实现三维人脸模型重建的种种要求比较严苛，增加了三维人脸模型重建的成本；第二种方式是借助激光扫描仪设备，利用激光测距原理来实现三维人脸模型重建，但是这种方式所采用的激光扫描仪价格同样不菲，增加了三维人脸模型重建的设备投入成本。

技术实现思路

[0004]有鉴于此，本申请提供了一种基于摄像头设备的三维人脸重建方法、装置、设备及介质，以利用消费级的摄像头设备完成三维人脸重建，在满足人三维人脸模型所需的模型精度的同时降低成本。
[0005]第一方面，本申请实施例提供了一种基于摄像头设备的三维人脸重建方法，包括：通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。
[0006]可选的，所述通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据，包括：以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据；或者，控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。
[0007]可选的，所述依据每一视角方向下的图像采集数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集，包括：若所述图像采集数据不是图像对数据，则将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；针对
所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。
[0008]可选的，所述根据所述图像对数据中的所述彩色图像信息和所述深度图像信息，确定与所述深度图像信息对齐的目标彩色图像，包括：针对所述深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。
[0009]可选的，基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸云数据集，包括：确定所述目标彩色图像中的人脸面部区域信息；根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。
[0010]可选的，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；
[0011]其中，所述第一齐次转换公式包括：
[0012][0013][0014]所述K
d
包括摄像头设备中深度感光模块的内参矩阵，所述T
w2d
包括所述深度感光模块的外参矩阵，由旋转矩阵R
w2d
和偏移向量t
w2d
组成，所述深度像素点的像素坐标包括(所述u
d
，所述v
d
)，所述z
c
包括所述景深值，所述三维坐标包括(所述x
w
，所述y
w
，所述z
w
)。
[0015]可选的，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；
[0016]其中，所述第二齐次转换公式包括：
[0017][0018][0019]所述K
c
包括摄像头设备中彩色感光模块的内参矩阵，所述T
w2c
包括所述彩色感光
模块的外参矩阵，由旋转矩阵R
w2c
和偏移向量t
w2c
组成，所述三维坐标包括(所述x
w
，所述y
w
，所述z
w
)，所述深度像素点的目标像素坐标包括(所述u
c
，所述v
c
)。
[0020]可选的，所述将所述目标深度图像转换为目标对象的人脸点云数据，包括：确定所述目标深度图像中各景深值非零的像素点，针对任一所述景深值非零的像素点，获取所述景深值非零的像素点的像素坐标及景深值；将所述景深值非零的像素点的像素坐标及景深值，通过第一齐次转换公式转换成世界坐标系下的三维坐标；确定所述景深值非零的像素点对应的世界坐标系下的三维坐标为所述景深值非零的像素点对应的三维点；由各所述景深值非零的像素点各自对应的所述三维点，组成所述目标对象的人脸点云数据。
[0021]可选的，所述依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据，包括：确定所述人脸点云数据集中各个人脸点云数据的质心；根据所述各个人脸点云数据的质心进行统一处理，得到所述目标对象对应的中间人脸点云数据集；从所述中间人脸点云数据集中选取姿态参考点云数据；利用所述姿态参考点云数据，对所述中间人脸点云数据集中的非姿态参考点云数据进行配准，得到人脸转换点云数据。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于摄像头设备的三维人脸重建方法，其特征在于，包括：通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据；依据每一视角方向下的采集图像数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集；依据所述人脸点云数据集中的人脸点云数据进行配准处理，得到姿态参考点云数据和人脸转换点云数据；基于预设的人脸基点云数据，对所述姿态参考点云数据和人脸转换点云数据进行融合处理，得到目标人脸点云数据；依据所述目人脸点云数据进行曲面重建，得到所述目标对象对应的三维人脸模型。2.根据权利要求1所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述通过摄像头设备对目标对象进行拍摄，得到至少两个视角方向下的图像采集数据，包括：以所述目标对象的正脸为中轴，控制摄像头设备在预设角度范围内进行旋转，且所述摄像头设备与所述目标对象位于同一水平面；当检测到所述摄像头设备旋转至任一预设的视角方向时，控制所述摄像头设备对所述目标对象的目标部分进行拍摄，得到当前的视角方向上所述目标对象的图像采集数据；或者，控制位于N个视角方向上的摄像头设备对所述目标对象的目标部分进行拍摄，得到N个视角方向上所述目标对象的图像采集数据，N大于或等于2。3.根据权利要求1所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述依据每一视角方向下的图像采集数据进行人脸点云处理，得到所述目标对象对应的人脸点云数据集，包括：若所述图像采集数据不是图像对数据，则将所述图像采集数据转换为图像对数据，所述图像对数据包含彩色图像信息和深度图像信息；针对所述每一视角方向下的图像对数据，根据所述图像对数据中的彩色图像信息和深度图像信息，确定与所述深度图像信息对齐的目标彩色图像；基于所述目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸点云数据集。4.根据权利要求3所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述根据所述图像对数据中的所述彩色图像信息和所述深度图像信息，确定与所述深度图像信息对齐的目标彩色图像，包括：针对所述深度图像信息的任一深度像素点，将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标；将所述三维坐标转换为所述深度像素点的目标像素坐标，所述深度像素点的目标像素坐标对应于所述图像对数据中所述彩色图像信息的彩色像素点；从所述彩色图像信息的彩色像素点中，确定与所述深度像素点的目标像素坐标对应的目标彩色像素点；获取所述目标彩色像素点对应的颜色值，将所述颜色值赋予所述深度像素点；利用所述深度图像信息的各所述深度像素点对应的所述颜色值，重新组成与所述深度图像信息对齐的目标彩色图像。5.根据权利要求3所述的基于摄像头设备的三维人脸重建方法，其特征在于，基于所述
目标彩色图像中的人脸面部区域信息进行点云处理，得到所述人脸云数据集，包括：确定所述目标彩色图像中的人脸面部区域信息；根据所述人脸面部区域信息，确定与所述目标彩色图像对应的人脸面部掩码矩阵；利用所述人脸面部掩码矩阵，对所述深度图像信息进行处理，得到目标深度图像；将所述目标深度图像转换为目标对象的人脸点云数据，并基于所述目标对象的人脸点云数据形成所述人脸云数据集。6.根据权利要求4所述的基于摄像头设备的三维人脸重建方法，其特征在于，所述将所述深度像素点的像素坐标及景深值转换为世界坐标系下的三维坐标，包括：将所述深度像素点的像素坐标及景深值输入至第一齐次转换公式，获取所述第一齐次转换公式输出的世界坐标系下的三维坐标；其中，所述第一齐次转换公式包括：其中，所述第一齐次转换公式包括：所述K
d
包括摄像头设备中深度感光模块的内参矩阵，所述T
w2d
包括所述深度感光模块的外参矩阵，由旋转矩阵R
w2d
和偏移向量t
w2d
组成，所述深度像素点的像素坐标包括(所述u
d
，所述v
d
)，所述z
c
包括所述景深值，所述三维坐标包括(所述x
w
，所述y
w
，所述z
w
)。7.根据权利要求4所述的方法，其特征在于，所述将所述三维坐标转换为所述深度像素点的目标像素坐标，包括：将所述三维坐标输入至第二齐次转换公式，获取所述第二齐次转换公式输出的所述深度像素点的目标像素坐标；其中，所述第二齐次转换公式包括：其中，所述第二齐次转换公式包括：所述K
c
包括摄像头设备中彩色感光模块的内参矩阵，所述T
w2c
包括所述彩色感光模块的外参矩阵，由旋转矩阵R
w2c
和偏移向量t
w2c
组成，所述三维坐标包括(所述x
w
，所述y
w
，所述z
w
)，所述深度像素点的目标像素坐...

【专利技术属性】
技术研发人员：刘炫鹏，王鑫宇，刘致远，刘云峰，
申请(专利权)人：深圳追一科技有限公司，
类型：发明
国别省市：