3D重建以及人脸姿态归一化方法、装置、存储介质及设备制造方法及图纸

本发明专利技术公开了一种3D重建以及人脸姿态归一化方法、装置、存储介质及设备，属于计算机视觉领域。所述的3D重建方法包括：获取2D人脸图像；将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。本发明专利技术的3D重建准确性、鲁棒性好，重建分辨率高、速度快。重建后的3D人脸尤其对大姿态人脸归一化效果好，识别正确率高。

【技术实现步骤摘要】
3D重建以及人脸姿态归一化方法、装置、存储介质及设备
本专利技术涉及计算机视觉领域，特别是指一种3D重建方法、装置、计算机可读存储介质及设备，以及基于该3D重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。
技术介绍
在人脸图像识别技术中，人脸的姿态是影响人脸识别率的重要因素，现有技术的人脸图像识别主要是对正面人脸图像或者小姿态(角度)人脸图像的识别，对于大姿态人脸图像的识别结果很不理想，为了提高识别准确率，需要对人脸图像(尤其是大姿态人脸图像)进行姿态归一化。前述的人脸图像、小姿态人脸图像和大姿态人脸图像都是2D人脸图像。基于3D重建的人脸姿态归一化方法是指将前述的2D人脸图像进行3D重建，得到3D人脸，对3D人脸进行姿态矫正(归一化)后重新投影成2D人脸图像以完成人脸姿态归一化的方法。基于3D重建的人脸姿态归一化方法的核心是对待归一化的2D人脸图像进行3D重建，根据重建方式的不同，基于3D重建的人脸姿态归一化方法可大致分为基于3DMM参数的估计方法和基于体素的估计方法。(1)基于3DMM参数的估计方法3D形变模型(3DMorphableModel，3DMM)，是一种基于统计学原理构建3D人脸模型的方法。该方法利用一个人脸数据库构造一个特征(准确地说是特征人脸：平均人脸+特征向量组*对应系数，注：此系数非特征值，而是需要最终逆向求解的)人脸形变模型，基于该人脸数据库进行PCA特征降维得到可表征该数据库的极大无关向量组(基)；在给出新的待归一化人脸图像后，将待归一化人脸图像与特征人脸形变模型进行匹配结合，修改特征人脸形变模型相应参数的系数，通过如下公式将模型进行形变：特征人脸形变模型＝平均人脸+特征向量组*系数向量；通过不断将特征人脸形变模型与输入人脸图像间进行匹配、拟合进而修改系数向量，直到特征人脸形变模型表征的特征人脸与人脸图像的差异减到最小，完成人脸3D建模。再通过3D人脸模型旋转方法将3D人脸进行归一化并进行二维投影，完成2D人脸图像的姿态归一化。该方法依据当前的3DMM公开数据库进行，而当前可用的3DMM数据库数据量小，严重限制了3DMM模型可表征的人脸范围；此外，这种方法严重依赖人脸关键点检测器，并且关键点检测误差会在重建的过程中被放大，严重影响后续的人脸归一化效果。最后，3DMM的方法为model-based的，生成的3D几何是在约束的几何空间下通过估计出的参数进行3Dmesh处理得到的，这导致生成的3D几何空间受限。(2)基于体素的估计方法体素是体积元素(VolumePixel)的简称，是数字数据在三维空间分割上的最小单位。该方法使用CNN将2D人脸图像与对应3D体素模型间建立密集的对应关系，通过端到端的训练和推理直接将二维人脸与3D纹理进行对应。绕过三维形变模型的构造(训练期间)和拟合(推理期间)以重建3D人脸几何体，将估计出的体素表示的3D人脸几何体进行点云模型转化，最后将转换后的3D人脸进行投影，完成2D人脸图像姿态的归一化。基于体素的估计方法虽然通过CNN来端到端学习二维人脸图像和3D人脸模型间的映射关系，避免了3DMM方法中重建和归一化性能受数据表征范围的限制，然而，这种表示丢弃了3D点的语义信息，因此网络需要回归整个体积(体素堆积)以恢复仅仅是体积的一部分的3D外表形状。因此，这种表示限制了重建的分辨率，并且需要复杂的深层网络来对其进行回归，严重耗时。
技术实现思路
为解决上述技术问题，本专利技术提供一种3D重建方法、装置、计算机可读存储介质及设备，以及基于该3D重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。本专利技术的3D重建准确性、鲁棒性好，重建分辨率高、速度快。重建后的3D人脸尤其对大姿态人脸归一化效果好，识别正确率高。本专利技术提供技术方案如下：第一方面，本专利技术提供一种3D重建方法，所述方法包括：获取2D人脸图像；将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。进一步的，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。进一步的，所述轻量卷积神经网络在训练时的损失函数Loss为：P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，为在groundthruthUV位置图中(x,y)坐标处的像素点的RGB像素值；W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。进一步的，所述根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸，包括：从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。第二方面，本专利技术提供与第一方面所述的3D重建方法对应的一种3D重建装置，所述装置包括：获取模块，用于获取2D人脸图像；UV位置图生成模块，用于将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；3D人脸转换模块，用于根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。进一步的，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。进一步的，所述轻量卷积神经网络在训练时的损失函数Loss为：P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，为在groundthruthUV位置图中(x,y)坐标处的像素点的RGB像素值；W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。进一步的，所述3D人脸转换模块包括：提取单元，用于从所述UV位置图中提取欲重建本文档来自技高网...

【技术保护点】
1.一种3D重建方法，其特征在于，所述方法包括：/n获取2D人脸图像；/n将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；/n根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。/n

【技术特征摘要】
1.一种3D重建方法，其特征在于，所述方法包括：
获取2D人脸图像；
将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。


2.根据权利要求1所述的3D重建方法，其特征在于，所述轻量卷积神经网络包括编码模块和解码模块，所述编码模块包括1个卷积层和10个残差块，所述解码模块包括17个转置卷积层。


3.根据权利要求2所述的3D重建方法，其特征在于，所述轻量卷积神经网络在训练时的损失函数Loss为：



P(x,y)为在预测的UV位置图中(x,y)坐标处的像素点的RGB像素值，为在groundthruthUV位置图中(x,y)坐标处的像素点的RGB像素值；
W(x，y)为面部权重mask，面部权重mask表示2D人脸图像中根据判别性大小分成的各个子区域的权重比例，判别性越大的子区域的权重比例越大。


4.根据权利要求1-3任一所述的3D重建方法，其特征在于，所述根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸，包括：
从所述UV位置图中提取欲重建的3D人脸各个三维点的二维平面坐标；
将提取的各个三维点的二维平面坐标映射到所述2D人脸图像的像素坐标系中的相应位置，使用2D人脸图像的像素坐标系中相应位置的纹理信息作为欲重建的3D人脸各个三维点的纹理信息，得到3D人脸；
其中，若映射后的所述2D人脸图像的像素坐标系中的相应位置是非整数坐标，则对所述2D人脸图像的纹理信息进行插值运算，得到该非整数坐标处的纹理信息。


5.一种3D重建装置，其特征在于，所述装置包括：
获取模块，用于获取2D人脸图像；
UV位置图生成模块，用于将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；
3D人脸转换模块，用于根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。


6.根据权利要求5所述的3D重建装置，其特征...

【专利技术属性】
技术研发人员：周军，刘利朋，江武明，王洋，
申请(专利权)人：北京眼神智能科技有限公司，北京眼神科技有限公司，
类型：发明
国别省市：北京;11