一种基于神经网络的真实感三维人脸纹理重建方法技术

本发明专利技术涉及一种基于神经网络的真实感三维人脸纹理重建方法。首先，对于收集的人脸图像通过人脸检测网络定位人脸区域，并通过拓展缩放操作得到256

【技术实现步骤摘要】
一种基于神经网络的真实感三维人脸纹理重建方法


[0001]本专利技术涉及人脸三维重建领域，特别涉及一种基于神经网络的真实感三维人脸纹理重建方法。

技术介绍

[0002]三维人脸重建作为人脸识别、人脸动画以及医疗美容等领域的基础技术，一直以来是计算机图形与图像领域中的热点研究方向。随着市场需求的变化，高精度和真实感的三维人脸应用范围越来越大。
[0003]早期通过扫描仪等仪器扫描真实人脸获取点云数据，需进一步对顶点填充、移除、对齐等实现人脸重建，不仅流程复杂、计算难度大，而且仪器昂贵且无法移动使用，不具有普适性和移植性。因此，基于易获取的人脸图像重建三维人脸成为研究热点。其中，根据单一人脸图像重建会丢失部分信息，基于人脸图像集合重建需要解决多信息融合的问题。人脸三维重建可以分为人脸几何和人脸纹理重建两部分内容，对于人脸几何重建已有大量的方法可以重建出高精度的结果，但人脸纹理重建受到照片质量、环境光和人脸姿态等问题，是一个亟待解决的问题。
[0004]三维人脸纹理重建可以分为基于纹理统计模型重建和基于人脸图像直接重建两种。其中，基于纹理统计模型重建依赖于3DMM等模型，通过迭代或者基于学习的方式预测输入人脸图像对应的纹理参数，计算相对应的人脸纹理。该方法得到的纹理结果过于平滑，缺少人脸身份特征且无法突破人脸纹理模型的空间限制。基于人脸图像直接重建的方法依赖于图到图的网络模型，输入图像质量和训练模型使用的数据集质量都对结果有较大影响。同时自遮挡和外部遮挡会造成人脸部分信息丢失和不平衡，导致重建结果不理想。<br/>
技术实现思路

[0005]本专利技术针对以上问题，提出了一种基于神经网络的真实感三维人脸纹理重建方法，构建左脸、正脸和右脸的人脸图像集合，并使用改进的损失函数实现自监督学习，充分利用神经网络的能力填充残缺的人脸纹理得到完整的人脸纹理结果，并通过简单的去光照模块得到反照率图，进一步提升重建的效果。
[0006]为达到上述目的，本专利技术采用如下技术方案：
[0007]一种基于神经网络的真实感三维人脸纹理重建方法，操作步骤如下：
[0008]步骤1：先采用人脸姿态估计网络预测人脸姿态，并根据人脸姿态进行分组。再使用人脸检测网络裁剪人脸区域，调整图像分辨率，构成网络训练数据集；
[0009]步骤2：首先将人脸图像输入人脸特征回归网络和人脸几何偏移预测网络，分别输出粗糙的三维人脸几何和人脸几何UV偏移图，将两者相加计算可得精准的三维人脸几何；然后基于UV渲染器获得残缺的人脸UV纹理，最终通过人脸纹理填充网络恢复完整的人脸UV纹理；
[0010]步骤3：在基于步骤1所得的三维几何人脸和步骤2输出的完整人脸纹理，通过图像
渲染器输出渲染图，与输入的人脸图像计算差异作为损失函数，实现无监督学习，并进行结果评估。
[0011]进一步地，所述步骤1的具体操作步骤如下：
[0012]1‑
1：对于未处理的人脸图像先根据身份信息进行分组，再通过人脸姿态估计网络预测人脸的姿态，根据人脸角度分成左脸组、正脸组和右脸组；
[0013]1‑
2：将步骤1
‑
1的分组图像通过人脸检测网络获取目标人脸区域，并往外扩展10％大小保证图像中包含整张人脸，最终调整人脸区域图像分辨率为256
×
256像素构建数据集。
[0014]进一步地，所述步骤2的具体操作步骤如下：
[0015]2‑
1：将分组后的数据集输入人脸特征回归网络预测人脸特征系数，随后输入FLAME人脸模型计算得到具有输入图像人脸特征的粗糙三维人脸几何；
[0016]2‑
2：将分组后的数据集输入人脸几何偏移预测网络，获得人脸几何UV偏移图，并与三维人脸几何相加可得精准的三维人脸几何；
[0017]2‑
3：基于输入的人脸图像和步骤2
‑
2输出的三维人脸几何，通过UV渲染器(包含图像纹理采样和UV空间渲染两个阶段)输出残缺的人脸纹理图；
[0018]2‑
4：将步骤2
‑
2输出的人脸纹理图输入人脸纹理填充网络获得完整的人脸UV纹理图，再通过简单光照移除模块获得人脸UV反照率图。
[0019]进一步地，所述步骤3的具体操作步骤如下：
[0020]3‑
1：根据完整的人脸UV纹理图和相应的UV纹理采样关系，计算三维人脸几何每个顶点的颜色信息；
[0021]3‑
2：根据图像平面渲染和预估的人脸姿态信息，将带有颜色信息的人脸顶点投影到图像平面得到渲染图；
[0022]3‑
3：对于得到的渲染图和人脸区域图像计算人脸图像差异，对人脸UV纹理图计算UV损失，从而实现无监督学习。同时计算L
1 Distance、图像峰值信噪比(PSNR)、图像结构相似性(SSIM)和图像余弦距离(Cosine Distance)作为渲染图的重建指标。
[0023]本专利技术与现有技术相比较，具有如下显著的特点与优势：
[0024]1、本专利技术提出一种使用多视角人脸图像重建三维人脸纹理的方法，实现人脸可见区域的纹理融合，生产具有真实感的三维人脸纹理；
[0025]2、本专利技术提出了一种改进的损失函数，可基于大量人脸图像实现无监督学习，提高了三维人脸纹理重建的准确度；
[0026]3、本专利技术提出了简单光照移除模块，从而可以获得人脸反照率图，进一步提高重建的三维人脸精度，同时可以实现人脸重光照等应用。
附图说明
[0027]图1为本专利技术的人脸图像数据处理流程图。
[0028]图2为本专利技术的网络模型框架图。
[0029]图3为本专利技术的人脸纹理填充网络和简单光照移除模块图。
[0030]图4为本专利技术所得结果与多个先进网络模型所得结果的对比图。
[0031]图5为本专利技术的人脸重光照示意图。
具体实施方式
[0032]下面结合附图，对本专利技术的具体实施例做进一步的说明。
[0033]实施例一：
[0034]参见图1和图2，一种基于神经网络的真实感三维人脸纹理重建方法，操作步骤如下：
[0035]步骤1：先采用人脸姿态估计网络预测人脸姿态，并根据人脸姿态进行分组。再使用人脸检测网络裁剪人脸区域，调整图像分辨率，构成网络训练数据集；
[0036]步骤2：首先将人脸图像输入人脸特征回归网络和人脸几何偏移预测网络，分别输出粗糙的三维人脸几何和人脸几何UV偏移图，将两者相加计算可得精准的三维人脸几何；然后基于UV渲染器获得残缺的人脸UV纹理，最终通过人脸纹理填充网络恢复完整的人脸UV纹理；
[0037]步骤3：在基于步骤1所得的三维几何人脸和步骤2输出的完整人脸纹理，通过图像渲染器输出渲染图，与输入的人脸图像计算差异作为损失函数，实现无监督学习，并进行结果评估。
[0038]本实施例方法可以基于单张人脸图像完成人脸三维重建，通过人脸UV偏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的真实感三维人脸纹理重建方法，其特征在于，操作步骤如下：步骤1：先采用人脸姿态估计网络预测人脸姿态，并根据人脸姿态进行分组；再使用人脸检测网络裁剪人脸区域，调整图像分辨率，构成网络训练数据集；步骤2：首先将人脸图像输入人脸特征回归网络和人脸几何偏移预测网络，分别输出粗糙的三维人脸几何和人脸几何UV偏移图，将两者相加计算得精准的三维人脸几何；然后基于UV渲染器获得残缺的人脸UV纹理，最终通过人脸纹理填充网络恢复完整的人脸UV纹理；步骤3：在基于步骤1所得的三维几何人脸和步骤2输出的完整人脸纹理，通过图像渲染器输出渲染图，与输入的人脸图像计算差异作为损失函数，实现无监督学习，并进行结果评估。2.根据权利要求1所述的基于神经网络的真实感三维人脸纹理重建方法，其特征在于，所述步骤1的具体操作步骤如下：1
‑
1：对于未处理的人脸图像先根据身份信息进行分组，再通过人脸姿态估计网络预测人脸的姿态，根据人脸角度分成左脸组、正脸组和右脸组；1
‑
2：将步骤1
‑
1的分组图像通过人脸检测网络获取目标人脸区域，并往外扩展10％大小保证图像中包含整张人脸，最终调整人脸区域图像分辨率为256
×
256像素构建数据集。3.根据权利要求1所述的基于神经网络的真实感三维人脸纹理重建方法，其特征在于，所述步骤2的具体操作步骤如下：2
‑
1：将分组...

【专利技术属性】
技术研发人员：黄东晋，奚勇杰，石永生，刘雨霏，
申请(专利权)人：上海大学，
类型：发明
国别省市：