一种基于机器学习自动生成超写实3D面部模型的方法技术

本发明专利技术提供一种基于机器学习自动生成超写实3D面部模型的方法，包括以下步骤：S1、采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型；S2、采用深度学习神经网络生成UV图；S3、将UV图应用于3D人脸模型中，生成超写实的3D人脸模型；基于一张2D面部图片即可生成超写实3D面部模型，不需要其他的设备和步骤，极大的简化了生成步骤和成本。

A method of automatically generating super realistic 3D face model based on machine learning

【技术实现步骤摘要】
一种基于机器学习自动生成超写实3D面部模型的方法
本专利技术属于计算机视觉
，具体涉及一种基于机器学习自动生成超写实3D面部模型的方法。
技术介绍
随着计算机图形技术的发展，三维人脸建模及具有表情动作的三维人脸模型成为计算机图形学领域的一个研究热点。三维人脸建模及具有表情动作的三维人脸模型逐渐被推广应用至虚拟现实、影视制作、人脸识别、游戏娱乐等诸多领域，具有很强的应用价值。目前具有表情动作的三维人脸模型生成的方法为：由结构光三维成像设备获得的静态人脸三维模型(具体参照CN106164979A)，然后再利用动画制作软件(如美国Autodesk公司的Maya软件)手动给静态人脸模型绑定动作，使之成为具有表情动作的三维人脸。构建超写实的3D数字人面部模型主要是3D扫描，成本比较高，并且需要生成的人到场。为了解决上述问题，本申请提出一种基于机器学习自动生成超写实3D面部模型的方法。
技术实现思路
本专利技术的目的是提供一种基于机器学习自动生成超写实3D面部模型的方法，以解决现有的三维人脸建模往往成本较高且需要人物到现场进行扫描的问题。本专利技术提供了如下的技术方案：一种基于机器学习自动生成超写实3D面部模型的方法，包括以下步骤：S1、采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型；S2、采用深度学习神经网络生成UV图；S3、将UV图应用于3D人脸模型中，生成超写实的3D人脸模型。优选的，所述采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型，包括以下步骤：S101、构建3D人脸模型的线性表达式为：其中，表示平均脸部模型，表示人脸形状部分，表示人脸表情部分，表示人脸形状系数，表示人脸表情系数；S102、获取一张2D人脸图片，采用dlib库检测并获取2D人脸图片上的68个特征点，并记为特征点坐标(X2D)；在BFM模型中有对应的68个特征点，并记为特征点坐标（X3D）；S103、将平均脸部模型与2D人脸图片中的脸部进行拟合：其中，为三维模型投影到二位平面的点，s为缩放因子，=[[1,0,0],[0,1,0]]为正交投影矩阵，为旋转矩阵，为位移矩阵；S104、将S103中拟合方程转换为能量方程的系数：其中，是PCA系数，包括形状系数和表情系数；表示对应的主成分偏差；S105、对F进行求解，包括以下步骤：S111、将形状系数和表情系数初始化为0；S112、求出仿射参数；S113、将上一步得到的代入，求出；S114、将上两步得到的和代入，求出；S115、利用求得的和，重复S112-S114步骤进行迭代，直到达到最优。优选的，所述采用深度学习神经网络生成UV图，包括以下步骤：S201、准备数据集，数据集包括2D人脸对应的不完整的UV图和3D扫描得到对应完整的UV图；S202、搭建生成网络，生成网络使用沙漏网络结构，输入为2d人脸不完整的UV图，输出为2d人脸完整的UV图；S203、搭建判别网络，判别网络为一个二分类网络，输入为生成网络生成的2d人脸完整的UV图和2d人脸不完整的UV图叠加在一起的图或者数据集中完整的UV图和2d人脸不完整的UV图叠加在一起的图，判别网络判别输入的完整UV图是生成网络生成的还是数据集中的完整的UV图；S204、搭建训练网络，交替训练生成网络和判别网络，并保存生成网络的参数；S205、运用训练好的生成网络通过输入不完整的UV图生成完整的UV图。本专利技术的有益效果是：本专利技术一种基于机器学习自动生成超写实3D面部模型的方法，基于一张2D面部图片即可生成超写实3D面部模型，不需要其他的设备和步骤，极大的简化了生成步骤和成本。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1是本专利技术方法流程示意图；图2是2D人脸图片拟合成3D人脸模型方法流程示意图；图3是深度学习神经网络生成UV图方法流程示意图。具体实施方式如图1所示，基于机器学习自动生成超写实3D面部模型的方法，包括以下步骤：S1、采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型；S2、采用深度学习神经网络生成UV图；S3、将UV图应用于3D人脸模型中，生成超写实的3D人脸模型。如图2所示，采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型，包括以下步骤：S101、构建3D人脸模型的线性表达式为：其中，表示平均脸部模型，表示人脸形状部分，表示人脸表情部分，表示人脸形状系数，表示人脸表情系数；S102、获取一张2D人脸图片，采用dlib库检测并获取2D人脸图片上的68个特征点，并记为特征点坐标(X2D)；在BFM模型中有对应的68个特征点，并记为特征点坐标（X3D）；S103、将平均脸部模型与2D人脸图片中的脸部进行拟合：其中，为三维模型投影到二位平面的点，s为缩放因子，=[[1,0,0],[0,1,0]]为正交投影矩阵，为旋转矩阵，为位移矩阵；S104、将S103中拟合方程转换为能量方程的系数：其中，是PCA系数，包括形状系数和表情系数；表示对应的主成分偏差；S105、对F进行求解，包括以下步骤：S111、将形状系数和表情系数初始化为0；S112、求出仿射参数；S113、将上一步得到的代入，求出；S114、将上两步得到的和代入，求出；S115、利用求得的和，重复S112-S114步骤进行迭代，直到达到最优。如图3所示，采用深度学习神经网络生成UV图，包括以下步骤：S201、准备数据集，数据集包括2D人脸对应的不完整的UV图和3D扫描得到对应完整的UV图；S202、搭建生成网络，生成网络使用沙漏网络结构，输入为2d人脸不完整的UV图，输出为2d人脸完整的UV图；S203、搭建判别网络，判别网络为一个二分类网络，输入为生成网络生成的2d人脸完整的UV图和2d人脸不完整的UV图叠加在一起的图或者数据集中完整的UV图和2d人脸不完整的UV图叠加在一起的图，判别网络判别输入的完整UV图是生成网络生成的还是数据集中的完整的UV图；S204、搭建训练网络，交替训练生成网络和判别网络，并保存生成网络的参数；S205、运用训练好的生成网络通过输入不完整的UV图生成完整的UV图。以上所述仅为本专利技术的优选实施例而已，并不用于限制本专利技术，尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本专利技术的精神和原则之内，所作的本文档来自技高网...

【技术保护点】
1.一种基于机器学习自动生成超写实3D面部模型的方法，其特征在于，包括以下步骤：/nS1、采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型；/nS2、采用深度学习神经网络生成UV图；所述采用深度学习神经网络生成UV图，包括以下步骤：/nS201、准备数据集，数据集包括2D人脸对应的不完整的UV图和3D扫描得到对应完整的UV图；/nS202、搭建生成网络，生成网络使用沙漏网络结构，输入为2d人脸不完整的UV图，输出为2d人脸完整的UV图；/nS203、搭建判别网络，判别网络为一个二分类网络，输入为生成网络生成的2d人脸完整的UV图和2d人脸不完整的UV图叠加在一起的图或者数据集中完整的UV图和2d人脸不完整的UV图叠加在一起的图，判别网络判别输入的完整UV图是生成网络生成的还是数据集中的完整的UV图；/nS204、搭建训练网络，交替训练生成网络和判别网络，并保存生成网络的参数；/nS205、运用训练好的生成网络通过输入不完整的UV图生成完整的UV图；/nS3、将UV图应用于3D人脸模型中，生成超写实的3D人脸模型。/n

【技术特征摘要】
1.一种基于机器学习自动生成超写实3D面部模型的方法，其特征在于，包括以下步骤：
S1、采用3DMM三维形变模型将2D人脸图片拟合成3D人脸模型；
S2、采用深度学习神经网络生成UV图；所述采用深度学习神经网络生成UV图，包括以下步骤：
S201、准备数据集，数据集包括2D人脸对应的不完整的UV图和3D扫描得到对应完整的UV图；
S202、搭建生成网络，生成网络使用沙漏网络结构，输入为2d人脸不完整的UV图，输出为2d人脸完整的UV图；
S203、搭建判别网络，判别网络为一个二分类网络，输入为生成网络生成的2d人脸完整的UV图和2d人脸不完整的UV图叠加在一起的图或者数据集中完整的UV图和2d人脸不完整的UV图叠加在一起的图，判别网络判别输入的完整UV图是生成网络生成的还是数据集中的完整的UV图；
S204、搭建训练网络，交替训练生成网络和判别网络，并保存生成网络的参数；
S205、运用训练好的生成网络通过输入不完整的UV图生成完整的UV图；
S3、将UV图应用于3D人脸模型中，生成超写实的3D人脸模型。


2.根据权利要求1所述的一种基于机器学习自动生成超写实3D面部模型的方法，其特征在于，所述采用3DMM三维形变模型将2D人脸图片...

【专利技术属性】
技术研发人员：赵锐，侯志迎，
申请(专利权)人：江苏原力数字科技股份有限公司，
类型：发明
国别省市：江苏;32