模型训练方法、3D人脸的重建方法、装置及存储介质制造方法及图纸

本申请涉及一种模型训练方法、3D人脸的重建方法、装置及存储介质，该方法由于通过神经网络模型预测二维人脸图像样本的三维表达，并基于三维表达对应的第二表达和第一表达计算训练损失，采用训练损失对神经网络模型进行训练直至收敛，所以当需要对二维人脸图像进行三维重建时，可以采用收敛的神经网络模型得到二维人脸图像的三维人脸重建，从而做到即使不引入PCA基底，借助该映射关系，也能保证神经网络在三维图像重建上优势的发挥。在三维图像重建上优势的发挥。在三维图像重建上优势的发挥。

【技术实现步骤摘要】
模型训练方法、3D人脸的重建方法、装置及存储介质


[0001]本申请涉及计算机领域，尤其涉及一种模型训练方法、3D人脸的重建方法、装置及存储介质。

技术介绍

[0002]随着社会的发展，科技的进步，三维(3D)人脸重建技术逐渐成为计算机视觉领域的热门技术。三维人脸重建技术是根据被测个体的单张或多张人脸图像重建出其三维人脸模型。
[0003]当前3D人脸重建技术所采用的方法主要分为两类。
[0004]一类是基于优化的方法，预先通过一些数据进行PCA(Principal Component Analysis，主成分分析)降维，获得一组基底，将人脸表示为基底的线性组合，通过不断优化拟合线性组合的系数，来获得重建的人脸。该类方法针对每张图像需要进行多次迭代优化，速度相对较慢。
[0005]另一类是基于学习的方法，该类方法同样依赖PCA基底，区别在于利用神经网络模型来学习目标人脸的基底系数，经过训练之后，在重建时，省掉了迭代优化的过程，速度相对较快。
[0006]但两种方法都依赖PCA基底，一方面，这两类方法都会受到PCA结果的精度的影响，另一方面，PCA基底维度一般较低(几十维)，表达能力受限，即便利用神经网络，得到的系数也丢失了很大部分的信息，导致最终重建精度不高。

技术实现思路

[0007]本申请提供了一种模型训练方法、3D人脸的重建方法、装置及存储介质，用以解决现有的3D人脸重建技术依赖PCA基底的问题。
[0008]第一方面，提供一种模型训练方法，包括：
>[0009]获取第N次执行模型训练方法所用到的二维人脸图像样本；
[0010]采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表达；
[0011]通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像样本在三维空间的三维表达；
[0012]将所述三维表达由所述三维空间投影到所述二维空间，得到所述二维人脸图像在所述二维空间的第二表达；
[0013]利用所述第二表达和所述二维人脸图像样本，计算训练损失；
[0014]利用所述训练损失优化所述神经网络模型的参数，更新N＝N+1，并执行第N+1次模型训练方法，直至所述神经网络模型收敛。
[0015]可选地，所述编码器包括身份编码器，所述解码器包括身份解码器；
[0016]采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第
一表达，包括：
[0017]采用所述身份编码器对所述二维人脸图像样本进行编码，获得所述二维人脸图像样本的身份特征；
[0018]基于所述身份特征得到所述第一表达；
[0019]通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：
[0020]采用所述身份解码器对所述身份特征进行解码，得到所述身份特征在所述三维空间的身份三维表达；
[0021]基于所述身份三维表达，得到所述二维人脸图像样本在三维空间的三维表达。
[0022]可选地，所述编码器还包括第一编码器，所述解码器还包括特征解码器；所述第一编码器为表情编码器或姿态编码器；当所述第一编码器为所述表情编码器时，所述特征解码器为表情解码器，当所述特征解码器为姿态编码器时，所述特征解码器为姿态解码器；
[0023]基于所述身份特征得到所述第一表达，包括：
[0024]采用所述第一编码器对所述二维人脸图像样本进行编码，获得所述二维人脸图像样本的第一特征；所述第一编码器为所述表情编码器时，所述第一特征为表情特征，所述第一编码器为所述姿态编码器时，所述第一特征为姿态特征；
[0025]基于所述第一特征和所述身份特征，得到所述第一表达；
[0026]基于所述身份三维表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：
[0027]采用所述特征解码器对所述第一特征和所述身份三维表达进行解码，得到中间三维表达；
[0028]基于所述中间三维表达，得到所述二维人脸图像样本在三维空间的三维表达。
[0029]可选地，所述编码器还包括第二编码器，所述第二编码器为表情编码器或姿态编码器，所述第二编码器与所述第一编码器为不同类型的编码器；
[0030]基于所述第一特征和所述身份特征，得到所述第一表达，包括：
[0031]采用所述第二编码器对所述二维人脸图像样本进行编码，得到所述二维人脸图像样本的第二特征；所述第二编码器为所述表情编码器时，所述第二特征为表情特征，所述第二编码器为所述姿态编码器时，所述第二特征为姿态特征；所述第一特征和所述第二特征为不同类型的特征；
[0032]将所述身份特征、所述第一特征和所述第二特征作为所述第一表达；
[0033]基于所述中间三维表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：
[0034]采用姿态变换函数对所述中间三维表达和所述第二特征进行处理，得到所述二维人脸图像样本在三维空间的三维表达；
[0035]所述姿态变换函数用于按照所述第二特征，对所述中间三维表达进行旋转、平移或缩放处理。
[0036]可选地，利用所述第二表达和所述二维人脸图像样本，计算训练损失，包括：
[0037]获取所述二维人脸图像样本中的人脸关键点的像素坐标值、以及人脸各个区域的图像；从所述第二表达中获取人脸关键点的预测像素坐标、以及人脸各个区域的预测图像；
[0038]基于所述人脸关键点的像素坐标值和所述预测像素坐标值，计算第一类训练损失；以及基于所述人脸各个区域的图像和所述预测图像，计算第二类训练损失；
[0039]基于所述第一类训练损失和所述第二类训练损失，计算总的训练损失；
[0040]将所述总的训练损失作为所述训练损失。
[0041]第二方面，提供一种3D人脸的重建方法，包括：
[0042]获取二维人脸图像；
[0043]采用经由权利要求1训练得到神经网络模型中的编码器，预测得到所述二维人脸图像在二维空间的第一表达；
[0044]通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像在三维空间的三维表达；
[0045]生成与所述三维表达对应的三维人脸图像。
[0046]第三方面，提供一种模型训练装置，包括：
[0047]第一获取模块，用于获取第N次执行模型训练方法所用到的二维人脸图像样本；
[0048]第一预测模块，用于采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表达；
[0049]第一转换模块，用于通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像样本在三维空间的三维表达；
[0050]投影模块，用于将所述三维表达由所述三维空间投影到所述二维空间，得到所述二维人脸图像在所述二维空间的第二表达；
[0051]计算模块，用于利用所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：获取第N次执行模型训练方法所用到的二维人脸图像样本；采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表达；通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像样本在三维空间的三维表达；将所述三维表达由所述三维空间投影到所述二维空间，得到所述二维人脸图像在所述二维空间的第二表达；利用所述第二表达和所述二维人脸图像样本，计算训练损失；利用所述训练损失优化所述神经网络模型的参数，更新N＝N+1，并执行第N+1次模型训练方法，直至所述神经网络模型收敛。2.根据权利要求1所述的方法，其特征在于，所述编码器包括身份编码器，所述解码器包括身份解码器；采用神经网络模型中的编码器预测得到所述二维人脸图像样本在二维空间的第一表达，包括：采用所述身份编码器对所述二维人脸图像样本进行编码，获得所述二维人脸图像样本的身份特征；基于所述身份特征得到所述第一表达；通过所述神经网络模型中的解码器转换所述第一表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：采用所述身份解码器对所述身份特征进行解码，得到所述身份特征在所述三维空间的身份三维表达；基于所述身份三维表达，得到所述二维人脸图像样本在三维空间的三维表达。3.根据权利要求2所述的方法，其特征在于，所述编码器还包括第一编码器，所述解码器还包括特征解码器；所述第一编码器为表情编码器或姿态编码器；当所述第一编码器为所述表情编码器时，所述特征解码器为表情解码器，当所述特征解码器为姿态编码器时，所述特征解码器为姿态解码器；基于所述身份特征得到所述第一表达，包括：采用所述第一编码器对所述二维人脸图像样本进行编码，获得所述二维人脸图像样本的第一特征；所述第一编码器为所述表情编码器时，所述第一特征为表情特征，所述第一编码器为所述姿态编码器时，所述第一特征为姿态特征；基于所述第一特征和所述身份特征，得到所述第一表达；基于所述身份三维表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：采用所述特征解码器对所述第一特征和所述身份三维表达进行解码，得到中间三维表达；基于所述中间三维表达，得到所述二维人脸图像样本在三维空间的三维表达。4.根据权利要求3所述的方法，其特征在于，所述编码器还包括第二编码器，所述第二编码器为表情编码器或姿态编码器，所述第二编码器与所述第一编码器为不同类型的编码器；
基于所述第一特征和所述身份特征，得到所述第一表达，包括：采用所述第二编码器对所述二维人脸图像样本进行编码，得到所述二维人脸图像样本的第二特征；所述第二编码器为所述表情编码器时，所述第二特征为表情特征，所述第二编码器为所述姿态编码器时，所述第二特征为姿态特征；所述第一特征和所述第二特征为不同类型的特征；将所述身份特征、所述第一特征和所述第二特征作为所述第一表达；基于所述中间三维表达，得到所述二维人脸图像样本在三维空间的三维表达，包括：...

【专利技术属性】
技术研发人员：李天琦，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：