图像生成、三维模型生成方法、装置、电子设备及介质制造方法及图纸

本公开提供了一种图像生成、三维模型生成方法、装置、电子设备及介质，其中，该人脸图像生成方法，包括：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。得到重构人脸图像。得到重构人脸图像。

【技术实现步骤摘要】
图像生成、三维模型生成方法、装置、电子设备及介质


[0001]本公开涉及图像处理
，具体而言，涉及一种图像生成、三维模型生成方法、装置、电子设备及介质。

技术介绍

[0002]三维人脸重建是指基于人脸图像恢复人脸的三维模型。在生成人脸的三维模型后，能够基于人脸的三维模型生成人脸图像。
[0003]当前的人脸图像生成方法存在生成的人脸图像准确度较差的问题。

技术实现思路

[0004]本公开实施例至少提供一种图像生成、三维模型生成方法、装置、电子设备及介质。
[0005]第一方面，本公开实施例提供了一种人脸图像生成方法，包括：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。
[0006]这样，以法向量图像作为几何条件，以纹理特征数据建模对人脸图像的其他影响因素，通过将法向量图像和纹理特征数据进行数据融合处理，所得的重构人脸图像具有更高的准确度。
[0007]一种可能的实施方式中，所述对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像，包括：对所述纹理特征数据进行特征变换，得到所述多级数据融合处理分别对应的变换纹理特征数据；针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图；对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图；基于最后一级数据融合处理对应结果特征图，得到所述重构人脸图像。
[0008]这样，实现了将法向量图像、以及纹理特征数据之间的解耦融合，提升得到的重构人脸图像的真实度和精确度。
[0009]一种可能的实施方式中，所述对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据，包括：对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。
[0010]这样，对纹理特征数据进行特征变换，使得变换后所形成的多级数据融合处理分别对应的变换纹理特征数据，既能够提升与目标三维人脸模型之间的适配度，又能够保证在不同级别的数据融合处理对应的变换纹理特征数据中，包括了纹理特征数据中的不同特
征，然后针对每级数据融合处理，将每级数据融合处理对应的变换纹理特征数据和法向量图像进行融合，进而实现了将纹理特征数据和法向量图像的逐步融合，使得得到的重构人脸图像具有更高的精度，且具有更强的真实感。
[0011]一种可能的实施方式中，所述针对多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图之前，还包括：针对该级数据融合处理为第一级数据融合处理的情况，对预设特征图进行上采样，得到该级数据融合处理对应的输入特征图；针对该级数据融合处理为非第一级数据融合处理的情况，对该级数据融合处理的上一级数据融合处理输出的结果特征图进行上采样，得到该级数据融合处理对应的输入特征图。
[0012]这样，基于预设特征图，逐级对各级数据融合处理的结果特征图进行上采样处理，从而使得最后一级数据融合处理的结果特征图的尺寸能够符合生成的重构人脸图像的尺寸，使得生成的人脸图像具有较高的分辨率，提升重构人脸图像的清晰度。
[0013]一种可能的实施方式中，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核；利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。
[0014]利用该种方式，由于是利用变换纹理特征数据对卷积核进行变换，而卷积核的数据量通常是小于输入特征图的数据量的，因此能够大量减少在变换过程中所需要处理的数据，提升数据处理效率。
[0015]一种可能的实施方式中，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的输入特征图进行变换，得到变换特征图；利用该级数据融合处理对应的卷积核，对所述变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。
[0016]一种可能的实施方式中，所述对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图，包括：确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵；基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。
[0017]一种可能的实施方式中，所述基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图，包括：基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。
[0018]此处，由于人脸的纹理特征数据无法完全表达人脸图像的所有细节，为了使得最终生成的重构人脸图像更具有真实度，可以在得到乘积结果矩阵后，基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，从而使得生成的重构人脸图像能够包括人脸的细节特
征，真实度更高。
[0019]一种可能的实施方式中，所述基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，包括：将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。
[0020]一种可能的实施方式中，所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。
[0021]一种可能的实施方式中，采用下述方式得到所述第一目标神经网络：获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据；利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的重建图像；基于所述重建图像，获取第一训练损失，并利用所述第一训练损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像生成方法，其特征在于，包括：获取法向量图像、以及纹理特征数据；其中，所述法向量图像中每个像素点的像素值表征与所述法向量图像对应的三维人脸模型中与该像素点对应的模型顶点的法向量的值；对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像。2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述对所述法向量图像、以及所述纹理特征数据进行多级数据融合处理，得到重构人脸图像，包括：对所述纹理特征数据进行特征变换，得到所述多级数据融合处理分别对应的变换纹理特征数据；针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图；对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图；基于最后一级数据融合处理对应结果特征图，得到所述重构人脸图像。3.根据权利要求2所述的人脸图像生成方法，其特征在于，所述对所述纹理特征数据进行特征变换，得到多级数据融合处理分别对应的变换纹理特征数据，包括：对所述纹理特征数据进行第一全连接处理，得到第一中间纹理特征数据；对所述第一中间纹理特征数据进行多次第二全连接处理，得到所述多级数据融合处理分别对应的变换纹理特征数据；其中，不同第二全连接处理的全连接参数不同。4.根据权利要求2或3所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图之前，还包括：针对该级数据融合处理为第一级数据融合处理的情况，对预设特征图进行上采样，得到该级数据融合处理对应的输入特征图；针对该级数据融合处理为非第一级数据融合处理的情况，对该级数据融合处理的上一级数据融合处理输出的结果特征图进行上采样，得到该级数据融合处理对应的输入特征图。5.根据权利要求2
‑
4任一项所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的卷积核进行变换，得到变换卷积核；利用所述变换卷积核对所述输入特征图进行卷积处理，得到该级数据融合处理的中间特征图。6.根据权利要求2
‑
5任一项所述的人脸图像生成方法，其特征在于，所述针对所述多级数据融合处理中的每级数据融合处理，将该级数据融合处理对应的变换纹理特征数据、与
对该级数据融合处理对应的输入特征图进行第一特征融合，得到该级数据融合处理的中间特征图，包括：针对所述多级数据融合处理中的每级数据融合处理，利用该级数据融合处理对应的变换纹理特征数据，对该级融合处理对应的输入特征图进行变换，得到变换特征图；利用该级数据融合处理对应的卷积核，对所述变换特征图进行卷积处理，得到该级数据融合处理对应的中间特征图。7.根据权利要求2
‑
6任一项所述的人脸图像生成方法，其特征在于，所述对该级数据融合处理的中间特征图、以及所述法向量图像进行第二特征融合，得到该级数据融合处理对应的结果特征图，包括：确定该级数据融合处理的中间特征图、以及所述法向量图像的乘积结果矩阵；基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图。8.根据权利要求7所述的人脸图像生成方法，其特征在于，所述基于所述乘积结果矩阵确定该级数据融合处理对应的结果特征图，包括：基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图。9.根据权利要求8所述的人脸图像生成方法，其特征在于，所述基于该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵，得到该级数据融合处理对应的结果特征图，包括：将该级数据融合处理对应的乘积结果矩阵、以及该级数据融合处理的预设偏差矩阵和/或噪声矩阵进行对位相加，得到该级数据融合处理对应的结果特征图。10.根据权利要求1
‑
9任一项所述的人脸图像生成方法，其特征在于，所述人脸图像生成方法通过预先训练好的第一目标神经网络实现。11.根据权利要求10所述的人脸图像生成方法，其特征在于，采用下述方式得到所述第一目标神经网络：获取第一样本三维人脸模型的第一样本法向量图像、以及第一样本纹理特征数据；利用待训练的第一神经网络，对所述第一样本法向量图像、以及所述第一样本纹理特征数据进行数据融合处理，得到所述第一样本三维人脸模型的重建图像；基于所述重建图像，获取第一训练损失，并利用所述第一训练损失，训练所述待训练的第一神经网络，得到所述第一目标神经网络。12.根据权利要求11所述的人脸图像生成方法，其特征在于，所述第一训练损失包括下述至少一种：法向量一致性损失、人脸关键点一致性损失、身份一致性损失以及对抗损失。13.根据权利要求12所述的人脸图像生成方法，其特征在于，所述第一训练损失包括法向量一致性损失，所述基于所述重建图像，获取第一训练损失，包括：对所述重建图像进行法向量预测处理，得到所述重建图像的预测法向量图像；利用所述第一样本法向量图像、和所述预测法向量图像，得到所述法向量一致性损失。14.根据权利要求12或13所述的人脸图像生成方法，其特征在于，所述第一训练损失包括关键点一致性损失，所述第一样本纹理特征数据包括：第一样本纹理特征数据以及第二样本纹理特征数据；所述重建图像，包括基于所述第一样本纹理特征数据得到的第一重建图像、以及基于所述第二样本纹理特征数据得到的第二重建图像；
所述基于所述重建图像，获取第一训练损失，包括：对所述第一重建图像进行关键点识别，得到所述第一重建图像的第一关键点；基于所述第二重建图像进行关键点识别，得到所述第二重建图像的第二关键点；利用所述第一关键点和所述第二关键点，得到所述关键点一致性损失。15.根据权利要求12
‑
14任一项所述的人脸图像生成方法，其特征在于，所述第一训练损失包括身份一致性损失...

【专利技术属性】
技术研发人员：朴镜潭，林君仪，孙克强，
申请(专利权)人：商汤集团有限公司，
类型：发明
国别省市：