生成三维人脸数据的方法和装置制造方法及图纸

本公开的实施例公开了生成三维人脸数据的方法和装置，涉及计算机视觉领域。该方法包括：将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维顶点位置贴图和三维纹理贴图；基于三维顶点位置贴图和三维纹理贴图以及预设的相机姿态参数，生成三维人脸数据；其中，形状生成网络和纹理生成网络基于生成对抗网络训练得出，形状生成网络和纹理生成网络包括经过训练的生成式对抗网络中的生成器，生成对抗网络中的判别器用于判别基于形状生成网络和纹理生成网络生成的三维顶点位置贴图和三维纹理贴图还原得到的三维人脸数据所表征的人脸是否为真实的人脸。该方法实现了高精度三维人脸数据的生成。

【技术实现步骤摘要】
生成三维人脸数据的方法和装置
本公开的实施例涉及计算机
，具体涉及计算机视觉
，尤其涉及生成三维人脸数据的方法和装置。
技术介绍
人脸三维数据在人脸视频处理技术、活体检测与识别、医学美容等领域具有广泛的应用。然而，实际场景中，高精度的人脸三维数据非常稀缺，尤其是人脸稠密关键点数据。目前的方法包括通过二维人脸图像数据，在二维正脸上使用非线性3DMM(3DMorphableModels，三维可变形模型)拟合生成轮廓曲面，进而生成人脸三维关键点。但是这种方法生成的人脸三维关键点的精度不高，无法在实际场景中应用。
技术实现思路
本公开的实施例提出了生成三维人脸数据的方法和装置、电子设备和计算机可读介质。第一方面，本公开的实施例提供了一种生成三维人脸数据的方法，包括：将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和三维纹理贴图；基于三维顶点位置贴图和三维纹理贴图以及预设的相机姿态参数，生成三维人脸数据；其中，形状生成网络和纹理生成网络基于生成对抗网络训练得出，形状生成网络和纹理生成网络包括经过训练的生成式对抗网络中的生成器，生成对抗网络中的判别器用于判别基于形状生成网络和纹理生成网络生成的三维顶点位置贴图和三维纹理贴图还原得到的三维人脸数据所表征的人脸是否为真实的人脸。在一些实施例中，上述三维人脸数据包括三维人脸关键点数据。在一些实施例中，上述方法还包括：基于三维样本人脸数据训练得出形状生成网络和纹理生成网络。在一些实施例中，上述基于三维样本人脸数据训练得出形状生成网络和纹理生成网络，包括：将随机样本噪声信号输入待训练的形状生成网络和待训练的纹理生成网络，提取随机样本噪声信号对应的三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图；基于三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图、以及三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的预测结果；利用待训练的判别器对三维样本人脸的预测结果和三维样本人脸数据进行判别，根据判别结果迭代调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。在一些实施例中，上述三维样本人脸数据包括三维样本人脸的关键点扫描数据，三维样本人脸的预测结果包括三维样本人脸的关键点预测数据；上述利用待训练的判别器对三维样本人脸的预测结果和三维样本人脸数据进行判别，包括：利用待训练的判别器分别对三维样本人脸的关键点扫描数据和三维样本人脸的关键点预测数据进行真实性判别；确定判别器的判别误差；以及上述根据判别结果迭代调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数，包括：基于判别误差，通过反向传播调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。在一些实施例中，上述三维样本人脸数据包括三维样本人脸的关键点扫描数据以及三维样本人脸对应的二维图像，基于三维样本人脸数据训练得出形状生成网络和纹理生成网络，包括：将三维样本人脸对应的二维图像输入待训练的形状生成网络和待训练的纹理生成网络，提取三维样本人脸对应的顶点位置贴图和纹理贴图；基于三维样本人脸对应的顶点位置贴图和纹理贴图、以及三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的关键点预测结果；利用待训练的判别器对三维样本人脸的关键点预测结果的真实性进行判别，基于三维样本人脸关键点的预测结果与三维样本人脸的关键点扫描数据之间的差异确定待训练的判别器的判别误差，基于判别误差迭代调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。第二方面，本公开的实施例提供了一种生成三维人脸数据的装置，包括：第一生成单元，被配置为将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和三维纹理贴图；第二生成单元，被配置为基于三维顶点位置贴图和三维纹理贴图以及预设的相机姿态参数，生成三维人脸数据；其中，形状生成网络和纹理生成网络基于生成对抗网络训练得出，形状生成网络和纹理生成网络包括经过训练的生成式对抗网络中的生成器，生成对抗网络中的判别器用于判别基于形状生成网络和纹理生成网络生成的三维顶点位置贴图和三维纹理贴图还原得到的三维人脸数据所表征的人脸是否为真实的人脸。在一些实施例中，上述三维人脸数据包括三维人脸关键点数据。在一些实施例中，上述装置还包括：训练单元，被配置为基于三维样本人脸数据训练得出形状生成网络和纹理生成网络。在一些实施例中，上述训练单元被配置为按照如下方式训练得出形状生成网络和纹理生成网络：将随机样本噪声信号输入待训练的形状生成网络和待训练的纹理生成网络，提取随机样本噪声信号对应的三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图；基于三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图、以及三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的预测结果；利用待训练的判别器对三维样本人脸的预测结果和三维样本人脸数据进行判别，根据判别结果迭代调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。在一些实施例中，上述三维样本人脸数据包括三维样本人脸的关键点扫描数据，三维样本人脸的预测结果包括三维样本人脸的关键点预测数据；上述训练单元被配置利用待训练的判别器为按照如下方式对三维样本人脸的预测结果和三维样本人脸数据进行判别：利用待训练的判别器分别判别三维样本人脸的关键点扫描数据和三维样本人脸的关键点预测数据进行真实性判别；确定判别器的判别误差；以及上述训练单元被配置为：基于判别误差，通过反向传播调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。在一些实施例中，上述三维样本人脸数据包括三维样本人脸的关键点扫描数据以及三维样本人脸对应的二维图像，训练单元被配置为按照如下方式训练得出形状生成网络和纹理生成网络：将三维样本人脸对应的二维图像输入待训练的形状生成网络和待训练的纹理生成网络，提取三维样本人脸对应的顶点位置贴图和纹理贴图；基于三维样本人脸对应的顶点位置贴图和纹理贴图、以及三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的关键点预测结果；利用待训练的判别器对三维样本人脸的关键点预测结果的真实性进行判别，基于三维样本人脸关键点的预测结果与三维样本人脸的关键点扫描数据之间的差异确定待训练的判别器的判别误差，基于判别误差迭代调整待训练的形状生成网络、待训练的纹理生成网络以及待训练的判别器的参数。第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的生成三维人脸数据的方法。第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的生成三维人脸数据的方法。本公开的上述实施例的生成三维人脸数据的方法和装置，通过将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和本文档来自技高网...

【技术保护点】
1.一种生成三维人脸数据的方法，包括：/n将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和三维纹理贴图；/n基于所述三维顶点位置贴图和所述三维纹理贴图以及预设的相机姿态参数，生成三维人脸数据；/n其中，所述形状生成网络和所述纹理生成网络基于生成对抗网络训练得出，所述形状生成网络和纹理生成网络包括经过训练的生成式对抗网络中的生成器，所述生成对抗网络中的判别器用于判别基于所述形状生成网络和纹理生成网络生成的三维顶点位置贴图和三维纹理贴图还原得到的三维人脸数据所表征的人脸是否为真实的人脸。/n

【技术特征摘要】
1.一种生成三维人脸数据的方法，包括：
将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和三维纹理贴图；
基于所述三维顶点位置贴图和所述三维纹理贴图以及预设的相机姿态参数，生成三维人脸数据；
其中，所述形状生成网络和所述纹理生成网络基于生成对抗网络训练得出，所述形状生成网络和纹理生成网络包括经过训练的生成式对抗网络中的生成器，所述生成对抗网络中的判别器用于判别基于所述形状生成网络和纹理生成网络生成的三维顶点位置贴图和三维纹理贴图还原得到的三维人脸数据所表征的人脸是否为真实的人脸。


2.根据权利要求1所述的方法，其中，所述三维人脸数据包括三维人脸关键点数据。


3.根据权利要求1所述的方法，其中，所述方法还包括：
基于三维样本人脸数据训练得出所述形状生成网络和所述纹理生成网络。


4.根据权利要求3所述的方法，其中，所述基于三维样本人脸数据训练得出所述形状生成网络和所述纹理生成网络，包括：
将随机样本噪声信号输入待训练的形状生成网络和待训练的纹理生成网络，提取所述随机样本噪声信号对应的三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图；
基于所述三维样本噪声的顶点位置贴图和三维样本噪声的纹理贴图、以及所述三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的预测结果；
利用待训练的判别器对所述三维样本人脸的预测结果和所述三维样本人脸数据进行判别，根据判别结果迭代调整所述待训练的形状生成网络、所述待训练的纹理生成网络以及所述待训练的判别器的参数。


5.根据权利要求4所述的方法，其中，所述三维样本人脸数据包括三维样本人脸的关键点扫描数据，所述三维样本人脸的预测结果包括所述三维样本人脸的关键点预测数据；
所述利用待训练的判别器对所述三维样本人脸的预测结果和所述三维样本人脸数据进行判别，包括：
利用所述待训练的判别器分别对所述三维样本人脸的关键点扫描数据和所述三维样本人脸的关键点预测数据进行真实性判别；
确定所述判别器的判别误差；以及
所述根据判别结果迭代调整所述待训练的形状生成网络、所述待训练的纹理生成网络以及所述待训练的判别器的参数，包括：
基于所述判别误差，通过反向传播调整所述待训练的形状生成网络、所述待训练的纹理生成网络以及所述待训练的判别器的参数。


6.根据权利要求3所述的方法，其中，所述三维样本人脸数据包括三维样本人脸的关键点扫描数据以及三维样本人脸对应的二维图像，所述基于三维样本人脸数据训练得出所述形状生成网络和所述纹理生成网络，包括：
将所述三维样本人脸对应的二维图像输入待训练的形状生成网络和待训练的纹理生成网络，提取所述三维样本人脸对应的顶点位置贴图和纹理贴图；
基于所述三维样本人脸对应的顶点位置贴图和纹理贴图、以及所述三维样本人脸数据对应的相机姿态参数，生成三维样本人脸的关键点预测结果；
利用待训练的判别器对所述三维样本人脸的关键点预测结果的真实性进行判别，基于所述三维样本人脸关键点的预测结果与所述三维样本人脸的关键点扫描数据之间的差异确定所述待训练的判别器的判别误差，基于所述判别误差迭代调整所述待训练的形状生成网络、所述待训练的纹理生成网络以及所述待训练的判别器的参数。


7.一种生成三维人脸数据的装置，包括：
第一生成单元，被配置为将随机噪声数据分别输入形状生成网络和纹理生成网络，得到三维人脸模型的三维顶点位置贴图和三维纹理贴图；

【专利技术属性】
技术研发人员：希滕，姜志超，张刚，温圣召，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11