一种基于3DMM和GAN的人脸图像生成方法技术

本发明专利技术涉及一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：制作2D人脸数据集；利用3DMM将2D人脸数据集中的人脸图像进行三维重建；利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；利用生成对抗网络对人脸关键点数据集进行训练；根据训练好的人脸关键点数据集进行人脸图像重建。本发明专利技术可提高人脸图像的生成质量和精度。本发明专利技术提供的方法引入PCA算法和生成对抗网络的思想，使用PCA算法对三维人脸数据模型提取关键点，再利用生成对抗网络中的判别器和生成器不断博弈，对模型进行训练，从而生成分布较好的数据集，最后进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。

【技术实现步骤摘要】
一种基于3DMM和GAN的人脸图像生成方法
本专利技术涉及一种通过3DMM和GAN来生成高质量人脸图像的方法，属于计算机视觉

技术介绍
人脸图像是日常生活中较为常见的数据类型，它在各个应用场景都发挥着重要的作用。随着这些年生成对抗网络(GAN)的不断发展和突破，人脸图像生成技术在人脸图像处理领域的作用越来越明显。虽然现在图像生成技术发展迅速，可以生成高分辨率的人脸图像，但是还存在一些问题，例如可操控性较差、人脸细节较差、参数量大等。3DMM是三维可变形人脸模型，是一种基于图像的人脸三维重建方法。它是一个通用的三维人脸模型，用固定的点数来表示人脸。它的核心思想是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。至今为止，3DMM模型已经有超过20年的历史，技术已经发展到从早期基于传统的优化方法到如今基于深度学习模型的系数回归。不过当前的3DMM模型还面临着许多挑战。例如，模型参数空间是一个比较低维的参数空间，并且纹理模型过于简单，导致生成结果过于平均，难以重建人脸皱纹等细节特征。对此，有的方法通过增加局部模型进行了改进，而最新的生成对抗网络技术也开始应用于纹理建模。
技术实现思路
本专利技术的目的是：在参数量较小的情况下生成较好的人脸图像，以及解决模型较小时生成人脸图像质量差、模式单一的问题。为了达到上述目的，本专利技术的技术方案是提供了一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。优选地，步骤2中，任意三维人脸模型由2D人脸数据集中的m个人脸模型进行加权组合，m≥2；每一张三维人脸表示为形状向量S＝(X1,Y1,Z1,X2,Y2,Z2,…,Xn,Yn,Zn)和纹理向量T＝(R1，G1，B1，R2，G2，B2，…，Rn，Gn，Bn)的线性叠加，(Xn,Yn，Zn)表示第n张人脸的形状向量在三维空间里的坐标，(Rn,Gn,Bn)表示第n张人脸的纹理向量在三维空间里的坐标。优选地，所述步骤3包括以下步骤：步骤301、计算所述人脸数据库中所有三维人脸的形状向量和纹理向量的平均值，中心化人脸数据库；步骤302、计算形状向量和纹理向量的协方差矩阵，求得形状向量协方差矩阵的特征值α和特征向量si，以及纹理向量的协方差矩阵的特征值β和特征向量ti。与现有技术相比，本专利技术具有如下优点：本专利技术针对人脸图像生成质量较差的问题，设计了一种基于3DMM和GAN的人脸图像生成方法，可提高人脸图像的生成质量和精度。本专利技术提供的方法引入PCA算法和生成对抗网络的思想，使用PCA算法对三维人脸数据模型提取关键点，再利用生成对抗网络中的判别器和生成器不断博弈，对模型进行训练，从而生成分布较好的数据集，最后进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。附图说明图1为本专利技术所提方法的主流程图；图2为人脸图像三维重建的步骤图；图3为生成对抗网络训练的步骤图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术提供的一种基于3DMM和GAN的人脸图像生成方法包括以下步骤：步骤一、制作或收集实验所需的2D人脸数据集，其中的每个人脸都包含三个角度的人脸图像(侧面、上面、下面)。步骤二、利用3DMM将人脸数据集中的人脸图像进行三维重建，利用每个人脸所对应的三个不同角度的人脸图像建立当前人脸的3D人脸模型，获得人脸数据库。通过扫描2D人脸数据集来建立3D人脸模型，使人脸可以再三维空间中进行一一匹配。每一个3D人脸模型可以在由一个数据库中所有人脸组成的基向量空间中进行表示。人脸的基本属性包括形状和纹理，每一个3D人脸模型可以表示为S＝(X1,Y1，Z1，X2，Y2,Z2，…,Xn,Yn,Zn)和纹理向量T＝(R1,G1,B1,R2,G2,B2,…,Rn,Gn,Bn)的线性叠加，(Xn,Yn,Zn)表示第n张人脸的形状向量在三维空间里的坐标，(Rn,Gn,Bn)表示第n张人脸的纹理向量在三维空间里的坐标。任意一个3D人脸模型可以由2D人脸数据集中的m个人脸模型进行加权组合(本实施例中，m＝3)，如下所示：式中，Smodel、Tmodel为3D人脸模型的形状向量和纹理向量，αi、bi为形状向量及纹理向量的加权系数，Si、Ti是2D人脸数据集中的第i张人脸图像的形状向量和纹理向量。步骤三、利用主成分分析法(PCA)中心化人脸数据库，得到人脸关键点数据集。首先计算人脸数据库中形状向量和纹理向量的平均值，中心化人脸数据库。再计算形状向量和纹理向量的协方差矩阵，求得形状向量协方差矩阵和纹理向量协方差矩阵的特征值α、β和特征向量si、ti。以上计算可以转换为：其中，是形状向量和纹理向量的平均值，而si都是ti减去各自平均值之后的协方差矩阵的特征向量。等式右边仍然是m项，但是累加项少了一维，减少了一项。si、ti都是线性无关的，取其前几个分量可以对原始样本作很好的近似。基于3DMM的方法都是在求解这几个系数，之后的很多模型都会在此基础上添加表情、光照等系数。步骤四、制作完人脸关键点数据集后，利用生成对抗网络进行训练。生成对抗网络由两部分组成：生成器G和判别器D。判别器D的目的是从真实图和生成图中区分出真实图。生成器G的目的是生成接近真实的图像以欺骗判别器D。表示为：式中，V(D,G)表示生成对抗网络的目标函数，表示判别器中分布的期望值，表示生成器中分布的期望。判别真假后的结果再反馈给生成器G和判别器D，二者根据反馈的结果再进行改进。步骤五、根据训练好的人脸关键点数据集，进行人脸图像重建，从而得到细节较好和质量较高的人脸图像。本文档来自技高网...

【技术保护点】
1.一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：/n步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；/n步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；/n步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；/n步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；/n步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。/n

【技术特征摘要】
1.一种基于3DMM和GAN的人脸图像生成方法，其特征在于，包括以下步骤：
步骤1、制作2D人脸数据集，2D人脸数据集中每个人脸都有n张不同角度的人脸图像，m≥2；
步骤2、利用3DMM将2D人脸数据集中的人脸图像进行三维重建，使对应同一个人脸的m张人脸图像在三维空间中进行一一匹配，建立与当前人脸相对应的3D人脸模型，从而获得人脸数据库，其中，每一个3D人脸模型可以在2D人脸数据集中所有人脸图像组成的基向量空间中进行表示；
步骤3、利用主成分分析法中心化人脸数据库，得到人脸关键点数据集；
步骤4、利用生成对抗网络对人脸关键点数据集进行训练，其中，生成对抗网络由生成器G和判别器D，判别器D用于从真实图和生成图中区分出真实图，生成器G用于生成接近真实的图像以欺骗判别器D；
步骤5、根据训练好的人脸关键点数据集进行人脸图像重建，得到图像细节较好且图像质量较高的人脸图像。


2.如权...

【专利技术属性】
技术研发人员：朱剑宇，方建安，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31