一种基于对称性约束的人脸正面化方法技术

本发明专利技术公开了一种基于对称性约束的人脸正面化方法，包括：基于人脸图像建立并拟合三维人脸模型；基于三维人脸模型和人脸图像，进行纹理提取，得到非正面姿态下的带非正面纹理的三维人脸模型，并进行旋转和渲染，得到正面姿态下的渲染图像；并分割得到脸部区域图像；将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像；训练时通过对称性损失函数对具有对称特性的脸部区域加以约束。考虑到人脸图像中面部器官存在很强的对称性，先将图像进行语义分割，然后再进行正面化。在正面化过程中，只对具有对称特性的面部器官区域加入对称性约束，而人脸其他部分不加入对称性约束，从而提高人脸正面化效果。面化效果。面化效果。

【技术实现步骤摘要】
一种基于对称性约束的人脸正面化方法


[0001]本专利技术涉及图像处理
，尤其涉及的是一种基于对称性约束的人脸正面化方法。

技术介绍

[0002]在当前的信息社会中，利用生物特征来识别个体身份已经成为各个场景下的首要方式。在生物特征中，人脸特征是很重要的一项。相对于指纹和虹膜等其它特征，人脸特征更易于获取，并且获取过程不会对个体造成强烈的侵犯性。
[0003]深度学习在人脸识别领域的成功应用，推动了人脸识别技术的发展。但是这些人脸识别技术仍然无法在所有人脸识别中完美应用。实际应用中，姿态变化是影响人脸识别性能的重要因素之一。人脸姿态问题本质上是三维的人脸结构的刚性变换带来的人脸纹理变化的非对齐问题。人脸头部的刚性旋转带来了自遮挡的情况，这也意味着信息的丢失。针对人脸识别中姿态变化问题，研究人员提出了人脸正面化，将不同姿态的人脸进行正面化，以提升大姿态下的人脸识别的准确性。
[0004]将人脸进行正面化研究中，主要分为基于二维图像和三维模型的方法。在基于二维图像的方法中，TP
‑
GAN是人脸正面化中一个里程碑式的工作。2017年受益于生成对抗网络的影响，研究人员提出了一个像人类一样能够考虑整体和局部信息的双路径对抗生成网络TP
‑
GAN，这种方法出现之后使得人脸正面化能够达到以假乱真的效果。基于三维模型进行人脸正面化的思路是通过构建三维人脸模型，对测试人脸图像进行模型参数的匹配，获得完整的三维人脸数据，从而获得正面人脸图像。Zhu等考虑到传统的3DMM算法存在运算速率慢等问题，提出一种基于三维形变模型(3DMM)的高保真位姿和表情归一化(HPEN)方法，通过估计整个图像的深度信息修正姿态和表情的三维变换，以保留尽可能多的身份信息。
[0005]基于三维模型的方法由于使用三维数据，因而可以实现正脸形状和纹理的理想合成，但是基于三维模型方法的人脸正面化一般是利用3DMM模型来拟合人脸，由于自遮挡导致的信息缺失，这样在矫正大角度人脸时会出现明显的人为痕迹。而且3DMM需要大量扫描后的人脸模型进行平均人脸模型的创建，因此也存在计算量大，生成速度慢等缺点。因此研究人员提出了将三维模型与生成对抗网络(GAN)相结合，2017年提出将三维人脸形变模型(3DMM)加入GAN网络(FF
‑
GAN)，通过这种方式，可以在带有缺失部分的人脸正面化中保持视觉质量，但是效果仍然有待提升。
[0006]这些方法大都存在一个共同的问题就是无法在非受限环境中加以应用。非受限环境对人脸正面化的挑战主要有两点：更复杂的人脸变化以及非成对数据。针对非受限环境中不存在成对图像的问题，2020年首次提出利用无监督的旋转
‑
渲染框架实现从侧面人脸生成正面人脸，解决传统方法需要成对图像有监督地进行训练的问题，利用生成对抗网络(GAN)对图像重建图像细节实现正面化，该方法利用无监督从单一图像实现人脸旋转，为人脸正面化提供了新的思路。但是观察到生成图像结果的细节处理不是十分完善，例如对于有些图像的眼睛、脸部轮廓、眼镜的处理非常模糊，脸部轮廓出现多余部分，眼镜结构出现
变形等等。
[0007]因此，现有技术还有待于改进和发展。

技术实现思路

[0008]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于对称性约束的人脸正面化方法，旨在解决现有技术中人脸正面化图像的细节处理不够完善的问题。
[0009]本专利技术解决技术问题所采用的技术方案如下：
[0010]一种基于对称性约束的人脸正面化方法，其中，包括步骤：
[0011]获取待正面化的人脸图像，基于所述人脸图像建立并拟合非正面姿态下的三维人脸模型；其中，所述人脸图像为非正面的单视人脸图像；
[0012]基于非正面姿态下的三维人脸模型和人脸图像，进行纹理提取，得到非正面姿态下的带非正面纹理的三维人脸模型；
[0013]对非正面姿态下的带非正面纹理的三维人脸模型进行旋转和渲染，得到正面姿态下的渲染图像；
[0014]对正面姿态下的渲染图像进行分割，得到脸部区域图像；
[0015]将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像；其中，所述生成对抗网络在训练时，通过对称性损失函数对具有对称特性的脸部区域加以约束。
[0016]所述的基于对称性约束的人脸正面化方法，其中，所述对非正面姿态下的带非正面纹理的三维人脸模型进行旋转和渲染，得到非正面姿态下的渲染图像，包括：
[0017]对非正面姿态下的带非正面纹理的三维人脸模型进行旋转，得到正面姿态下的带非正面纹理的三维人脸模型；
[0018]对正面姿态下的带非正面纹理的三维人脸模型进行渲染，得到正面姿态下的渲染图像。
[0019]所述的基于对称性约束的人脸正面化方法，其中，在纹理提取时，使用垂直投影从图像中得到各顶点的颜色，并形成三维人脸纹理信息；其中，所述顶点为三维人脸模型中人脸的顶点；
[0020]在渲染时，将三维人脸纹理信息映射到二维空间以生成渲染图像。
[0021]所述的基于对称性约束的人脸正面化方法，其中，所述生成对抗网络包括：生成器网络和判别器网络；所述生成器网络包括：上采样模块、残差模块以及下采样模块；
[0022]所述生成对抗网络采用如下步骤进行训练：
[0023]获取正面姿态下的真实图像，基于所述正面姿态下的真实图像建立并拟合正面姿态下的三维人脸模型；
[0024]基于正面姿态下的三维人脸模型和正面姿态下的真实图像，进行纹理提取，得到正面姿态下的带正面纹理的三维人脸模型；
[0025]对正面姿态下的带正面纹理的三维人脸模型进行两次旋转和两次渲染，得到正面姿态下的渲染图像；
[0026]对正面姿态下的渲染图像进行分割，得到脸部区域图像；
[0027]将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像；
[0028]将正面生成图像和正面姿态下的真实图像输入生成对抗网络中的判别器网络，得到真实率；
[0029]计算整体损失函数，并对生成对抗网络的网络参数进行修改，并继续执行所述将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像的步骤，直至满足预设训练条件时，得到生成对抗网络；
[0030]所述整体损失函数为：
[0031]L
total
＝L
GAN
+λ1L
FM
+λ2L
vgg
+λ3L
sym
[0032]其中，L
total
表示整体损失函数，L
GAN
表示对抗损失函数，L
FM
表示特征匹配损失函数，L
vgg
表示感知损失函数，L
sym
表示对称损失函数，λ1、λ2以及λ3表示参数。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对称性约束的人脸正面化方法，其特征在于，包括步骤：获取待正面化的人脸图像，基于所述人脸图像建立并拟合非正面姿态下的三维人脸模型；其中，所述人脸图像为非正面的单视人脸图像；基于非正面姿态下的三维人脸模型和人脸图像，进行纹理提取，得到非正面姿态下的带非正面纹理的三维人脸模型；对非正面姿态下的带非正面纹理的三维人脸模型进行旋转和渲染，得到正面姿态下的渲染图像；对正面姿态下的渲染图像进行分割，得到脸部区域图像；将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像；其中，所述生成对抗网络在训练时，通过对称性损失函数对具有对称特性的脸部区域加以约束。2.根据权利要求1所述的基于对称性约束的人脸正面化方法，其特征在于，所述对非正面姿态下的带非正面纹理的三维人脸模型进行旋转和渲染，得到正面姿态下的渲染图像，包括：对非正面姿态下的带非正面纹理的三维人脸模型进行旋转，得到正面姿态下的带非正面纹理的三维人脸模型；对正面姿态下的带非正面纹理的三维人脸纹理模型进行渲染，得到正面姿态下的渲染图像。3.根据权利要求2所述的基于对称性约束的人脸正面化方法，其特征在于，在纹理提取时，使用垂直投影从图像中得到各顶点的颜色，并形成三维人脸纹理信息；其中，所述顶点为三维人脸模型中人脸的顶点；在渲染时，将三维人脸纹理信息映射到二维空间以生成渲染图像。4.根据权利要求1所述的基于对称性约束的人脸正面化方法，其特征在于，所述生成对抗网络包括：生成器网络和判别器网络；所述生成器网络包括：上采样模块、残差模块以及下采样模块；所述生成对抗网络采用如下步骤进行训练：获取正面姿态下的真实图像，基于所述正面姿态下的真实图像建立并拟合正面姿态下的三维人脸模型；基于正面姿态下的三维人脸模型和正面姿态下的真实图像，进行纹理提取，得到正面姿态下的带正面纹理的三维人脸模型；对正面姿态下的带正面纹理的三维人脸模型进行两次旋转和两次渲染，得到正面姿态下的渲染图像；对正面姿态下的渲染图像进行分割，得到脸部区域图像；将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图像；将正面生成图像和正面姿态下的真实图像输入生成对抗网络中的判别器网络，得到真实率；计算整体损失函数，并对生成对抗网络的网络参数进行修改，并继续执行所述将正面姿态下的渲染图像和脸部区域图像，输入生成对抗网络中的生成器网络，得到正面生成图
像的步骤，直至满足预设训练条件时，得到生成对抗网络；所述整体损失函数为：L
total
＝L
GAN
+λ1L
FM
+λ2L
vgg
+λ3L
sym
其中，L
total
表示整体损失函数，L
GAN
表示对抗损失函数，L
FM
表示特征匹配损失函数，L
vgg
表示感知损失函数，L
sym
表示对称损失函数，λ1、λ2以及λ3表示参数。5.根据权利要求4所述的基于对称性约束的人脸正面化方法，其特征在于，所述判别器网络为多尺度判别器网络；所述特征匹配损失函数为：其中，N
D
表示判别器网络中间层的层数，I
a
表示正面姿态下的真实图像，表示判别器网络第i层中间层...

【专利技术属性】
技术研发人员：陈绵书，杜媛媛，张子墨，李晓妮，桑爱军，郑宏宇，
申请(专利权)人：吉林大学，
类型：发明
国别省市：