一种协作渐进生成对抗网络的人脸正面图像合成方法技术

本发明专利技术请求保护一种协作渐进生成对抗网络的人脸正面图像合成方法(CP

【技术实现步骤摘要】
一种协作渐进生成对抗网络的人脸正面图像合成方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于生成对抗机制的人脸正面图像合成方法。

技术介绍

[0002]人脸识别是计算机视觉领域的重要课题之一，随着深度学习的发展，人脸识别近年来取得了显著的成就，相关研究成果已经被应用于门禁系统、移动支付、安全防务等诸多领域。尽管受控环境下的人脸识别模型已经达到了很高的精度，然而在无约束环境下的人脸识别还存在着许多挑战。在无约束环境中，人脸通常存在姿态变化，并伴有遮挡、光照和表情等其他影响因素。其中，包含姿态变化和遮挡的人脸图像对识别精度有较大影响。然而，现有的正面图像合成方法或人脸去遮挡方法仅分别关注这两个问题中的一个，这使其成为一个紧迫但尚未解决的问题。
[0003]为了解决姿态变化带给人脸识别的挑战，近几年研究者们开始专注于一项热门且富有挑战的研究课题，凭借一张任意角度的人脸图像准确的合成出一张标准清晰的正脸图像，即人脸正面图像合成。另一方面，人脸去遮挡技术通过恢复人脸的遮挡区域的方式解决人脸识别中的遮挡问题。目前，仅有极少数方法考虑将人脸去遮挡作为正面图像合成的预处理来同时解决这两个问题。此类同时解决姿态变化和遮挡的代表方法有：TS
‑
GAN(Simultaneous Face Completion and Frontalization via Mask Guided Two
‑
Stage GAN),IF
‑
GAN(Generative Adversarial Network for Identity Preserving Facial Image Inpainting and Frontalization)以及CFR
‑
GAN(Complete Face Recovery GAN:Unsupervised Joint Face Rotation and De
‑
Occlusion from a Single
‑
View Image)。该类方法的核心思想是先通过去遮挡得到完整的侧面人脸图像，然后再对该图像进行正面图像合成操作，从而得到正面无遮挡的人脸图像。然而，第一步去遮挡的结果将干扰第二步正面图象合成的结果。此外，由于姿态变化和遮挡同时出现会进一步破坏面部结构信息，因此单独解决其中一个问题无法有效地恢复身份信息，这将直接导致人脸识别精度的下降。最后，该类方法大多数需要将遮挡信息作为输入提供给网络，因此该类方法难以应对现实场景中的随机遮挡问题。因此，如何缓解因此姿态变化和遮挡共同导致的人脸识别精度下降挑战成为了一个急需解决但是未被充分研究的问题。为了解决以上问题，本专利技术提出一种协作渐进生成对抗网络的人脸正面图像合成方法。
[0004]CN109815928B，一种基于对抗学习的人脸图像合成方法和装置。该方法提供一种新型的生成对抗网络(FC
‑
GAN)，旨在从遮挡的人脸图像合成标准光照下的正面人脸图像。FC
‑
GAN使用一个编码器
‑
解码器的卷积神经网络结构作为生成器，同时引入了两个判别器：一个是全局判别器，用于区分整张人脸图像的真实性，同时保持人的身份信息不变；另一个是局部判别器，用于区分人脸中遮挡区域的真实性。此外引入一个人脸语义分割网络强化生成图像中人脸五官的一致性。通过对比合成人脸图像和真实人脸图像的语义标签，反传梯度给生成器调整合成人脸图像的五官。基准数据集Multi
‑
PIE上的实验结果表明，FC
‑
GAN
的性能优于现有的大多数方法。
[0005]FC
‑
GAN(CN109815928B)被提出完成类似的任务，即遮挡下的正面图像合成。FC
‑
GAN使用一个编码器
‑
解码器的卷积神经网络结构作为生成器，同时引入了两个判别器用于判断合成图像中全局与局部图像的真实性，并且使用人脸语义分割网络引导生成器关注人脸五官的一致性。然而，FC
‑
GAN存在两个主要的问题：1)遮挡区域作为一个重要的先验信息没有被利用，这使得该方法不能直接关注遮挡区域的图像恢复，并且遮挡区域的遮挡物信息将损坏人脸图像特征，最终导致合成图像的质量。与FC
‑
GAN不同，本专利技术提出了基于拓扑结构引导的遮挡检测网络，用于精准定位遮挡区域，从而保留未遮挡区域，过滤遮挡信息。2)由于姿态变化和遮挡的共存，执行该任务需要将其分解为人脸去遮挡和正面图像合成两项任务，并且这两项任务之间的互助性也需要被充分考虑。作为单阶段方法，FC
‑
GAN不能很好地处理这两个任务，并且该方法的去遮挡过程是不可解释，也无法利用任务间的互助性，这些缺陷限制了它的扩展性。与FC
‑
GAN相比，本专利技术提出了一个新的双通道生成对抗网络，用于分别处理人脸去遮挡和正面图像合成。同时，本专利技术引入渐进式的生成策略，使得两个通道在渐进生成的过程中相互协作来感知任务间的互补特征。

技术实现思路

[0006]本专利技术旨在解决以上现有技术的问题。提出了一种协作渐进生成对抗网络的人脸正面图像合成方法。本专利技术的技术方案如下：
[0007]一种协作渐进生成对抗网络的人脸正面图像合成方法，其包括以下步骤：
[0008]步骤1、将一张包含姿态变化和遮挡的人脸图像输入到CP
‑
GAN遮挡检测网络中，定位人脸的遮挡区域，从而保留未遮挡区域；
[0009]步骤2、将所述遮挡检测网络处理后的人脸图像以及姿态编码输入到CP
‑
GAN双通道协同对抗生成网络中，通过对抗生成网络的生成器多次迭代逐步转正人脸图像和恢复人脸遮挡区域；
[0010]步骤3、将合成图片以及数据库中对应的真实图像分别输入正面化判别器和去遮挡判别器，通过所述判别器区分人脸图像的真实性，并且使用交叉熵损失、对抗损失、像素级损失、人脸身份损失和对称损失构建最终的损失函数，通多生成对抗网络的对抗训练，更新参数得到目标网络模型。
[0011]进一步的，所述步骤1将一张包含姿态和遮挡变化的人脸图像输入到CP
‑
GAN遮挡检测网络，有效定位人脸的遮挡区域，从而保留未遮挡区域，具体包括以下步骤：
[0012]A1、将训练图像输入到遮挡检测网络，遮挡检测网络以U
‑
Net结构作为基础网络结构，对输入图像编码提取特征，得到各层特征F1，F2，F3，F4，然后通过跳跃连接到对应解码器用于检测遮挡区域，从而保留未遮挡区域；
[0013]A2、为了充分利用人脸结构以及遮挡物的拓扑特征信息以进行遮挡检测，通过采用拓扑结构感知模块将上述特征F1，F2在跳跃连接前进行特征优化，得到含有人脸和遮挡区域结构信息的拓扑特征；
[0014]A3、设计一个拓扑特征感知模块，在进行不同层的跳跃连接之间，先将F1和F2在输入到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协作渐进生成对抗网络的人脸正面图像合成方法，其特征在于，包括以下步骤：步骤1、将一张包含姿态变化和遮挡的人脸图像输入到CP
‑
GAN遮挡检测网络中，定位人脸的遮挡区域，从而保留未遮挡区域；步骤2、将所述遮挡检测网络处理后的人脸图像以及姿态编码输入到CP
‑
GAN双通道协同对抗生成网络中，通过对抗生成网络的生成器多次迭代逐步转正人脸图像和恢复人脸遮挡区域；步骤3、将合成图片以及数据库中对应的真实图像分别输入正面化判别器和去遮挡判别器，通过所述判别器区分人脸图像的真实性，并且使用交叉熵损失、对抗损失、像素级损失、人脸身份损失和对称损失构建最终的损失函数，通多生成对抗网络的对抗训练，更新参数得到目标网络模型。2.根据权利要求1所述的一种协作渐进生成对抗网络的人脸正面图像合成方法，其特征在于，所述步骤1将一张包含姿态和遮挡变化的人脸图像输入到CP
‑
GAN遮挡检测网络，有效定位人脸的遮挡区域，从而保留未遮挡区域，具体包括以下步骤：A1、将训练图像输入到遮挡检测网络，遮挡检测网络以U
‑
Net结构作为基础网络结构，对输入图像编码提取特征，得到各层特征F1，F2，F3，F4，然后通过跳跃连接到对应解码器用于检测遮挡区域，从而保留未遮挡区域；A2、为了充分利用人脸结构以及遮挡物的拓扑特征信息以进行遮挡检测，通过采用拓扑结构感知模块将上述特征F1，F2在跳跃连接前进行特征优化，得到含有人脸和遮挡区域结构信息的拓扑特征；A3、设计一个拓扑特征感知模块，在进行不同层的跳跃连接之间，先将F1和F2在输入到拓扑结构感知模块中进行优化，得到拓扑结构特征。3.根据权利要求2所述的一种协作渐进生成对抗网络的人脸正面图像合成方法，其特征在于，所述步骤A2通过采用拓扑结构感知模块将上述特征F1，F2在跳跃连接前进行特征优化，得到含有人脸和遮挡区域结构信息的拓扑特征，具体包括：B1、对输入特征进行可变形卷积，首先将原始特征输入到一个卷积层中获取每个采样点的偏移量offset，然后可变形卷积根据offset对原始特征进行采样，其公式为：其中x代表F1、F2，x
′
o
表示通过可变形卷积增强后包含结构信息的特征，给定一个有k个采样位置的卷积核，w(p
k
)表示可变形卷积的卷积核权重，p表示卷积核中心位置，而k＝{1,
…
,|R|}，而p
k
表示原始采样点位置，Δp
k
表示学习的offset，Δm
k
用于指出第k个采样位置的重要程度，R＝{(
‑
1,
‑
1),(
‑
1,0),
…
,(0,1),(1,1)}表示一个3
×
3规则的卷积核，通过公式(1)得到x
′
o
；B2、对输入特征使用通道注意力机制进行特征增强得到增强后的特征x
′
e
，通道注意力能够找出更具判别力的通道用于遮挡检测；B3、将x
′
o
和x
′
e
进行特征拼接，得到拓扑结构特征x
′
输出到跳跃连接中，从而最终得到遮挡区域信息M
′
。4.根据权利要求3所述的一种协作渐进生成对抗网络的人脸正面图像合成方法，其特征在于，所述步骤B3将x
′
o
和x
′
e
进行特征拼接，得到拓扑结构特征x
′
输出到跳跃连接中，并
且最终得到遮挡区域信息M
′
，通过和遮挡区域标签进行二进制交叉熵损失的计算来优化遮挡检测网络，其具体公式为：其中，N是每个图像的总像素数，M表示检测标签，而M
′
表示检测网络的输出；最后，以0.5为阈值对检测图进行二值化，为双通道生成对抗网络提供指导。5.根据权利要求4所述的一种协作渐进生成对抗网络的人脸正面图像合成方法，其特征在于，所述步骤2将所述遮挡检测网络处理后的人脸图像以及姿态编码输入到CP
‑
GAN双通道协同对抗生成网络中，通过所述生成器生成特定姿态人脸图像和恢复人脸遮挡区域，并且通过多次迭代逐步转正人脸图像，具体包括以下步骤，C1、首先将原始图像、遮挡区域以及目标姿态编码输入到CP
‑
GAN双通道网络，分为正面化通道和去遮挡通道，用公式表示为：化通道和去遮挡通道，用公式表示为：其中为第I次人脸旋转结果，为第I次人脸去遮挡的结果，P
I
为第I次需要...

【专利技术属性】
技术研发人员：周丽芳，张合龙，李伟生，吴非，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：