基于人脸修复的部分遮挡人脸识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于人脸修复的部分遮挡人脸识别方法及装置，识别方法利用基于生成式对抗网络的人脸修复算法修复人脸遮挡部分提高人脸识别精度；利用非遮挡人脸、对应的遮挡人脸图像、对应的人脸遮挡位置标签训练基于生成式对抗网络的人脸修复算法的人脸生成器、全局人脸判别器和局部人脸判别器；利用人脸生成器对输入的有遮挡人脸图像进行修复处理，获得修复后的人脸图像；利用人脸识别器对修复后的人脸图像进行特征提取，通过与样本库的数据比对获得人脸对应的身份信息。本发明专利技术采用人脸修复算法，有效提高了局部遮挡情况下的人脸识别精度。

【技术实现步骤摘要】
基于人脸修复的部分遮挡人脸识别方法及装置
本专利技术属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的人脸识别方法及装置。
技术介绍
在互联网和信息技术高速发展的时代，随着个人信息的隐私性和安全性越来越受到关注，人脸识别凭借便捷、高效等特征，逐渐成为了身份认证的主流技术手段。经过数十年的研究，人脸识别技术已经相对成熟，但是当人脸受到遮挡干扰时，基于深度学习的人脸识别算法性能会急剧下降，这是因为当人脸被遮挡时，人脸被遮挡部分的数据信息被遮挡物替代，在进行人脸比对时，类内的人脸样本差异被放大，识别受到影响。对于人类的视觉系统，即使当人脸被遮挡时，人脑会联想被遮挡部分的信息，从而识别遮挡人脸，这表明人类的神经系统具有从遮挡中修复损失的人脸信息的能力。受到这种生物原理的启发，研究人员提出了局部遮挡人脸识别方法，目前这些方法主要包括两类：一种是基于鲁棒特征提取的思想；一种是基于遮挡修复的思想。基于鲁棒特征提取的遮挡人脸识别方法使用添加随机遮挡的人脸数据集进行人脸识别神经网络的训练，使得网络对未遮挡的部分更加敏感，从而使得特征提取网络能够对遮挡鲁棒。而基于遮挡修复的遮挡人脸识别方法采用先修复遮挡人脸再进行识别的思路。这种方法的人脸修复步骤非常关键，早期的处理方式是采用子空间回归的方式，但是这类修复算法需要每个类别都有足够的样本进行训练，这在实际的应用中是不现实的。近年来，深度学习领域诞生了性能强大的GAN(生成式对抗网络)，随着GAN的不断发展，研究人员将各种GANs应用于人脸修复。基于GANs的人脸修复方法，能够根据未遮挡部分的图像信息预测遮挡部分的图像，由于深度神经网络能够提取图像高层语义特征，这类修复方法的修复效果更加逼真，从而在一定程度上提高了遮挡人脸的识别精度。但是，这两类局部遮挡人脸识别方法依然存在不足。其中，基于鲁棒特征提取的方法并不能从根本上解决问题，它只是使得网络从局部更加均匀地提取特征，不同遮挡情况的两张人脸图像的特征之间依然存在较大的差异。基于遮挡修复的方法的人脸修复算法的人脸修复效果依然不理想，存在修复区域图像模糊且一致性差的问题，方法对遮挡人脸识别精度的提高并不明显。
技术实现思路
为了提高局部遮挡人脸的识别精度，本专利技术提供了一种基于人脸修复的局部遮挡人脸识别方法及装置，该方法采用基于BEGAN的人脸修复改进算法对人脸遮挡部分进行修复，修复完成之后，再通过特征提取网络提取人脸的特征，从而实现遮挡人脸的识别。实现本专利技术目的的技术解决方案为：一种基于人脸修复的部分遮挡人脸识别方法，包括以下步骤：利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。进一步地，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练过程包括：从CASIAWebFace数据集中清洗数据并进行相应处理获得训练数据集；随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；从训练数据集中随机选取一批人脸图像对，形成训练样本批；将训练样本中的遮挡人脸图像输入人脸生成器，得到当前的生成人脸图像；利用生成人脸图像与对应的真实非遮挡人脸图像，分别计算它们在生成器上的自动编码器损失，根据两者自动编码器损失之间的距离获得生成损失，根据生成损失进行优化，更新人脸生成器的网络参数；利用生成人脸图像与对应的输入非遮挡人脸图像，通过计算它们在全局人脸判别器和局部人脸判别器上的损失，分别得到全局判别损失和局部判别损失；全局判别损失和局部判别损失进行加权累加，得到总的判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络的参数；从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有的图像对都被使用后完成一轮迭代；进行下一轮迭代，直到迭代轮次达到预先设定的阈值或者生成损失低于预先设定的阈值或者判别损失低于预先设定的阈值。进一步地，所述全局判别损失、所述局部判别损失采用以下方法获得：将每对生成人脸图像与对应的真实非遮挡人脸图像送入全局人脸判别器，分别计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的全局判别损失；截取每对生成人脸图像与对应的真实非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，并计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的局部判别损失。进一步地，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练数据集由大量人脸图像对组成，每对图像包括一张非遮挡人脸图像及对应的遮挡人脸图像；所述训练数据集由CASIAWebFace人脸数据集经过处理而来，首先清洗掉CASIAWebFace人脸数据集中受遮挡、光照、角度以及人物本身胖瘦长幼的变化干扰的图像，通过人脸检测器获得图像中的人脸数据，并将人脸图像数据缩放至固定尺寸，得到对齐的人脸图像，然后拷贝一份非遮挡人脸图像，对拷贝图像添加随机矩形遮挡，形成遮挡人脸图像。进一步地，所述自动编码器包括编码和解码网络，原始的自动编码器的编码网络采用典型的CNN，它包括卷积层、池化层、全连接层，为了提高网络的特征提取能力，将编码网络替换为全卷积网络，具体包括：将全连接层替换为1*1的卷积层，将池化层替换为步长较大的卷积层；相应地，将解码网络中的上池化层替换为步长较大的反卷积层，将全连接层替换为1*1的反卷积层。进一步地，所述自动编码器损失L(v)＝|v-D(v)|η，其中，为自动编码器函数，v为判别器的输入，η∈{1,2}为目标范数，则全局判别损失其中xg为全局真实人脸图像，为全局生成人脸图像，为生成器输出的全局生成样本数据；局部判别损失其中xl为局部真实人脸图像，为局部生成人脸图像，为生成器输出的局部生成样本数据。进一步地，所述判别损失由全局判别损失和局部判别损失加权累加得到，具体采用下式计算：μ＝0.9τρ+0.1τwc＝xi+wi/2其中本文档来自技高网...

【技术保护点】
1.一种基于人脸修复的部分遮挡人脸识别方法，其特征在于，包括以下步骤：/n利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；/n利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；/n利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；/n利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；/n利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；/n利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；/n利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；/n利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。/n

【技术特征摘要】
1.一种基于人脸修复的部分遮挡人脸识别方法，其特征在于，包括以下步骤：
利用带人脸框位置标签的人脸图像数据集训练一个深度神经网络，作为人脸检测器；
利用带遮挡物位置标签的人脸图像数据集训练一个深度神经网络，作为遮挡检测器；
利用带身份标签的人脸图像数据集训练一个深度神经网络，作为人脸识别器；
利用带遮挡位置标签的非遮挡人脸图像、对应的有遮挡人脸全局图像、对应的人脸遮挡局部图像数据集，在生成式对抗网络框架中训练一个深度神经网络，作为人脸生成器；再训练两个深度神经网络，分别作为全局人脸判别器和局部人脸判别器；
利用获得的人脸检测器对输入的有遮挡的人脸图像进行人脸检测，获得对齐后的人脸图像；
利用获得的遮挡检测器对人脸对齐后的有遮挡人脸图像进行遮挡检测，获得遮挡位置标签；
利用获得的人脸生成器对输入的有遮挡的人脸图像进行修复处理，获得修复后的人脸图像；
利用获得的人脸特征和样本库中人脸特征进行比对，获得人脸的身份信息。


2.根据权利要求1所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述人脸生成器、全局人脸判别器和局部人脸判别器的训练过程包括：
从CASIAWebFace数据集中清洗数据并进行相应处理获得训练数据集；
随机初始化人脸生成器和人脸判别器的网络参数，然后以批次形式进行多轮迭代训练；
从训练数据集中随机选取一批人脸图像对，形成训练样本批；
将训练样本中的遮挡人脸图像输入人脸生成器，得到当前的生成人脸图像；
利用生成人脸图像与对应的真实非遮挡人脸图像，分别计算它们在生成器上的自动编码器损失，根据两者自动编码器损失之间的距离获得生成损失，根据生成损失进行优化，更新人脸生成器的网络参数；
利用生成人脸图像与对应的输入非遮挡人脸图像，通过计算它们在全局人脸判别器和局部人脸判别器上的损失，分别得到全局判别损失和局部判别损失；
全局判别损失和局部判别损失进行加权累加，得到总的判别损失，根据判别损失进行优化，更新人脸判别器的网络参数；将基于更新后的人脸判别器的判别损失传递到人脸生成器，对人脸生成器进行优化，更新人脸生成器的网络的参数；
从剩下的训练数据集中再随机选择一批人脸图像对，形成训练样本批，重复上述的训练操作；当训练数据集中所有的图像对都被使用后完成一轮迭代；
进行下一轮迭代，直到迭代轮次达到预先设定的阈值或者生成损失低于预先设定的阈值或者判别损失低于预先设定的阈值。


3.根据权利要求2所述的基于人脸修复的部分遮挡人脸识别方法，其特征在于，所述全局判别损失、所述局部判别损失采用以下方法获得：
将每对生成人脸图像与对应的真实非遮挡人脸图像送入全局人脸判别器，分别计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的全局判别损失；
截取每对生成人脸图像与对应的真实非遮挡人脸图像中的修复区域，分别送入局部人脸判别器，并计算两者在全局人脸判别器上的自动编码器损失，并计算两者自动编码器损失之间的距离，得到该图像对的局部判别损失。


4.根据权...

【专利技术属性】
技术研发人员：许松伟，樊卫华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32