一种基于特征重建的人脸去遮挡方法技术

本发明专利技术公开了一种基于特征重建的人脸去遮挡方法，包括如下步骤：准备人脸图像数据集和遮挡物图像数据集，获取原始人脸图像、有遮挡人脸图像和二进制遮挡物掩码图组成的三元组数据集。构建遮挡鲁棒的人脸分割网络，从有遮挡人脸图像中获取遮挡物位置信息和人脸结构信息。构建遮挡提取器，利用遮挡物位置信息从遮挡人脸图像中提取粗糙的遮挡物掩码，并利用细化模块对掩码进行微调。构建人脸生成器，首先参照人脸分割图中的结构信息重建人脸图像的整体结构，然后利用缺失区域的临近区域信息和所属特征的内部信息对重点区域进行细化。本发明专利技术可以自动检测和去除单个和多个遮挡，是处理多样化遮挡的通用解决方案。处理多样化遮挡的通用解决方案。

【技术实现步骤摘要】
一种基于特征重建的人脸去遮挡方法


[0001]本专利技术属于计算机视觉领域，特别涉及一种基于特征重建的人脸去遮挡方法。

技术介绍

[0002]在人脸相关任务的研究中，人脸遮挡(如手、口罩、眼镜等)一直是一个常见的干扰因素。当人脸图像中存在遮挡物时，会导致一些人脸特征消失，从而导致人脸相关任务的准确性大幅下降。同时，由于人脸遮挡存在各种形状和类型、不固定的位置以及其他不可预测的遮挡特性，与其他干扰因素如光照和姿势相比，处理起来更加吃力。为了自动消除人脸遮挡并生成无遮挡的人脸图像，人们提出了人脸去遮挡技术，它可以作为协助其他人脸相关任务的预处理步骤。例如，它可以被用于监控系统，自动生成嫌疑人可能的面部图像，从而帮助执法机构。此外，它还可以被整合到门禁系统中，提高人脸识别的效率。因此，对人脸识别技术的研究具有重要的现实意义。
[0003]传统技术的主要思路是根据现有信息对图像进行修复。由于人脸图像的每个部分都有自己的特点，他们的结果远远不能令人满意。
[0004]最近，基于深度学习的人脸去遮挡技术被提出，并取得了较好的效果。例如，Pathak D等人[1]首次提出了一种基于深度学习的图像修复方法。Iizuka S等人[2]提出使用全局判别器和局部判别器进行训练。Yu J等人[3]提出了一种基于门控卷积的修复任意形状缺失区域的技术。Dong J等人[4]通过引入遮挡感知阶段，将模型从手动标记遮挡的限制中解放出来，使模型可以自由处理各种人脸遮挡。上述方法使得利用深度学习技术来解决人脸遮挡的问题成为可能。但是，这些方法生成的图像分辨率较低，难以满足现实需求。
[0005]为了满足真实场景的应用，人们提出了高分辨率人脸图像的去遮挡方法。Nazeri K等人[5]提出了一个利用边缘图来指导图像修复的技术。Guo X等人[6]提出了一个双流网络，它以耦合的方式对结构约束的纹理合成和纹理引导的结构重建进行建模。Wang N等人[7]在U
‑
Net结构中加入了动态选择机制。Zhu M等人[8]提出了“不同卷积窗使用不同卷积核”的机制来指导图像修复。这些方法在处理人脸去遮挡方面表现出了很好的效果，然而，它们中的大多数是一般的图像修复方法，并不是专门为人脸去遮挡任务而设计的。此外，它们通常需要手动标记被遮挡的区域，这在实际应用中可能很耗时，而且有一定的限制。
[0006]此外，还有一些专为特定遮挡物设计的人脸去遮挡技术。例如，Hu B等人、Lee Y H等人、Lyu J等人[9,10,11]提出了去除眼镜的框架。尽管这些方法在去除眼镜方面显示出了成功，但它们难以直接推广到现实世界场景中常见的其他类型的遮挡物。

技术实现思路

[0007]专利技术目的：
[0008]人脸去遮挡对于提高人脸相关任务的准确性至关重要。然而，大多数现有的方法都是针对单个遮挡情况，这使得它们在同时存在多个遮挡的情况下无法达到最佳效果。为了解决这个问题，提出了一个新的基于特征重建的人脸去遮挡框架。它通过预测
‑
提取
‑
修
复的方法可以自动检测并去除单一和多个遮挡，使其成为处理多样化遮挡的通用解决方案。
[0009]为实现上述目的，本专利技术采用的技术方案为：
[0010]一种基于特征重建的人脸去遮挡方法包括如下步骤：
[0011]步骤1，获取原始人脸图像数据集、遮挡物数据集，从原始人脸图像数据集中筛选出无遮挡的人脸图像，对无遮挡的人脸图像利用遮挡物数据集添加一个或多个遮挡物得到有遮挡人脸图像数据集，得到一个由原始人脸图像数据集、遮挡物数据集、有遮挡人脸图像数据集组成的三元组数据集；
[0012]步骤2，搭建一个遮挡鲁棒的人脸分割模块，遮挡鲁棒的人脸分割模块的输入为步骤1得到的有遮挡人脸图像数据集，输出为遮挡分割图和人脸分割图，所述遮挡分割图中包含了遮挡物位置信息；
[0013]步骤3，搭建一个遮挡物提取器，遮挡物提取器的输入为步骤1得到的有遮挡人脸图像数据集和步骤2中输出的遮挡物位置信息，输出为二进制遮挡物掩码图；
[0014]步骤4，搭建一个人脸生成器，人脸生成器的输入为步骤1得到的有遮挡人脸图像数据集、步骤2中输出的人脸分割图和步骤3输出的二进制遮挡物掩码图，输出为去遮挡的人脸图像；
[0015]步骤5，构建包括遮挡鲁棒的人脸分割模块、遮挡物提取器和人脸生成器的网络模型，对网络模型进行训练，将训练好的网络模型用于人脸去遮挡。
[0016]优选的，所述步骤1中，选择CelebA
‑
HQ数据集作为原始人脸图像数据集，同时收集了若干眼镜图像、口罩图像、手型图像作为遮挡物数据集；有遮挡人脸图像数据集的获取包括以下步骤：
[0017]首先，筛选出CelebA
‑
HQ数据集中无遮挡的人脸图像，针对无遮挡的人脸图像利用dlib和OpenCV人脸检测模块得到人脸图像的人脸姿态角，根据人脸姿态角将无遮挡的人脸图像分为正面仰视，正面俯视，左侧偏角10
°
到40
°
，左侧偏角40
°
到60
°
，左侧偏角60
°
以上，右侧偏角10
°
到40
°
，右侧偏角40
°
到60
°
以及右侧偏角60
°
以上，同时将遮挡物数据集中的图像按照相同角度进行分类；接着，利用face_alignment库提取人脸特征，得到68个人脸关键点；最后，为无遮挡的人脸图像添加遮挡物数据集中的图像，得到有遮挡人脸图像数据集。
[0018]优选的，为了进一步拟合现实生活情况，为若干所述眼镜图像设置了随机的透明度；为了进一步模拟现实生活中遮挡物的类型多样，且可能同时出现多个遮挡的情况，为无遮挡的人脸图像添加遮挡物数据集中的图像时，为部分无遮挡的人脸图像在人脸区域添加随机位置的手型图像，为另一部分无遮挡的人脸图像同时添加眼镜图像和口罩图像。
[0019]优选的，遮挡鲁棒的人脸分割模块使用PP
‑
LiteSeg语义分割模型，PP
‑
LiteSeg语义分割模型的输入为有遮挡人脸图像数据集，输出为遮挡分割图和人脸分割图，所述遮挡分割图中包含了遮挡物位置信息。
[0020]优选的，遮挡物掩码提取器包括粗糙遮挡物掩码提取器和细化遮挡物掩码提取器：
[0021]所述粗糙遮挡物掩码提取器包括五个编码器和五个解码器，每个所述编码器均包括3*3Conv
‑
BN
‑
ReLU模块，每个所述Conv
‑
BN
‑
ReLU模块后串接三个残差块，最后一个所述残差块后接最大池层；每个所述解码器均利用双线性插值对最大池层的输出进行上采样，再
通过3*3Conv
‑
BN
‑
ReLU模块，并通过跳转连接与对应编码器的输出相连，得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征重建的人脸去遮挡方法，其特征在于，包括如下步骤：步骤1，获取原始人脸图像数据集、遮挡物数据集，从原始人脸图像数据集中筛选出无遮挡的人脸图像，对无遮挡的人脸图像利用遮挡物数据集添加一个或多个遮挡物得到有遮挡人脸图像数据集，得到一个由原始人脸图像数据集、遮挡物数据集、有遮挡人脸图像数据集组成的三元组数据集；步骤2，搭建一个遮挡鲁棒的人脸分割模块，遮挡鲁棒的人脸分割模块的输入为步骤1得到的有遮挡人脸图像数据集，输出为遮挡分割图和人脸分割图，所述遮挡分割图中包含了遮挡物位置信息；步骤3，搭建一个遮挡物提取器，遮挡物提取器的输入为步骤1得到的有遮挡人脸图像数据集和步骤2中输出的遮挡物位置信息，输出为二进制遮挡物掩码图；步骤4，搭建一个人脸生成器，人脸生成器的输入为步骤1得到的有遮挡人脸图像数据集、步骤2中输出的人脸分割图和步骤3输出的二进制遮挡物掩码图，输出为去遮挡的人脸图像；步骤5，构建包括遮挡鲁棒的人脸分割模块、遮挡物提取器和人脸生成器的网络模型，对网络模型进行训练，将训练好的网络模型用于人脸去遮挡。2.根据权利要求1所述的一种基于特征重建的人脸去遮挡方法，其特征在于：所述步骤1中，选择CelebA
‑
HQ数据集作为原始人脸图像数据集，同时收集了若干眼镜图像、口罩图像、手型图像作为遮挡物数据集；有遮挡人脸图像数据集的获取包括以下步骤：首先，筛选出CelebA
‑
HQ数据集中无遮挡的人脸图像，针对无遮挡的人脸图像利用dlib和OpenCV人脸检测模块得到人脸图像的人脸姿态角，根据人脸姿态角将无遮挡的人脸图像分为正面仰视，正面俯视，左侧偏角10
°
到40
°
，左侧偏角40
°
到60
°
，左侧偏角60
°
以上，右侧偏角10
°
到40
°
，右侧偏角40
°
到60
°
以及右侧偏角60
°
以上，同时将遮挡物数据集中的图像按照相同角度进行分类；接着，利用face_alignment库提取人脸特征，得到68个人脸关键点；最后，为无遮挡的人脸图像添加遮挡物数据集中的图像，得到有遮挡人脸图像数据集。3.根据权利要求2所述的一种基于特征重建的人脸去遮挡方法，其特征在于：所述步骤1中，为了进一步拟合现实生活情况，为若干所述眼镜图像设置了随机的透明度；为了进一步模拟现实生活中遮挡物的类型多样，且可能同时出现多个遮挡的情况，为无遮挡的人脸图像添加遮挡物数据集中的图像时，为部分无遮挡的人脸图像在人脸区域添加随机位置的手型图像，为另一部分无遮挡的人脸图像同时添加眼镜图像和口罩图像。4.根据权利要求3所述的一种基于特征重建的人脸去遮挡方法，其特征在于：所述步骤2中，遮挡鲁棒的人脸分割模块使用PP
‑
LiteSeg语义分割模型，PP
‑
LiteSeg语义分割模型的输入为有遮挡人脸图像数据集，输出为遮挡分割图和人脸分割图，所述遮挡分割图中包含了遮挡物位置信息。5.根据权利要求4所述的一种基于特征重建的人脸去遮挡方法，其特征在于：所述步骤3中，遮挡物掩码提取器包括粗糙遮挡物掩码提取器和细化遮挡物掩码提取器：所述粗糙遮挡物掩码提取器包括五个编码器和五个解码器，每个所述编码器均包括3*3Conv
‑
BN
‑
ReLU模块，每个所述Conv
‑
BN
‑
ReLU模块后串接三个残差块，最后一个所述残差块后接最大池层；每个所述解码器均利用双线性插值对最大池层的输出进行上采样，再通过3*3Conv
‑
BN
‑
ReLU模块，并通过跳转连接与对应编码器的输出相连，得到拼接的特征图，然
后将拼接的特征图再通过3*3Conv
‑
BN
‑
ReLU模块和串接的三个残差块，得到新的特征图,将最后一个解码器的输出结果通过1*1Conv和sigmoid激活函数，得到粗糙遮挡物掩码图；使用二进制交叉熵损失来对粗糙遮挡物掩码提取器进行训练：二进制交叉熵损失被定义为：其中，M
gt
代表真实的二进制遮挡物掩码图，M
c
代表输出的粗糙遮挡物掩码图，i，j代表坐标参数，代表M
gt
的第(i,j)项，代表M
c
的...

【专利技术属性】
技术研发人员：张立言，杜姗姗，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：