一种基于FaceNet改进的口罩遮挡下的人脸识别方法技术

本发明专利技术公开了一种基于FaceNet改进的口罩遮挡条件下的人脸识别方法，其包括如下步骤：(1)下载原始人脸数据集(2)输入MTCNN网络中进行人脸检测，裁剪和对齐(3)将预处理后的数据集附上模拟口罩(4)将数据集划分为训练集，验证集和测试集，并分别创建csv表格文件保存所有图像路径并设置标签(5)将训练集输入改进的FaceNet网络模型中进行训练(6)将验证集输入训练好的网络模型中，并与其它图像进行配对，通过计算特征向量之间的欧氏距离来判断人脸相似度(7)利用训练好的网络模型对测试集进行人脸识别。本发明专利技术改进的FaceNet算法在保证了识别速度的前提下，提高了对戴口罩人脸的识别准确率，具有较强的泛化能力。具有较强的泛化能力。具有较强的泛化能力。

【技术实现步骤摘要】
一种基于FaceNet改进的口罩遮挡下的人脸识别方法


[0001]本专利技术涉及人工智能，深度学习和目标检测领域，具体涉及一种基于FaceNet改进的口罩遮挡下的人脸识别方法。

技术介绍

[0002]随着计算机的信息化发展和人工智能的崛起，涌现出了许多用于深度学习的算法，并且还在持续地改进和优化，其中人脸识别作为计算机视觉任务中的基础任务，其研究意义和使用场景非常广泛。然而，现在关于人脸识别的研究几乎都是建立在标准人脸之上的，不能出现姿态、面部表情、遮挡及光照不理想等情况。但在现实情况中总是不能采集到高质量的人脸图像，从而使人脸识别性能收到比较大的影响。
[0003]关于口罩人脸这种更加极端的现实场景，几乎没有相关的研究，其主要原因是研究难度大，同时也没有成型规范的口罩人脸数据集提供。除此之外，标准人脸识别几乎达到了识别精度饱和的状态。
[0004]目前主流的基于深度学习的人脸检测算法主要可以分为两类：一类是主干网络没有RPN的One
‑
stage 系列算法，另一类是主干网络有RPN的Two
‑
stage系列算法。其中One
‑
stage目标检测算法的典型代表有 YOLO,SSD等，它的具体检测步骤是直接使用卷积神经网络对目标进行特征提取得到特征向量，也是一种端到端的检测算法。Two
‑
stage目标检测算法的典型代表有MTCNN、R
‑
CNN、Fast R
‑
CNN和Faster R
‑
CNN等，它的具体检测步骤是先使用卷积神经网络对目标进行特征提取，接着通过RPN网络提取候选区域，最后再通过全连接层得到特征向量。
[0005]MTCNN是张开鹏发布的用于人脸检测，对齐和裁剪的卷积神经网络。他的研究团队提出了一个深度级联的多任务框架，利用检测、对齐和裁剪之间的内在相关性来提高它们的性能。由于精心设计的级联架构、在线硬样本挖掘策略和联合人脸对齐学习，MTCNN在人脸检测、对齐和裁剪方面获得了高性能。目前，很多人脸识别系统都会先应用MTCNN模型进行人脸检测、对齐和裁剪，然后再将图像拟合到人脸识别中。这个动作可以减少无用的背景或噪声对人脸识别模型性能的影响。
[0006]由于MTCNN仅能对人脸检测出眼睛、鼻子和嘴巴等五个关键点，而戴上口罩的人脸已经遮挡住鼻子和嘴巴，因此，本专利技术只利用MTCNN的人脸检测，对齐和裁剪功能，除去人脸关键点检测功能。该模型主要采用了三个级联的网络：P
‑
Net，R
‑
Net和O
‑
Net。P
‑
Net的基本构造是一个全卷积网络，对上一步构建完成的图像金字塔进行初步特征提取与定边框，并进行边界框回归调整窗口与NMS进行大部分窗口过滤。 R
‑
Net相对于第一层的P
‑
Net来说，增加了一个全连接层，在图片经过后，会留下许多预测窗口，它会滤除大量效果比较差的候选框，最后对选定的候选框进行边界框回归和NMS进一步优化预测结果。O
‑
Net相对于R
‑
Net来说多了一个卷积层，区别在于这一层结构会通过更多的监督来识别面部的区域。
[0007]基于深度学习的人脸识别技术在学术界和工业界也取得了很多令人瞩目的成果，在FaceNet中作者针对人脸识别提出了一种新的损失函数Triplet loss，它的原理是从训
练数据集中随机选取一个样本，该样本称为Anchor，Negative为负样本，与Anchor不属于同一个人，Positive为正样本，与Anchor同属于一个人。模型训练时，计算Anchor与正负样本之间的欧氏距离，不断增大Anchor与负样本之间距离的同时减小 Anchor与正样本的距离，通过这种方式实现距离大于类内距离的目的，最后得到有区分度的人脸特征。
[0008]虽然FaceNet在已有数据集上的识别率已经超过了人工，但它在模型训练过程表现很不稳定，不能够获得更好的特征提取能力，并需要花较长时间来根据结果不断调节参数。因此，需要对FaceNet算法进行改进，在保证识别实时性的前提下，以满足目标较小的戴口罩人脸的高识别准确率。

技术实现思路

[0009]为解决上述问题，本专利技术提供一种基于FaceNet改进的口罩遮挡下的人脸识别方法，在保证了识别速度的前提下，提高了对戴口罩人脸的识别准确率。
[0010]实现本专利技术目的的技术方案是：
[0011]基于FaceNet改进的口罩遮挡条件下的人脸识别方法，包括以下步骤：
[0012](1)下载CASIA和LFW原始数据集，并输入MTCNN网络中进行人脸检测，对齐和裁剪；
[0013](2)对预处理后的CASIA和LFW数据集附上模拟口罩，并分别命名为Mask
‑
CASIA和Mask
‑
LFW；
[0014](3)创建csv格式的表格文件保存所有图像路径并设置标签；
[0015](4)构建改进的FaceNet网络模型，并采用戴口罩人脸训练集对改进后的网络模型进行训练；
[0016](5)将戴口罩人脸验证集输入进训练好的改进的FaceNet网络模型中，并与其它图像进行配对，通过计算特征向量之间的欧氏距离来判断人脸相似度；
[0017](6)将戴口罩人脸测试集输入进训练好的改进的FaceNet网络模型中，进行人脸识别；
[0018](7)调试参数，保存最优结果。
[0019]所述方法的具体步骤如下：
[0020]步骤(1)中所述的具体过程如下：
[0021](1
‑
1)将附上口罩的人脸数据集输入P
‑
Net网络中生成人脸候选回归框，并利用NMS算法来合并高度重叠的候选框；
[0022](1
‑
2)将生成的人脸候选回归框输入R
‑
Net网络中以进行更严格地筛选,并利用NMS算法来输出筛选后的回归特征；
[0023](1
‑
3)将筛选后的人脸候选框输入O
‑
Net网络中以进行更为精确地筛选，并利用NMS算法来输出最准确的人脸候选框；
[0024](1
‑
4)将所有最准确的人脸候选框进行对齐并裁剪为128
×
128的图像尺寸大小；
[0025]步骤(2)中所述的对预处理后的CASIA和LFW数据集附上模拟口罩包括；
[0026]MaskTheFace是一个可以将不同种类的口罩附着在人脸图像的Github包，使用此工具在CASIA
‑ꢀ
Webface数据集和LFW数据集中的图像中添加五种不同类别的口罩，包括绿色外科口罩、蓝色外科口罩、白色N95口罩、白色KN
‑
95口罩和黑色布口罩；
[0027]步骤(3)中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FaceNet改进的口罩遮挡条件下的人脸识别方法，其特征在于，包括如下计算步骤：步骤1：下载原始人脸数据集，并输入MTCNN网络中进行人脸检测，对齐和裁剪；步骤2：将预处理后的数据集附上模拟口罩；步骤3：创建csv表格文件保存所有图像路径并设置标签；步骤4：改进FaceNet人脸识别算法；步骤401：将SE
‑
ResNeXt50网络作为FaceNet的主干网络；步骤402：将FaceNet中的全局平均池化层改为广义平均池化层GeM(generalized mean pooling)；步骤403：将FaceNet中的Triplet Loss损失函数替换为ArcFace Loss损失函数；步骤5：将训练集输入改进后的FaceNet网络进行训练，并保存最佳的网络模型；步骤6：将验证集输入训练最佳网络模型中，验证改进后模型的训练效果；步骤7：将测试集输入训练最佳网络模型中，测试改进后模型的识别效果。2.根据权利要求1所述的一种基于FaceNet改进的口罩遮挡条件下的人脸识别方法，其特征在于，所述步骤1中，由于精心设计的级联架构、在线硬样本挖掘策略和联合人脸对齐学习，MTCNN在人脸检测、对齐和裁剪方面获得了高性能。目前，很多人脸识别系统都会先应用MTCNN模型进行人脸检测、对齐和裁剪，然后再将图像拟合到人脸识别中。这个动作可以减少无用的背景或噪声对人脸识别模型性能的影响。3.根据权利要求1所述的一种基于FaceNet改进的口罩遮挡条件下的人脸识别方法，其特征在于，所述步骤2中，使用一个名为MaskTheFace的工具来模拟基于CASIA和LFW人脸图像数据集的口罩遮挡下的人脸图像，并选择几个不同的面具来模拟，包括绿色外科口罩、蓝色外科口罩、白色N95口罩、白色KN
‑
95口罩和黑色布口罩。4.根据权利要求1所述的一种基于FaceNet改进的口罩遮挡条件下的人脸识别方法，其特征在于，所述步骤3中，将预处理后的CASIA数据集中取出492800张图像作为训练集，将预处理后的LFW数据集中取出57600张图像作为验证集，取出6400张与验证集不同的图像作为测试集。...

【专利技术属性】
技术研发人员：张开玉，时宁，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：