一种轻量化高性能的口罩人脸识别方法技术

本发明专利技术公开了一种轻量化高性能的口罩人脸识别方法，包括：对人脸样本图片进行采集并预处理；对预处理后的人脸图片进行口罩图像拼接，获取口罩人脸数据集；以MobileNetV2骨干网络为架构，引入混合注意力机制CBAM模块改造骨干网络中Bottleneck结构以用于对图像特征的提取；搭建人脸检测网络构建眼部特征增强模块，将眼部特征增强模块产生的特征图与上一步得到的特征图融合，最终实现口罩遮挡下的人脸识别。该方法可以能够提取到更丰富的人脸特征，有效地提高了在口罩遮挡下的人脸识别准确率，解决当下环境的口罩人脸识别问题。解决当下环境的口罩人脸识别问题。解决当下环境的口罩人脸识别问题。

【技术实现步骤摘要】
一种轻量化高性能的口罩人脸识别方法


[0001]本专利技术涉及一种人脸识别方法，具体涉及一种轻量化高性能的口罩人脸识别方法。

技术介绍

[0002]人脸识别作为计算机视觉领域中最早得以实际应用并且应用范围最广泛的技术之一，已经成为人们日常生活中不可或缺的一部分。近年来，由于深度学习技术的快速发展，使得人脸识别技术已经在计算机视觉中得到了广泛的应用。随着深度神经网络技术的不断发展，与常规的人脸识别技术相比，它在精度上有了很大的提高，并在实际中得到了广泛的运用。
[0003]目前先进的人脸识别方法都是基于深度学习模型，这些模型已经能够在公共基准上取得令人印象深刻的性能。然而，基于深度学习的人脸识别在新的具有挑战性的工作条件下表现不佳，例如戴口罩造成的对人脸的遮挡。人脸遮挡问题已经被学界在人脸识别解决方案的范围内广泛解决。大多数现有的工作考虑的是在无约束条件下常见的通用遮挡，在口罩等特定物体面前，这些方法的性能往往会大幅下降，因为这些物体遮挡了大量的面部特征，包括嘴和鼻子等重要面部区域。
[0004]轻量化的人脸识别可以在计算资源有限或计算能力较弱的硬件平台上实现快速和准确的人脸识别。传统的人脸识别技术需要高性能的硬件才能实现准确的人脸识别，但是轻量化技术可以通过对模型进行优化，减小其体积和计算量，以适应不同的硬件平台，如智能手机、嵌入式系统和便携式设备等。
[0005]除了在疫情期间的口罩人脸识别应用，轻量化的人脸识别技术还可以应用于门禁系统、支付安全、智能家居、无人售货等各种场景，为用户带来更加便捷、安全和高效的体验。
[0006]综上所述，研究轻量化的高性能口罩人脸识别技术不仅对减少防控人员的人力投入和防疫机制的完善有着重要作用，而且轻量化技术的普及有助于推进口罩人脸识别技术在不同硬件平台上的应用。
[0007]因此，轻量化口罩人脸识别已经成为帮助全球社会减少病毒感染的一项至关重要的计算机视觉任务。

技术实现思路

[0008]本专利技术的目的在于克服现有技术的缺点与不足，提出一种轻量化高性能的口罩人脸识别方法。
[0009]为实现上述目的，本专利技术所提供的技术方案为：第一方面，本专利技术提供一种轻量化高性能的口罩人脸识别方法，包括以下步骤：
[0010]步骤1：采集人脸数据集图像并进行预处理；
[0011]步骤2：对采集人脸数据集图像进行口罩图像拼接操作；
[0012]步骤3：以MobileNetV2骨干网络为架构，引入混合注意力机制CBAM模块改造骨干网络中Bottleneck结构以用于对图像特征的提取；
[0013]步骤4：搭建人脸检测网络构建眼部特征增强模块，将眼部特征增强模块产生的特征图与步骤S3产生的特征图融合，最终实现口罩遮挡下的人脸识别。
[0014]第二方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
[0015]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
[0016]第四方面，本专利技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
[0017]与现有技术相比，本专利技术的有益效果为：
[0018](1)本专利技术针对口罩人脸数据集缺失问题，使用人工生成虚拟样本方法，来帮助模型进行训练。
[0019](2)本专利技术针对口罩遮挡后人脸图像大量特征减少问题，对现有特征进行增强并加强了网络对未被遮挡特征的提取能力。
[0020](3)本专利技术针对边缘计算设备算力弱、运行内存小等问题，构建轻量化模型，完成口罩人脸识别功能。
附图说明
[0021]图1为本专利技术混合注意力CBAM模块图。
[0022]图2为本专利技术Bottleneck改进方法图。
[0023]图3为本专利技术特征多级融合图。
[0024]图4为本专利技术训练精度、测试精度及损失曲线图。
[0025]图5为本专利技术口罩人脸识别模型框架图。
具体实施方式
[0026]为使本专利技术的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本专利技术作进一步详细的说明。
[0027]由于现有的人脸识别方法及系统都是针对标准人脸的，但口罩遮挡一部分面部特征导致算法提取到的人脸特征不充分，从而降低人脸识别准确率。所以本专利技术实例，提出一种用于轻量化高精度的口罩人脸识别算法，包括以内容：
[0028]步骤S1、人脸数据集图像的采集和预处理，具体包含以下步骤。
[0029]步骤S11：通过对已有的开源数据集DeepGlint和CASIA
‑
Webface的收集完成人脸数据集的采集；
[0030]步骤S12：从DeepGlint数据集中剔除掉MS
‑
Celeb
‑
1M部分，仅保留Asian
‑
Celeb部分；
[0031]步骤S2、采集人脸数据集图像进行口罩图像拼接，具体包含以下步骤。
[0032]步骤S21：将DeepGlint和CASIA
‑
Webface中每个人脸身份分离出两张图像；
[0033]步骤S22：通过开源程序，使用步骤S21分离出的图像生成口罩遮挡人脸图像并用其替换原始图像；
[0034]步骤S3、以MobileNetV2骨干网络为架构，引入混合注意力机制CBAM模块改造骨干网络中Bottleneck结构以用于对图像特征的提取，网络结构如表1所示。
[0035]表1MobileNetV2网络特征提取结构
[0036][0037]该步骤具体包含以下步骤：
[0038]步骤S31：去除MobileNetV2模型的全连接层，仅保留用于特征提取的卷积层；
[0039]步骤S32：构建CBAM模块，将模块引入卷积层bottleneck结构完成特征提取骨干网络的改进；
[0040]CBAM模块主要分为四个部分：输入、通道注意力模块、空间注意力模块和输出，如图1所示。输入特征F∈R
C*H*W
，其中F为输入的特征图尺寸，C、H、W则分别表示特征图在长宽高三个维度的参数。
[0041]通道注意力模块一维卷积M
c
∈R
C*1*1
，将卷积结果乘原图，将CAM输出结果作为输入，进行空间注意力模块的二维卷积M
s
∈R
1*H*W
，再将输出结果与原图相乘。混合注意力公式如式(1)(2)所示。
[0042][0043][0044]基于该结构，通过在卷积层中插入CBAM模块来实现通过注意力机制改进特征提取网络。在第三层、第六层和第十三层之后插入CBAM块，经注意力机制块改进的结构如图2所示。
[0045]步骤S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种轻量化高性能的口罩人脸识别方法，其特征在于，包括以下步骤：步骤1：采集人脸数据集图像并进行预处理；步骤2：对采集人脸数据集图像进行口罩图像拼接操作；步骤3：以MobileNetV2骨干网络为架构，引入混合注意力机制CBAM模块改造骨干网络中Bottleneck结构以用于对图像特征的提取；步骤4：搭建人脸检测网络构建眼部特征增强模块，将眼部特征增强模块产生的特征图与步骤S3产生的特征图融合，最终实现口罩遮挡下的人脸识别。2.根据权利要求1所述的轻量化高性能的口罩人脸识别方法，其特征在于，步骤1包含以下步骤：S11：通过对已有的开源数据集DeepGlint和CASIA
‑
Webface的收集，完成人脸数据集的采集；S12：从DeepGlint数据集中剔除掉MS
‑
Celeb
‑
1M部分，仅保留Asian
‑
Celeb部分。3.根据权利要求1所述的轻量化高性能的口罩人脸识别方法，其特征在于，步骤2包含以下步骤：S21：将DeepGlint和CASIA
‑
Webface中每个人脸身份分离出两张图像；S22：通过开源程序，使用步骤S21分离出的图像生成口罩遮挡人脸图像并用其替换原始图像。4.根据权利要求1所述的轻量化高...

【专利技术属性】
技术研发人员：王佳伟，樊卫华，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：