基于对比学习的多模态人脸识别方法、装置、设备及介质制造方法及图纸

本申请涉及一种基于对比学习的多模态人脸识别方法、装置、设备及介质。所述方法包括：根据卷积神经网络和残差网络分别对人脸平面图像和人脸轮廓图像进行特征提取，得到人脸平面特征图和人脸轮廓特征图，将人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示；利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布；根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，根据训练好的人脸识别模型进行人脸识别。采用本方法能够提高人脸识别准确率。识别准确率。识别准确率。

【技术实现步骤摘要】
基于对比学习的多模态人脸识别方法、装置、设备及介质


[0001]本申请涉及图像处理和识别
，特别是涉及一种基于对比学习的多模态人脸识别方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着新一代人工智能技术的蓬勃发展，人脸识别技术开始广泛应用于人类社会的各个领域，包括门禁安防、手机面部解锁等。然而，人脸识别技术在为人们形形色色的日常生活提供便利的同时，也带来了一些安全隐患。于是结合平面图像和人类面部轮廓形状的深度图的多模态3D人脸识别便诞生了。
[0003]然而，目前的方法在多模态特征融合时大多采用直接拼接的方式，无法获得准确的多模态特征表示，存在人脸识别效率低下、准确率低等问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高人脸识别准确率的基于对比学习的多模态人脸识别方法、装置、计算机设备和存储介质。
[0005]一种基于对比学习的多模态人脸识别方法，所述方法包括：
[0006]获取待识别的人脸图像；人脸图像包括人脸平面图像和人脸轮廓图像；
[0007]构建人脸识别模型；人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层；
[0008]根据卷积神经网络对人脸平面图像进行特征提取，得到人脸平面特征图；
[0009]利用残差网络对人脸轮廓图像进行特征提取，得到人脸轮廓特征图；
[0010]将人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；
[0011]根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示；
[0012]利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布；
[0013]根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，得到训练好的人脸识别模型；
[0014]根据训练好的人脸识别模型对待识别的人脸图像进行人脸识别。
[0015]在其中一个实施例中，根据卷积神经网络对人脸平面图像进行特征提取，得到人脸平面特征图，包括：
[0016]采用2D卷积神经网络设置小于或等于人脸平面图像大小的参数矩阵作为卷积核，通过多层的卷积层、Relu激活函数层以及最大池化层对人脸平面图像进行特征提取，得到人脸平面特征图。
[0017]在其中一个实施例中，人脸平面特征图和人脸轮廓特征图的数量相等。
[0018]在其中一个实施例中，根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示，包括：
[0019]选择待识别人的其他面部平面图像和轮廓图像作为正例样本，选择其他人的面部平面图像和轮廓图像作为负例样本，对正例样本和负例样本进行特征提取，分别得到正例样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征图；
[0020]将正例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到正例样本的多模态融合特征，将负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到负例样本的多模态融合特征；
[0021]根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与正例样本的多模态融合特征的相似度，减少与负例样本的多模态融合特征的相似度，得到多模态特征表示。
[0022]在其中一个实施例中，多模态特征表示的损失函数为
[0023][0024]其中，S
i
表示待识别的人脸图像的多模态融合特征，i表示待识别的人脸图像的样本号，S
j
表示正例样本的模态融合特征，j代表正例样本的样本号，S
k
指不包括S
i
的正例和负例总样本多模态融合特征，k是不包括S
i
的正例和负例总样本的样本号，sim表示L2距离函数，τ是调节特征表示水平的参数。
[0025]在其中一个实施例中，利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布，包括：
[0026]利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布为
[0027][0028]其中，F
r
＝ReLU(FC(f))＝max(0,W
T
f+b)，F
r
表示多模态特征表示，f为特征向量，W为可训练的参数矩阵，b为偏置项，p
j
表示当前所识别人脸是第j 个人的概率，为多模态特征的第j个特征参数，为多模态特征的第i个特征参数。
[0029]在其中一个实施例中，根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数，包括：
[0030]根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数为
[0031][0032]其中，y(x)代表人名对应的真实分布，p(x)表示人名对应的概率分布，x 表示人名标签。
[0033]一种基于对比学习的多模态人脸识别装置，所述装置包括：
[0034]特征提取模块，用于获取待识别的人脸图像；人脸图像包括人脸平面图像和人脸轮廓图像；构建人脸识别模型；人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层；根据卷积神经网络对人脸平面图像进行特征提取，得到人脸平面特
征图；利用残差网络对人脸轮廓图像进行特征提取，得到人脸轮廓特征图；
[0035]交叉组合模块，用于将人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；
[0036]对比学习模块，用于根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示；利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布；
[0037]人脸识别模块，用于根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，得到训练好的人脸识别模型；根据训练好的人脸识别模型对待识别的人脸图像进行人脸识别。
[0038]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0039]获取待识别的人脸图像；人脸图像包括人脸平面图像和人脸轮廓图像；
[0040]构建人脸识别模型；人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层；
[0041]根据卷积神经网络对人脸平面图像进行特征提取，得到人脸平面特征图；
[0042]利用残差网络对人脸轮廓图像进行特征提取，得到人脸轮廓特征图；
[0043]将人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；
[0044]根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示；
[0045]利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的多模态人脸识别方法，其特征在于，所述方法包括：获取待识别的人脸图像；所述人脸图像包括人脸平面图像和人脸轮廓图像；构建人脸识别模型；所述人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层；根据卷积神经网络对所述人脸平面图像进行特征提取，得到人脸平面特征图；利用残差网络对所述人脸轮廓图像进行特征提取，得到人脸轮廓特征图；将所述人脸平面特征图和所述人脸轮廓特征图进行交叉组合，得到多模态融合特征；根据对比学习方法对所述多模态融合特征进行增强表示，得到多模态特征表示；利用3D卷积网络对所述多模态特征表示进行特征分析，得到人名对应的概率分布；根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，得到训练好的人脸识别模型；根据所述训练好的人脸识别模型对所述待识别的人脸图像进行人脸识别。2.根据权利要求1所述的方法，其特征在于，根据卷积神经网络对所述人脸平面图像进行特征提取，得到人脸平面特征图，包括：采用2D卷积神经网络设置小于或等于人脸平面图像大小的参数矩阵作为卷积核，通过多层的卷积层、Relu激活函数层以及最大池化层对所述人脸平面图像进行特征提取，得到人脸平面特征图。3.根据权利要求1所述的方法，其特征在于，所述人脸平面特征图和所述人脸轮廓特征图的数量相等。4.根据权利要求1至3任意一项所述的方法，其特征在于，根据对比学习方法对所述多模态融合特征进行增强表示，得到多模态特征表示，包括：选择待识别人的其他面部平面图像和轮廓图像作为正例样本，选择其他人的面部平面图像和轮廓图像作为负例样本，对所述正例样本和负例样本进行特征提取，分别得到正例样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征图；将所述正例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到所述正例样本的多模态融合特征，将所述负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到所述负例样本的多模态融合特征；根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与所述正例样本的多模态融合特征的相似度，减少与所述负例样本的多模态融合特征的相似度，得到多模态特征表示。5.根据权利要求1所述的方法，其特征在于，所述多模态特征表示的损失函数为其中，S
i
表示待识别的人脸图像的多模态融合特征，i表示待识别的人脸图像的样本号，S
j
表示正例样本的模态融合特征，j代表正例样本的样本号，S
k
...

【专利技术属性】
技术研发人员：蒋林承，张俊丰，张维琦，邓劲生，曾道建，谭真，李硕豪，乔凤才，徐博，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：