一种基于共享骨干网络的人脸识别与表情分析方法技术

本发明专利技术公开了一种基于共享骨干网络的人脸识别与表情分析方法，包括以下步骤，对深层骨干网络进行训练并保存训练后的深层网络模型，对深层网络模型进行压缩，得到轻量级骨干网络模型；对表情分析网络进行训练并保存训练后的表情分析网络模型；将待测视频帧输入人脸检测与对齐模块进行预处理，检测出人脸位置，并得到标准人脸；将标准人脸输入到轻量级骨干网络中，输出人脸特征向量；将人脸特征向量与人脸底库中的人脸特征向量进行比对，输出人脸识别结果；将人脸特征向量输入到表情分析网络，输出表情分析结果。通过本发明专利技术可以降低了网络模型的计算量，提高了模型在实际应用中的人脸识别和表情分析的效率。

【技术实现步骤摘要】
一种基于共享骨干网络的人脸识别与表情分析方法
本专利技术涉及人脸识别和表情分析的
，尤其涉及一种基于共享骨干网络的人脸识别与表情分析方法。
技术介绍
目前，人脸识别已经成为十分重要的用于身份认证的生物识别技术，广泛应用于金融、商业、安防等多个领域。尤其在安防领域，智能视频监控是人脸识别最典型的应用之一。同时，一些相关的人脸属性识别算法也得到了一定的应用，如年龄识别、表情识别等。其中，表情分析在智能视频监控系统中也具有重要的应用价值，可以通过识别有无异常表情，从而提取避免暴力事件的发生。因此，一些智能视频监控系统中，往往会同时嵌入人脸识别功能和表情分析功能。随着深度学习、卷积神经网络的不断发展，人脸识别和表情分析这两项任务都取得了大幅度的性能提升。人脸识别模型基于深度卷积神经网络结构，并通过TripletLoss和ArcFace等针对“类内极小，类间极大”进行优化的损失函数监督训练，可以提取出具有辨别力的人脸特征向量，从而高准确率地完成人脸识别。表情分析模型同样基于深度卷积神经网络结构，可以对不同表情进行准确的分类。将人脸识别模型和表情分析模型分别嵌入到智能视频监控系统，可以取得准确的识别和分析结果，但由于二者使用两个各自独立的深度网络，会导致模型参数量增加，运算速度降低，进而导致模型部署成本提高，监控系统功耗增加，无法部署到一些性能稍低的终端设备上。
技术实现思路
专利技术目的：为了克服现有技术中存在的不足，本专利技术提供一种基于共享骨干网络的人脸识别与表情分析方法，该专利技术能够将人脸识别和表情分析两个任务共享一个骨干网络进行特征提取，并构建轻量级骨干网络从而提高运算速度和降低部署难度。技术方案：为了实现上述专利技术目的，本专利技术提供了一种基于共享骨干网络的人脸识别与表情分析方法，包括以下步骤，步骤1，初始化深层骨干网络的参数，针对人脸识别任务进行训练，以人脸识别损失函数加法角度余量损失作为监督，采用随机梯度下降法进行训练，当损失函数下降收敛后，保存深层网络模型，基于知识蒸馏算法对深层网络模型进行压缩，得到轻量级骨干网络模型；步骤2，初始化表情分析网络的参数，针对表情分析任务进行训练，以交叉熵损失函数作为监督，采用随机梯度下降法进行训练，并在训练过程中保持骨干网络的参数不变，当损失函数下降收敛后结束训练并保存训练后的表情分析网络模型；步骤3，将待测视频帧输入人脸检测与对齐模块进行预处理，检测出人脸位置，并得到标准人脸；步骤4，将标准人脸输入到轻量级骨干网络中，输出人脸特征向量；步骤5，将人脸特征向量与人脸底库中的人脸特征向量进行比对，输出人脸识别结果；步骤6，将人脸特征向量输入到表情分析网络，输出表情分析结果。进一步的，在本专利技术中：所述步骤1还包括，步骤1.1，对深层骨干网络的参数进行初始化；步骤1.2，针对人脸识别任务进行训练，以人脸识别损失函数作为监督信号，监督深层网络进行训练；步骤1.3，采用随机梯度下降法对深层网络进行训练，训练损失为加法角度余量损失函数，当损失函数下降收敛后，结束训练并保存训练后得到的深层网络模型F；步骤1.4，采用知识蒸馏算法对深层网络进行压缩，以深层网络作为教师模型，以轻量级网络作为学生模型，用深层网络输出的人脸特征向量作为标签，监督轻量级网络训练，采用的损失函数LKD为：其中，N为训练样本总数，xi表示第i个训练样本，F(xi)表示样本xi输入深层网络模型F后得到的输出，f(xi)表示样本xi输入轻量级网络模型f后得到的输出；步骤1.5：采用随机梯度下降法对轻量级网络进行训练，训练损失为LKD，当损失函数下降收敛后结束训练，得到训练后的轻量级骨干网络模型并保存。进一步的，在本专利技术中：所述步骤2还包括，步骤2.1，构建表情分析网络，其包括3个全连接层，且前两个全连接层各包含一个整流线性单元激活层；步骤2.2，对表情分析网络的参数进行初始化；步骤2.3，针对表情分析任务进行训练，该任务为分类任务，将表情分析结果分为生气、厌恶、恐惧、开心、伤心、惊讶、中性七类。以交叉熵损失作为监督信号，监督表情分析网络进行训练；步骤2.4，固定骨干网络的参数，在训练中保持不变；步骤2.5，采用梯度下降法对表情分析网络进行训练，训练损失为交叉熵损失，并在训练中采用随机失活策略，当损失函数下降收敛后结束训练，保存训练后的表情分析网络模型。进一步的，在本专利技术中：所述步骤3还包括，步骤3.1，通过人脸检测算法对视频帧图像进行人脸检测，得到人脸的位置边界框和人脸关键点坐标；步骤3.2，根据人脸关键点坐标与预定义的模板关键点坐标，得到变换矩阵，并通过仿射变换得到标准人脸。进一步的，在本专利技术中：所述步骤5还包括，步骤5.1，将人脸底库中的人脸{I1，I2,…，In}依次输入到轻量级骨干网络中，得到对应的人脸特征向量{f(I1),f(I2),…,f(In)}；步骤5.2：依次计算待识别人脸Ip通过骨干网络输出的特征向量f(Ip)与{f(I1),f(I2),…,f(In)}的距离{d1,d2,…，dn}，特征向量f(Ip)与人脸底库中第i个人脸特征向量f(Ii)的距离di为：di＝||f(Ip)-f(Ii)||2步骤5.3：求m＝argminm{d1,d2，…，dn}，设定阈值ε，若dm<ε，则将待识别人脸Ip识别为ID(Im)，反之则判断为陌生人。有益效果：本专利技术与现有技术相比，其有益效果是：(1)本专利技术将人脸识别和表情分析这两项任务共享一个骨干网络，进行特征提取，提取出的特征向量既可以用于人脸识别任务，又可以进一步输入表情分析网络完成表情分类，相当于用一个网络完成了两项任务，应用于智能视频监控系统，可以降低部署难度，提高运算效率，并仍保持有较高的准确率；(2)本专利技术基于知识蒸馏算法对骨干网络进行压缩，构建轻量级骨干网络，进一步降低了模型参数量，提高了模型运算速度。附图说明图1为本专利技术所述基于共享骨干网络的人脸识别与表情分析方法的整体流程示意图；图2为本专利技术中的表情分析网络的结构示意图；图3为本专利技术中的轻量级骨干网络MobileNet整体结构示意图。具体实施方式下面结合附图对本专利技术的技术方案做进一步的详细说明：本专利技术可以用许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本专利技术的范围。如图1所示，为本专利技术提出的一种基于共享骨干网络的人脸识别与表情分析方法的整体流程示意图，该方法具体包括以下步骤，步骤1，初始化深层骨干网络的参数，针对人脸识别任务进行训练。以人脸识别损失函数加法角度余量损失作为监督，采用随机梯度下降法进行训练，当损失函数下降收敛后，保存深层网络模型。基于知识蒸馏算法对深层网络模型进行压缩，得到轻量级骨干网络本文档来自技高网...

【技术保护点】
1.一种基于共享骨干网络的人脸识别与表情分析方法，其特征在于：包括以下步骤，/n步骤1，初始化深层骨干网络的参数，针对人脸识别任务进行训练，以人脸识别损失函数加法角度余量损失作为监督，采用随机梯度下降法进行训练，当损失函数下降收敛后，保存深层网络模型，基于知识蒸馏算法对深层网络模型进行压缩，得到轻量级骨干网络模型；/n步骤2，初始化表情分析网络的参数，针对表情分析任务进行训练，以交叉熵损失函数作为监督，采用随机梯度下降法进行训练，并在训练过程中保持骨干网络的参数不变，当损失函数下降收敛后结束训练并保存训练后的表情分析网络模型；/n步骤3，将待测视频帧输入人脸检测与对齐模块进行预处理，检测出人脸位置，并得到标准人脸；/n步骤4，将标准人脸输入到轻量级骨干网络中，输出人脸特征向量；/n步骤5，将人脸特征向量与人脸底库中的人脸特征向量进行比对，输出人脸识别结果；/n步骤6，将人脸特征向量输入到表情分析网络，输出表情分析结果。/n

【技术特征摘要】
1.一种基于共享骨干网络的人脸识别与表情分析方法，其特征在于：包括以下步骤，
步骤1，初始化深层骨干网络的参数，针对人脸识别任务进行训练，以人脸识别损失函数加法角度余量损失作为监督，采用随机梯度下降法进行训练，当损失函数下降收敛后，保存深层网络模型，基于知识蒸馏算法对深层网络模型进行压缩，得到轻量级骨干网络模型；
步骤2，初始化表情分析网络的参数，针对表情分析任务进行训练，以交叉熵损失函数作为监督，采用随机梯度下降法进行训练，并在训练过程中保持骨干网络的参数不变，当损失函数下降收敛后结束训练并保存训练后的表情分析网络模型；
步骤3，将待测视频帧输入人脸检测与对齐模块进行预处理，检测出人脸位置，并得到标准人脸；
步骤4，将标准人脸输入到轻量级骨干网络中，输出人脸特征向量；
步骤5，将人脸特征向量与人脸底库中的人脸特征向量进行比对，输出人脸识别结果；
步骤6，将人脸特征向量输入到表情分析网络，输出表情分析结果。


2.如权利要求1所述的基于共享骨干网络的人脸识别与表情分析方法，其特征在于：所述步骤1还包括，
步骤1.1，对深层骨干网络的参数进行初始化；
步骤1.2，针对人脸识别任务进行训练，以人脸识别损失函数作为监督信号，监督深层网络进行训练；
步骤1.3，采用随机梯度下降法对深层网络进行训练，训练损失为加法角度余量损失函数，当损失函数下降收敛后，结束训练并保存训练后得到的深层网络模型F；
步骤1.4，采用知识蒸馏算法对深层网络进行压缩，以深层网络作为教师模型，以轻量级网络作为学生模型，用深层网络输出的人脸特征向量作为标签，监督轻量级网络训练，采用的损失函数LKD为：



其中，N为训练样本总数，xi表示第i个训练样本，F(xi)表示样本xi输入深层网络模型F后得到的输出，f(xi)表示样本xi输入轻量级网络模型f后得到的输出；
步骤1.5：采用随机梯度下降法对轻量级网络进行训练，训练损失为LKD，当损失函数下降收敛后，保存...

【专利技术属性】
技术研发人员：杨绿溪，惠鸿儒，胡欣毅，韩志伟，李春国，黄永明，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32