一种特征增强的轻量化网络FGNet人脸表情识别方法技术

本发明专利技术请求保护一种特征增强的轻量化网络FGNet人脸表情识别方法，属于模式识别技术领域。包括以下步骤：首先，针对深度卷积神经网络过于复杂的问题，设计了一个基于Keras神经网络框架的轻量级网络模型——FGNet，该模型在backbone的基础上加入了通道分片以及通道洗牌；其次，利用网络注意力模块对于通道和空间特征的提取能力，设计了轻量且高效的注意力模块来提取不同尺度的特征并输出具有丰富的多尺度信息，从而提高网络模型的性能；然后，针对人脸表情数据库样本类别不均衡问题，提出了自适应的类别权重，并加权于自定义的损失函数，来进一步的提升各类表情识别的准确率；最后，设计了一个人脸表情识别系统平台并进行了演示，实现端到端的人脸表情识别。实现端到端的人脸表情识别。实现端到端的人脸表情识别。

【技术实现步骤摘要】
一种特征增强的轻量化网络FGNet人脸表情识别方法


[0001]本专利技术属于计算机模式识别
，具体是一种人脸表情识别方法。

技术介绍

[0002]人脸表情是人们之间非语言交流时的最丰富的资源和最容易表达人们感情的一种有效方式，在人们的交流中起着非常重要的作用。表情含有丰富的人体行为信息，是情感的主载体，通过脸部表情能够表达人的微妙的情绪反应以及人类对应的心理状态，由此可见表情信息在人与人之间交流中的重要性。人脸表情识别技术随着人们对表情信息的日益重视而受到关注，成为目前一个研究的热点。所谓人脸表情识别，就是利用计算机进行人脸表情图像获取、表情图像预处理、表情特征提取和表情分类的过程，它通过计算机分析人的表情信息，从而推断人的心理状态，最后达到实现人机之间的智能交互。表情识别技术是情感计算机研究的内容之一，是心理学、生理学、计算机视觉、生物特征识别、情感计算、人工心理理论等多学科交叉的一个极富挑战性的课题，它的研究对于自然和谐的人机交互、远程教育、安全驾驶等都有重要的作用和意义。
[0003]与其它图像视觉领域不同，在人脸表情识别过程中，存在着许多难点：首先，人脸表情的特征十分细微，五官发生细微的变化可能有代表着截然不同的情绪；其次，人脸表情持续时间较短，某种表情的持续时间往往只有不到1秒钟，这对表情检测的实时性提出了较高要求；再者，不同人脸之间表情数据差别较大，并且对光照和图像背景的抗噪声能力较弱，这些特点给人脸表情识别的发展应用带来了许多挑战。
[0004]一张人脸图片拥有大量的信息，而且在视频序列中一个人在不同时刻所做出的表情也不完全相同，因此表情识别时需要提取出图像的纹理特征、五官特征等有效信息。这些有效信息的提取对识别速度与准确率的提升具有重要意义。表情特征提取是表情识别研究过程中最重要的部分，所提取特征的鲁棒性与完整性将对最终识别结果产生决定性影响。近些年来，一系列特征提取方法被人们提出，如局部二值模式、Gabor小波变换、主成分分析(Principal Component Analysis，PCA)等被广泛用于各类图像处理之中。在特征提取工作完成后，需要根据提取出的特征对表情进行分类处理。一系列特征分类方法，如贝叶斯分类器、支持向量机、K近邻算法等随着研究者的不断探索被人们所熟知而广泛应用。
[0005]然而这些传统特征提取方法主要依靠研究者对人脸图像特征进行手工提取，不仅耗费了大量时间和精力，并且所提取的特征具有人为因素的局限性，无法对人脸表情进行充分描述。而且传统分类方法需要很多的先验条件，对于样本分类不均衡问题会产生误判，对缺失数据敏感。
[0006]如今，随着计算机拥有日益强大的计算能力和庞大数据集的不断涌现，深度学习算法得到了蓬勃发展。相对于传统方法，深度学习算法将特征提取和分类两个过程整合在一起，减少了操作流程，而且能够自动提取样本数据的内在特征，具有强大的特征提取能力，并且能够提取出图像更抽象、更本质的特征，并不需要研究者进行手工参与，具有更好的识别效果和鲁棒性，在与计算机视觉相关的各类竞赛中表现十分出色。而卷积神经网络
作为深度学习中重要的组成部分，已经广泛应用于计算机视觉等领域，在图像识别、图像分割以及图像分类等任务中展现了其良好的模型性能和较强的鲁棒性。为了不断提高性能，深度卷积神经网络的深度和复杂度一直在不断提高，如何构建新的紧致高效的DCNN引起了众多研究者的关注。
[0007]对于深度学习网络模型产生的效应，深度学习在训练好模型之后，识别效率很快，但是在训练阶段是一个漫长的过程，即便采用GPU等硬件加速，对于更深层网络，更海量的数据下训练模型，往往需要花费研究者数天或者更长时间的训练。因此，得到一个轻量、快速同时保持高精度的网络模型模型也是学术研究的重点。
[0008]从学术研究角度中的价值和意义。基于传统手工特征设计的人脸表情特征提取方法，人为地标注提取关键特征，获取特征信息较准确，但受制于手工设计和数据量小的因素，很难应用在实际工程中。基于深度学习的人脸表情特征提取方法，省去了人工设计和提取特征的步骤，换之以大数据样本训练和自动学习有效特征，从而大幅度提高算法模型准确度和适应性，但会存在计算复杂度高，耗时长，过拟合等因素；其次，基于深度学习的人脸表情识别大部分没有考虑到数据集样本不均衡的问题，仅仅采用传统的Softmax损失或交叉熵损失，导致网络对于少样本类的识别精度不佳。因此，从深度模型的角度入手构建基于特征提取加强的轻量级网络模型对于人脸表情识别来说非常有研究意义。CN112613479A，一种基于轻量流式网络和注意力机制的表情识别方法，包括以下步骤：步骤S1：获取表情图像数据集，并预处理；步骤S2:构建包含注意力机制的轻量流式网络，并在网络的最后通过交叉熵损失函数进行分类；步骤S3根据预处理后的表情图像数据集训练包含注意力机制的轻量流式网络；步骤S4:将待测图像数据输入训练后的包含注意力机制的轻量流式网络，得到识别结果。本专利技术能够有效地对表情图像进行分类，提升了表情图像分类的效果。
[0009]该专利与本专利技术的区别在于：1、该专利是基于MobileNetV2基本块和shuffleNet基本块构建轻量流式网络中的基本构建块，堆叠构成轻量流式网络的主体。而本专利技术采用“幽灵”网络GhostNet作为基础模型，结合“幽灵”模块的“幻影”特性图生成特性和ShuffleNetV2的通道“洗牌”以及特征复用特性，构建了一个轻量级的人脸识别网络框架——特征加强幽灵网络框架FGNet；2、该专利描述的注意力机制模块主要包含两部分的注意力，分别为通道模块的注意力和空间模块的注意力。而本专利技术所设计的注意力模块通过将输入分组后进行不同大小的卷积提取不同尺度的空间特征，再通过有效的通道注意力ECA提取通道权重，对空间特征图进行通道加权，最终输出具有丰富的多尺度信息，从而提高网络模型的性能。3、该专利采用交叉熵损失函数进行分类，而本专利技术考虑到了人脸表情数据库存在样本类别不均衡问题，针对此问题，本专利技术提出了自适应的类别权重，通过表情库样本数量计算权重并加权于自定义的损失函数。自定义的损失函数由加权的焦点损失函数以及中心损失函数构成，使得网络训练能够给不同类别的表情样本相同的关注度，来进一步的提升各类表情识别的准确率。

技术实现思路

[0010]本专利技术旨在解决以上现有技术的问题。提出了一种特征增强的轻量化网络FGNet人脸表情识别方法。本专利技术的技术方案如下：
[0011]一种特征增强的轻量化网络FGNet人脸表情识别方法，其包括以下步骤：
[0012]101、利用“幽灵”网络——GhostNet作为基础模型，结合“幽灵”模块的“幻影”特性图生成特性和ShuffleNetV2的通道“洗牌”以及特征复用特性，构建一个轻量级的人脸识别网络框架——特征加强幽灵网络框架FGNet，利用线性运算生成“幻影”特征图来优化网络参数量，利用通道“洗牌”来优化网络模型特征提取的能力；
[0013]102、利用网络中注意力模块对于通道和空间特征的提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征增强的轻量化网络FGNet人脸表情识别方法，其特征在于，包括以下步骤：101、利用“幽灵”网络——GhostNet作为基础模型，结合“幽灵”模块的“幻影”特性图生成特性和ShuffleNetV2的通道“洗牌”以及特征复用特性，构建一个轻量级的人脸识别网络框架——特征加强幽灵网络框架FGNet，利用线性运算生成“幻影”特征图来优化网络参数量，利用通道“洗牌”来优化网络模型特征提取的能力；102、利用网络中注意力模块对于通道和空间特征的提取能力，设计注意力模块来提取不同尺度的特征并输出多尺度信息，并将注意力模块添加在步骤101的网络模型中；103、根据数据库样本数量为每一类表情样本计算权重，并加权于自定义的损失函数上；从而实现网络对于各个表情类别训练关注度的平衡；104、将FGNet网络模型导入到人脸表情识别系统中，实现实时的的人脸表情识别。2.根据权利要求1所述的一种特征增强的轻量化网络FGNet人脸表情识别方法，其特征在于，所述步骤101中FGNet网络框架的设计表示如下：A1、采用“幽灵”网络中所提出的“幽灵”模块特性，生成特征图，基于原始的特征图上应用一系列线性变换，从而生成包含所需信息的“幻影”特征图，具体来说，原始特征图Y
’
是由输入x经过一次卷积生成，再对Y
’
中的每个原始特征应用线性运算Φ，生成s个“幻影”特征图：y
ij
＝Φ
i,j
(y
′
i
) (1)其中y
′
i
是Y
’
中第i个原始特征图，Φ
i,j
是第j个线性运算，用于生成第j个“幻影”特征图y
ij
；B1、网络模块具体设计如下：将输入x经过一层3
×
3的深度可分卷积后得到特征矩阵DWC1(x),再经过1
×
1的2D卷积得到Conv1(x)，利用沙漏块的特性再经过一次1
×
1的2D卷积得到Conv2(x)，经过一层3
×
3的深度可分卷积后得到特征矩阵利用ResNet的恒等映射特性，将输入x与DWC2(x)做一次恒等映射，得到再将DWC2(x)与进行特征融合后得到第一层输出Add1(x)，将得到的Add1(x)作为下一层深度可分卷积的输入x，实现该模块的嵌套循环，经过n层网络后，输出为Add
n
(x)；C1、在上述设计网络模块的基础上，在输入input使用通道分片运算将输入特征图在通道维度分成两个分支：通道数分别为a和A
‑
a，左边分支做同等映射，右边的分支包含步骤A的网络模块，并且输入和输出通道相同；对两个分支的输出进行concat操作，最后再对concat后的结果进行通道洗牌，以保证两个分支信息交流；D1、将步骤C1最终输出的特征输入到步骤102设计的注意力模块中得到多尺度特征图；E1、网络末端采用步骤103设计的损失函数来进行表情图像分类，并得到最终识别的准确率。3.根据权利要求2所述的一种特征增强的轻量化网络FGNet人脸表情识别方法，其特征在于，所述步骤102中设计注意力模块来提取不同尺度特征并输出丰富的多尺度信息，具体为：A2、首先构建多尺度特征，假设输入为X，先将输入X拆分为S部分[X0,X1,...,X
S
‑1]，X
S
‑1表示拆分后的第S组，然后对不同部分提取不同尺度特征，最后将所提取的多尺度特征通过Concat进行拼接；上述过程如下公式所示：
[X0,X1,...,X
S
‑1]＝Split(X) (2)F
i
＝Conv(K
i
×
K
i
,G
i
)(X
i
),i＝0,1,...,S
‑
1 (3)F＝Cat([F0,F1,...,F
S
‑1]) (4)式中F
i
为每一部分输出的特征图，F为最终输出的特征图，Conv为卷积操作，K为卷积核的大小，G为通道数分组大小；B2、在上述特征基础上，通过有效的通道注意力ECA得到通道级注意力向量以提取不同尺度特征，即对不同部分特征提取注意力权值，...

【专利技术属性】
技术研发人员：周丽芳，栗思秦，李伟生，全好，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：