基于深度学习的方法近年来在面部表情识别（FER）方面取得了实质性进展，但小规模数据集在训练过程中会导致过拟合。本发明专利技术提出了一种基于注意力LSGB网络的面部表情识别方法，该方法精确地聚焦于判别注意区域，并在ImageNet上对模型进行预训练，以缓解过拟合问题。具体来说，在局部关系模块中，提出了一种更高效的方法，通过局部像素对的组合关系，结合一个键图、多个局部图和一个位置图来构建更高层次的实体。通过区域特征聚合一个紧凑的全局加权表示，将原始图像和区域图像放到自注意力模块的顺序层中，得到全局加权表示的权重。在三个流行的基准测试上的实验结果表明，本发明专利技术的LSGB网络在FERplus上的优势为88.8%，在AffectNet上的优势为58.68%，在JAFFE上的优势为94.9%。
【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于注意力lsgb网络的面部表情识别方法。
技术介绍
1、现实世界数据集的多样性来源和图像噪声导致的微妙区域表情差异区给面部表情识别带来巨大挑战。传统面部表情特征识别方法主要依赖于纹理基特征直接使用深度学习方法提取特征，然而这些方法往往无法精确捕捉到面部表情的关键区域以及各区域之间的组合关系，导致难以区分相似表情间的微小差别。虽然近期的一些研究利用注意力机制，聚焦于重要区域，区分不同面部动作之间的细微差别，从而增强对显著表情区域的检测效果，但这方面的研究尚未完全解决如何有效地区分各种复杂条件下不同区域间微妙的表情区别，因为他们忽略了区域部分作为输入的重要性。
2、此外，当前一些方法尝试将交叉熵损失、三元组损失等不同损失函数结合起来优化模型，但是多种损失函数的组合可能导致类内紧凑性和类间可分离性的平衡被破坏，模型性能提升受限。同时，由于部分公开可用的数据集规模较小，在训练过程中容易发生过拟合现象，模型在训练数据上的表现良好但无法有效泛化到未见过的新样本上。
3、综上所述，当前面部表情识别技术面临的问题主要包括复杂现实环境下表情细节差异处理、局部特征提取能力、注意力机制的有效利用以及过拟合等方面的技术挑战。
技术实现思路
1、为了克服上述现有技术的不足，本专利技术提出了一种称为lsgb的方法来识别相似面部区域之间的细微差异。
2、本专利技术实施例提供了一种基于注意力lsgb网络的面部表情识别方法，包括以下步骤：</p>3、步骤1，将小批量的基本表情图像和等分区域图像输入到基础网络中，提取这些图像的卷积神经网络基本特征；
4、步骤2，将卷积神经网络的基本特征提供给局部关系模块lr，自适应地推断局部区域内相邻像素间的组合特征并基于组合特征学习聚合权重，从而帮助模型更好地理解图像特征之间的关系，提高图像处理的效果；
5、步骤3，通过注意力模块sg将自注意力加权特征与全局注意力特征结合起来，并使用权重损失法来调整每个区域和整体特征的自注意力权重，从而重构面部表情特征；
6、步骤4，通过批量归一化模块bn对提取的特征进行归一化处理，从而使得模型更容易学习到特征之间的重要性关系，以扩大类间的距离，增强类内的紧密性。
7、可选的，步骤1具体包括：
8、利用resnet-18骨干网来对这些图像提取cnn特征，从而减轻过拟合问题，以获得更好的初始化参数和泛化能力；
9、确保每个图像都按照相同的标准划分成多个均匀的部分，使模型能够从不同的图像区域提取通用且重要的特征，为后续的局部关系模块、自注意力与全局注意力模块以及批量归一化模块提供所需的输入特征表示。
10、可选的，所述步骤2具体包括：
11、首先需将原始表情图像特征等分成多个部分f1,f2,…,fk，然后对每个部分进行特征变换得到键映射和查询映射，计算方法如下：
12、，，
13、其中，表示查询映射中第区域特征的目标像素，表示键映射中第区域特征的目标像素，为变换层参数；接着计算键映射和查询映射之间乘积的累积和得出外观组合特征，计算方法如下：
14、，其中，为外观组合特征；最后使用作为分类器函数得到聚合权重，计算方法如下：
15、，
16、其中为查询映射的总和，定义了基于像素对的几何先验，并生成表示相对位置的矢量作为其输入。
17、可选的，所述步骤3具体包括：
18、sg模块由自注意力模块sa和全局注意力模块ga组成，自注意力模块用于粗略估计每个区域的权重，它由全局平均池化和sigmoid函数组成；
19、然后将局部关系模块lr提取的特征用于自注意力模块sa计算出自注意力权重，计算方法如下：
20、，
21、其中，为来自局部关系模块lr的第个特征映射，为fc层参数，为激活函数；
22、再使与其自注意力权重相乘，计算出自注意力权重特征，本模块还设计了减重功能，以保证人脸裁剪后的权重与原始图像的权重不同；
23、最后，对自注意力权重特征进行累加形成一个全局注意力特征，在此过程中使用一种称为权重损失的方法来调整每个区域和整体特征的自注意力权重，全局注意力特征计算方法如下：
24、，
25、其中，为的自注意力权重，为全局注意力权重。
26、可选的，所述步骤4具体包括：将中心损失和三重损失应用到批归一化模块bn中，该模块在全局池化层之后设计，通过使用这些损失函数，使得模型更加鲁棒和准确地进行分类和特征提取任务，从而对模型进行优化，总体目标定义如下：
27、，
28、，
29、其中，为总损失，为交叉熵损失，为三元组损失，为中心损失，和是总损失的超参数，是作为减重余量的超参数，为第个面部区域表情特征的自注意力权重，为原始表情特征的自注意力权重。
30、本专利技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
31、本专利技术首先将原始表达式分解为包含多个面部动作的区域特征集合，并将加权特征重构为全局特征，丰富而精确的语义信息有利于提高算法的性能。同时，与大多数利用注意力机制的方法相比，我们将原始图像划分为六个不同的面部区域，这使我们方案的输入更细粒度。此外，所有的特征通过相邻的像素对被分解重组为更高层次的实体，然后输入到注意力模块。为减轻不同损失函数结合使用时可能对模型训练效果产生的不利影响，并提高最终面部表情识别任务的准确性，本方法特别设计了一个损失函数。针对小规模数据集训练深度学习模型时容易发生过拟合的问题，本方法提出在imagenet上进行预训练来避免过拟合。
本文档来自技高网...
【技术保护点】
1.一种基于注意力LSGB网络的面部表情识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力LSGB网络的面部表情识别方法，其特征在于，步骤1具体包括：
3.根据权利要求1所述的一种基于注意力LSGB网络的面部表情识别方法，其特征在于，所述步骤2具体包括：
4.根据权利要求1所述的一种基于注意力LSGB网络的面部表情识别方法，其特征在于，所述步骤3具体包括：
5.根据权利要求1所述的一种基于注意力LSGB网络的面部表情识别方法，其特征在于，所述步骤4具体包括：将中心损失和三重损失应用到批归一化模块BN中，该模块在全局池化层之后设计，通过使用这些损失函数，使得模型更加鲁棒和准确地进行分类和特征提取任务，从而对模型进行优化，总体目标定义如下：
【技术特征摘要】
1.一种基于注意力lsgb网络的面部表情识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力lsgb网络的面部表情识别方法，其特征在于，步骤1具体包括：
3.根据权利要求1所述的一种基于注意力lsgb网络的面部表情识别方法，其特征在于，所述步骤2具体包括：
4.根据权利要求1所述的一种基于注意力ls...
【专利技术属性】
技术研发人员：林德钰，喻泽龙，苏婵，危建国，夏洁文，刘哲，於阳，
申请(专利权)人：南昌大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。