【技术实现步骤摘要】
本专利技术涉及计算机视觉人脸表情识别领域，尤其为一种遮挡表情方法、系统、储存介质及电子设备。
技术介绍
1、表情识别技术在人机交互、智能信息处理等方面收到广泛关注，但是在生活的实际场景中人脸图像往往会存在背景、光照和遮挡等环境因素的干扰，导致人脸表情的识别准确率大大降低。
2、传统的卷积神经网络在不能从多维度提取图像的特征信息，导致网络模型无法提取到有用的表情特征，对于有遮挡的表情图像的识别准确率也不高，因此针对遮挡的人脸表情图像的识别，使用包含残差模块、多尺度特征提取模块和采用密集连接结构的inception模块的网络提取遮挡表情图像的局部特征信息，提高网络模型对于不同特征的感知能力和表达能力，将这些特征信息融合之后输入到vit网络中进一步学习，在训练过程中使用特定于表情识别任务的通道损失函数和空间损失函数，最大化网络提取的特征的类内紧凑性和类间可分离性，结帮助抑制模型的过拟合现象，提升模型的泛化能力，提高对遮挡表情识别的准确率。
3、在现有技术中，中国专利技术专利公开号“cn117152722”，名称为“基于多尺度卷积神经网络的轻量化驾驶员面部表情识别方法”，该方法通过设计多尺度残差注意力模块从多个尺度提取面部图像特征，构建一个高效网络根据驾驶员面部表情状态做出相应措施，但是在驾驶过程中，驾驶员的面部可能会受到背景、光照和遮挡等因素影响，导致面部被遮挡，无法准确识别出驾驶员的表情；因此，我们提出了一种遮挡表情识别方法来解决上述问题。
技术实现思路
1、(
2、针对现有技术的不足，本专利技术提供了一种遮挡表情识别方法，解决了上述
技术介绍
中所提出的问题。
3、(二)技术方案
4、本专利技术为了实现上述目的具体采用以下技术方案：
5、一种遮挡表情识别方法，包括如下步骤，
6、步骤1，对人脸表情图像预处理，包括灰度归一化、数据增强和尺度归一化；
7、步骤2，构建基于带遮挡的人脸表情识别网络模型，包括残差模块、多尺度特征提取模块、密集连接的inception模块融合网络，获得遮挡表情图像的局部特征信息，将这些特征融合之后输入vit网络中进一步学习，最后输出表情分类的结果，有效提高针对遮挡表情图像的识别准确率；
8、步骤3，对遮挡表情识别网络模型进行迭代训练，训练过程中将通道损失函数和空间损失函数相结合得到新的损失函数，用于判定训练损失，最大化网络提取的特征的类内紧凑性和类间可分离性；
9、步骤4，将带遮挡的人脸表情图像输入到训练好的网络模型中，输出带遮挡的人脸表情识别结果。
10、进一步地，所述步骤1中先对遮挡表情图像进行预处理，包括灰度归一化，数据增强：在人脸表情中添加黑色矩形方框作为遮挡，并旋转不同角度进行数据集的扩充，尺度归一化。
11、进一步地，所述步骤2中构建的基于带遮挡的人脸表情识别网络模型，为一个15层的残差神经网络，包括inception模块6层、残差特征提取模块7层、多尺度特征提取模块2层，对遮挡的人脸表情进行局部特征的提取并进行融合，再将融合之后的特征信息输入到vit网络中进一步学习之后输出表情类别。
12、进一步地，所述步骤3中训练过程结合通道损失函数与空间损失函数。
13、通道损失函数的计算公式为：
14、lchannel-loss(f)＝0.01×(l1(f)-9×l2(f))
15、空间损失函数为：
16、
17、总损失函数计算公式为：
18、
19、式中α和是控制通道损失函数与空间损失函数的影响力权重，选取适当的权重能够最大化网络提取的特征的类内紧凑性和类间可分离性。
20、进一步地，所述步骤4中将带遮挡的人脸表情图像输入到训练好的网络模型中，输出带遮挡的人脸表情识别结果。
21、一种遮挡表情识别系统，包括以下模块：
22、预处理模块：对遮挡表情图像处理，包括人脸裁剪、灰度归一化、数据增强和尺度归一化。
23、特征提取模块：特征提取模块包含inception模块、残差模块1、残差模块2和多尺度特征提取模块，并对inception模块使用密集连接结构，完成对遮挡表情图像局部特征信息的提取，将局部特征信息融合之后输入vit网络中进一步学习，最后输出表情分类的结果，有效提高针对遮挡表情图像的识别准确率。
24、网络训练模块：在网络训练过程中，使用特定于表情识别任务的通道损失函数和空间损失函数，使不同表情特征的类内距离减少，类间距离增大，有效建立了特征提取网络中深层特征信息与表情类别之间的联系，最大化网络提取的特征的类内紧凑性和类间可分离性，使网络可以提取具备表情鉴别力的深度特征。
25、一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1-5所述的一种遮挡表情识别方法。
26、一种电子设备，包括：
27、存储器，用于存储指令；
28、处理器，用于执行所述指令；所述处理器配置为经由执行可执行命令来执行权利要求1-5中所述的一种遮挡表情识别方法。
29、(三)有益效果
30、与现有技术相比，本专利技术提供了一种遮挡表情识别方法、系统、介质及电子设备，具备以下有益效果：
31、1.本专利技术使用带有残差模块、多尺度特征提取模块和采用密集连接结构inception模块的网络对遮挡表情的进行局部特征信息的提取，解决了特征提取不够丰富的问题。
32、2.本专利技术中将提取的局部特征信息融合之后再输入到vit网络中进一步学习，最后输出表情分类结果，对于遮挡表情的识别准确率提高了2.88％
33、3.本专利技术在网络训练过程中结合通道损失函数与空间损失函数，使不同表情特征的类内距离减少，类间距离增大，使网络可以提取具备表情鉴别力的深度特征同时优化了分类任务与特征的鉴别能力。
本文档来自技高网...【技术保护点】
1.一种遮挡表情识别方法，其特征在于：包括如下步骤，
2.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤1中在将遮挡表情图像输入到网络之前先对图像进行预处理，包括灰度归一化，数据增强：在人脸表情中添加黑色矩形方框作为遮挡，并旋转不同角度进行数据集的扩充，尺度归一化。
3.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤2中构建的基于带遮挡的人脸表情识别网络模型，多尺度特征提取模块能够对遮挡表情图像进行多尺度特征信息提取，获取被遮挡表情图像中的重点特征信息，弱化无效特征信息。
4.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤2的多尺度特征提取模块增强了网络对不同尺度信息的感知能力，提高了模型的泛化能力，对Inception模块使用密集连接结构，每个卷积层之间以及每一层它的后续层之间都有连接，每一卷积层的输入都是它之前的所有特征图，本身的特征图也会输入至后面的所有卷积层，密集链接结构实现了特征复用。
5.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤4在网络的训练过程中，使
6.一种遮挡表情识别系统，其特征在于：包括以下模块：
7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-5所述的一种遮挡表情识别方法。
8.一种电子设备，其特征在于，包括：存储器，用于存储指令；
...【技术特征摘要】
1.一种遮挡表情识别方法，其特征在于：包括如下步骤，
2.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤1中在将遮挡表情图像输入到网络之前先对图像进行预处理，包括灰度归一化，数据增强：在人脸表情中添加黑色矩形方框作为遮挡，并旋转不同角度进行数据集的扩充，尺度归一化。
3.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤2中构建的基于带遮挡的人脸表情识别网络模型，多尺度特征提取模块能够对遮挡表情图像进行多尺度特征信息提取，获取被遮挡表情图像中的重点特征信息，弱化无效特征信息。
4.根据权利要求1所述的一种遮挡表情识别方法，其特征在于：所述步骤2的多尺度特征提取模块增强了网络对不同尺度信息的感知能力，提高了模型的泛化...
【专利技术属性】
技术研发人员：葛微，朱云静，刘妍妍，李国宁，于永吉，王宇，冯国旭，刘大鹍，韩登，霍德华，
申请(专利权)人：长春理工大学重庆研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。