【技术实现步骤摘要】
本专利技术涉及一种基于梯度隔离漏电积分注意力的微表情识别方法，其重点解决人脸运动模式的提取，属于深度学习和模式识别。
技术介绍
1、两项关于日常说谎的研究中显示，77名青年受测者被检测到平均每天说谎2次，70名中年受测者为每天平均1次。研究结果揭示了一个普遍而有趣的现象：说谎是人类交流中不可避免的一部分。尽管说谎的频率可能随年龄、环境、文化和个人差异而变化。并且人们不善于发现欺骗，准确度通常等同于猜测。
2、微表情，作为人类面部表情的一种微妙、短暂且自发的情绪表征，从paul ekman教授在20世纪60年代首次发现以来，就一直是心理学和人机交互研究中的一个重要主题。此类短暂的面部动作，虽然持续时间不超过半秒，却能够揭示人们情感表达中试图隐藏的最真实、最不受控制的部分，因此，在安全审讯、临床诊断、商业谈判以及日常社交交往中对微表情的精确识别具有极其重要的应用价值。
3、然而，微表情的自发性、短暂性和微妙性使得其识别极具挑战(一般持续时间仅为1/25秒到1/3秒)，即使是经过训练的专家也很难准确识别微表情。经过专业训练的专家在测试中的最好识别率仍只有47％，因此人工识别微表情仍具有较大难度。
4、近年来，随着计算机视觉和多媒体技术的快速发展，利用计算机自动识别微表情成为可能，也成为近年来研究的热点，多种微表情识别算法由此产生。早期的微表情识别算法多依赖于手工设计微表情特征的传统机器学习模型。通过利用人类对微表情领域已有的先验，设计可能更具代表性的微表情特征。然而，基于人工特征的识别方法难以捕捉到
5、早期jianzheng liu等人首先提出了一种基于运动模板和4层深度学习神经网络的面部表情识别新方法。使用运动模板和adaboost识别动作单元作为特征，然后将提取的特征输入进4层深度学习神经网络以识别面部表情。此时，使用深度学习模型进行微表情识别开始进入研究视野。之后，peng等人提出了双流提出双流时间尺度卷积神经网络(dualtime scale convolution neural network,dtscnn)，采用独立浅层的卷积网络对不同流来适应不同帧率的微表情视频样本，但由于其使用双流网络计算相邻帧之间的光流，不可避免的引入的大量的计算。liong等人在此基础上进一步提出浅层三流三维卷积网络(shallow triple stream three-dimensional cnn,ststnet)，结合起始帧和峰值帧的光流作为模型的输入。verma等人提出了一种基于动态成像的横向增生混合网络(lateralaccretive hybrid network,learnet)，将完整视频序列压缩为一帧作为输入，以保存完整的肌肉运动信息。近年来，使用深度学习模型进行微表情识别的方法更倾向于结合在其他领域内已被验证的优秀算法。2021年rahil kadakia等人探讨了在samm数据集上使用不同深度学习模型(如vgg16,resnet50,mobilenet,inceptionv3,和xception)进行微表情识别的效果，发现mobilenet模型在效率方面超过其他模型，该工作减少了使用传统手工特征结合深度学习方法的计算量。同年12月，zhao等人总结了基于深度学习方法的微表情识别研究，讨论了dbn、cnn等主流算法的发展问题和趋势，指出深度学习在微表情识别领域的应用前景。之后，zhao等人于2022年提出了一个深度原型学习框架me-plan，通过局部注意力机制解决了微表情识别中的关键挑战，展示了在复合数据库上的优越性和有效性。lei等人提出了一种基于图结构特征表示的图-时域卷积网络，利用不同尺度的注意力模块判别面部不同区域内的运动强度，以识别细微的表情变化。xie等人也在同年采用了深度互学习网络，将au与情绪类别结合，通过关键帧的差异图像获取微表情输入的相关特征表示，提高了识别准确率和速度。最近，根据fan等研究者于2023年提出微表情自监督运动模式学习(self-supervise motion learning for micro-expression,selfme)框架，其主要捕获人类微表情面部动作的变化模式，试图克服模型对手工特征的依赖限制。nguyen等人提出基于bert模型的微表情识别框架(bert-based facial micro-expression recognition,micron-bert)，凭借bert框架的序列建模能力，对微表情帧中的兴趣块(patch ofinterest,poi)进行定位，以减少背景等噪音对模型识别性能的影响。
6、目前，基于深度学习的识别算法往往依赖于神经网络强大的特征建模能力，而忽略了微表情特征本身微弱，瞬时的特性。这就使模型识别性能往往由使用深度模型的先进程度决定导致其识别率难以得到进一步提升。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法。本专利技术注重深度学习框架与面部细微运动特征的有效结合，而不是简单的依赖于神经网络对抽象特征的建模能力。
2、专利技术概述：
3、一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，包括数据集预处理、面部运动模式特征提取模块、梯度隔离漏电积分注意力和分类识别模块。
4、本专利技术解决的技术问题为：现有方法对微表情微弱动态特征的建模困难，导致识别准确率较低。与现有方法相比，本专利技术利用神经网络对微表情峰值帧与起始帧之间的差异进行建模，以有效捕捉到面部肌肉的微小变化。并且，本专利技术提出梯度隔离漏电积分注意力，通过增强微表情在持续时间内特定面部区域所表现出的细微运动模式，提升模型对面部细微变化的建模能力。
5、术语解释：
6、1、dlib视觉库：dlib是一个包含机器学习算法的c++开源工具包。dlib可以帮助创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前dlib已经被广泛的用在行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。
7、2、面部68个关键特征点，面部68个关键特征点主要分布于眉毛，眼睛，鼻子，嘴巴以及面部轮廓，如图1所示，通过dlib视觉库来检测，为现有技术。
8、3、损失函数：损失函数是用来评估模型的预测值与真实值的不一致程度，损失函数越小，代表模型的鲁棒性越好，损失函数能指导模型学习。
9、4、卷积残差网络resnet：是一种深度学习模型，最初由何恺明等人在2015年提出，其各类变体被广泛应用到视频分类和行为识本文档来自技高网...
【技术保护点】
1.一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤A中，对微表情视频进行预处理，该步骤包括：
3.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤A中，人脸对齐后进行人脸矫正，包括：
4.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤B中，面部关键帧差异定义为峰值帧Xσ与起始帧X1之间的差像素差，如式(1)所示：
5.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤C中，面部运动模式特征提取主网络利用步骤B得到的面部关键帧差异，使用ResNet对面部关键帧差异进行微表情信息的进一步学习及建模；包括：
6.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，构建梯度
7.根据权利要求6所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，脉冲神经元根据输入的运动特征计算漏电积分注意力，包括：
8.根据权利要求6所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，计算漏电积分注意力，具体实现过程如下：
9.根据权利要求6-8任一所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，梯度隔离，具体实现过程如下：
10.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，对待识别的微表情视频预处理后输入训练好的面部运动模式特征提取主网络及梯度隔离漏电积分注意力模块，实现微表情分类识别；包括：
...【技术特征摘要】
1.一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤a中，对微表情视频进行预处理，该步骤包括：
3.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤a中，人脸对齐后进行人脸矫正，包括：
4.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤b中，面部关键帧差异定义为峰值帧xσ与起始帧x1之间的差像素差，如式(1)所示：
5.根据权利要求1所述的一种基于梯度隔离漏电积分注意力的面部运动模式提取的微表情识别方法，其特征在于，在步骤c中，面部运动模式特征提取主网络利用步骤b得到的面部关键帧差异，使用resnet对面部关键帧差异进行微表情信息的进一步学习及建模；包括：
6.根据权利要求1所述的一种基于梯...
【专利技术属性】
技术研发人员：贲晛烨，姚云鹏，刘永进，徐尊晓，杨刚强，杨明强，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。