基于可分离卷积的微表情识别方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及微表情识别技术领域，尤其涉及一种基于可分离卷积的微表情识别方法、装置、设备及介质。上述方法应用于医疗领域，本发明专利技术中，通过将三维卷积网络分离为二维空间卷积与一维时间卷积，并在二维空间卷积后引入空间注意力机制，提取待识别微表情视频中的二维空间特征，确定出空间位置的权重，通过一维时间卷积，提取待识别微表情视频中的时间权重特征，确定出每一视频帧的时间权重，通过对视频特征增加空间位置的权重与时间权重，减小了待识别微表情视频中视频帧图像中的背景因素对空间特征提取的影响，丰富了待识别微表情视频中的时空特征，从而提高微表情识别精度。从而提高微表情识别精度。从而提高微表情识别精度。

【技术实现步骤摘要】
基于可分离卷积的微表情识别方法、装置、设备及介质


[0001]本专利技术涉及微表情识别
，尤其涉及一种基于可分离卷积的微表情识别方法、装置、设备及介质。

技术介绍

[0002]当人类在高风险环境中时，个体情绪更可能通过微表情表现出来。目前，情绪相关障碍(情绪障碍，包括重性抑郁障碍、双相情感障碍及焦虑障碍等)的诊断，主要依靠患者自身及知情人提供的临床病史，结合专业的精神检查，医生根据诊断标准做出综合判断。病人往往情绪波动性大，易产生不良情绪，如愤怒、焦虑不安、抑郁、孤独感、冲动性症状等。通常使用的筛查辅助工具(如心理评估量表)为症状严重程度评估量表，诊断结果受到患者主观表达的影响，使诊断结果存在误差。由于微表情更倾向于那些被抑制的表情，因此微表情更能体现人们真实的感受和动机。通过微表情识别更有利于症状严重程度的诊断。
[0003]微表情识别是指在已经确定是微表情的情况下进行详细分类(如：积极、消极、惊讶)。传统的微表情识别算法使用LBP、LBP
‑
TOP、LBP
‑
SIP等算子来提取纹理信息，再结合SVM、多核分类器以及随机森林来识别微表情。传统的微表情识别方法把特征提取和分类器设计分开来做，然而因为手工设计特征需要大量的经验以及调试工作，其次选择一个比较合适的分类器算法也是一大难点。近年来，随着深度学习的发展，深度神经网络算法以及注意力机制的广泛应用，为微表情识别带来了新的研究方向。微表情识别深度学习方法一般使用CNN+RNN网络模型或者使用三维卷积神经网络来提取特征，但是特征冗余较大，有效信息不明确，使微表情识别的精度较低，因此如何提高微表情的识别精度成为亟待解决的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于可分离卷积的微表情识别方法、装置、设备及介质，以解决微表情的识别精度较低的问题。
[0005]本申请实施例的第一方面提供了一种基于可分离卷积的微表情识别方法，所述微表情识别方法包括：
[0006]获取待识别微表情视频，对所述待识别微表情视频进行特征提取，确定视频特征；
[0007]使用空间注意力机制对所述视频特征进行计算，得到空间注意力值，使用时间注意力机制对所述视频特征进行计算，得到时间注意力值；
[0008]对所述视频特征进行二维空间卷积，获取第一输出结果，基于所述第一输出结果和所述空间注意力值，获取第一特征；
[0009]对所述第一特征进行一维时间卷积，获取第二输出结果，基于所述第二输出结果和所述时间注意力值，获取第二特征；
[0010]对所述第二特征进行类别划分，确定划分类别为所述待识别微表情视频的识别结果。
[0011]本申请实施例的第二方面提供了一种基于可分离卷积的微表情识别装置，所述微表情识别装置包括：
[0012]获取模块，用于获取待识别微表情视频，对所述待识别微表情视频进行特征提取，确定视频特征；
[0013]计算模块，用于使用空间注意力机制对所述视频特征进行计算，得到空间注意力值，使用时间注意力机制对所述视频特征进行计算，得到时间注意力值；
[0014]第一特征获取模块，用于对所述视频特征进行二维空间卷积，获取第一输出结果，基于所述第一输出结果和所述空间注意力值，获取第一特征；
[0015]第二特征获取模块，用于对所述第一特征进行一维时间卷积，获取第二输出结果，基于所述第二输出结果和所述时间注意力值，获取第二特征；
[0016]分类模块，用于对所述第二特征进行类别划分，确定划分类别为所述待识别微表情视频的识别结果。
[0017]第三方面，本专利技术实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的微表情识别装置方法。
[0018]第四方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的微表情识别装置方法
[0019]本专利技术与现有技术相比存在的有益效果是：
[0020]获取待识别微表情视频，对待识别微表情视频进行特征提取，确定视频特征使用空间注意力机制对视频特征进行计算，得到空间注意力值，使用时间，注意力机制对视频特征进行计算，得到时间注意力值，对视频特征进行二维空间卷积，获取第一输出结果，基于第一输出结果和空间注意力值，获取第一特征，对第一特征进行一维时间卷积，获取第二输出结果，基于第二输出结果和时间注意力值，获取第二特征，对第二特征进行类别划分，确定划分类别为待识别微表情视频的识别结果。本专利技术中，通过将三维卷积网络分离为二维空间卷积与一维时间卷积，并在二维空间卷积后引入空间注意力机制，提取待识别微表情视频中的二维空间特征，确定出空间位置的权重，通过一维时间卷积，提取待识别微表情视频中的时间权重特征，确定出每一视频帧的时间权重，通过对视频特征增加空间位置的权重与时间权重，减小了待识别微表情视频中视频帧图像中的背景因素对空间特征提取的影响，丰富了待识别微表情视频中的时空特征，从而提高微表情识别精度。在医疗领域中情绪障碍辅助诊断系统中，通过获取患者的微表情，对患者症状的严重程度进行辅助判断，从而提高对患者症状的严重程度的判断精度。
附图说明
[0021]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术一实施例提供的一种基于可分离卷积的微表情识别方法的一应用环
境示意图；
[0023]图2是本专利技术一实施例提供的一种基于可分离卷积的微表情识别方法的流程示意图；
[0024]图3是本专利技术一实施例提供的一种基于可分离卷积的微表情识别装置的结构示意图；
[0025]图4是本专利技术一实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0026]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]应当理解，当在本专利技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0028]还应当理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0029]如在本专利技术说明书和所附权利要求书中所使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可分离卷积的微表情识别方法，其特征在于，所述微表情识别方法包括：获取待识别微表情视频，对所述待识别微表情视频进行特征提取，确定视频特征；使用空间注意力机制对所述视频特征进行计算，得到空间注意力值，使用时间注意力机制对所述视频特征进行计算，得到时间注意力值；对所述视频特征进行二维空间卷积，获取第一输出结果，基于所述第一输出结果和所述空间注意力值，获取第一特征；对所述第一特征进行一维时间卷积，获取第二输出结果，基于所述第二输出结果和所述时间注意力值，获取第二特征；对所述第二特征进行类别划分，确定划分类别为所述待识别微表情视频的识别结果。2.如权利要求1所述的微表情识别方法，其特征在于，所述获取待识别微表情视频，对所述待识别微表情视频进行特征提取，确定视频特征，包括：对所述待识别微表情视频进行分帧处理，得到所述待识别微表情视频对应的视频帧序列；通过预设人脸检测模型，对所述视频帧序列中的每一视频帧进行人脸检测与定位，获取每一视频帧的目标区域；利用预设视觉库中的面部关键特征点对所述每一视频帧的目标区域进行对齐处理，获取每一视频帧的特征，根据每一视频帧的特征，确定视频特征。3.如权利要求1所述的微表情识别方法，其特征在于，所述使用空间注意力机制对所述视频特征进行计算，得到空间注意力值，包括：对所述待识别微表情视频中的每一视频帧划分区域，得到每一视频帧中每个区域的特征；使用空间注意力机制对每个区域的特征进行计算，获取每一视频帧中每个区域的权重值；根据所述每一视频帧中每个区域的权重值，确定空间注意力值。4.权利要求1所述的微表情识别方法，其特征在于，所述使用时间注意力机制对所述视频特征进行计算，得到时间注意力值，包括：根据所述视频特征，获取所述待识别微表情视频中的每一视频帧的特征；根据每一视频帧的特征，使用时间注意力机制对每一视频帧的特征进行计算，得到每一视频帧的权重值；将每一视频帧的权重值确定为时间注意力值。5.权利要求3所述的微表情识别方法，其特征在于，所述根据所述每一视频帧中...

【专利技术属性】
技术研发人员：宋延新，王健宗，黄章成，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：