基于多尺度时空特征神经网络的微表情识别方法技术

本申请涉及基于多尺度时空特征神经网络的微表情识别方法，可以从微表情视频帧中学习到微表情的空间域与时间域的特征，将两者特征结合形成更加鲁棒的微表情特征。同时针对微表情发生在面部局部区域，将微表情产生的活跃的局部地区与全局区域相结合用于微表情识别。解决了微表情连续帧之间特征提取不足，以及微表情在局部区域较为活跃的问题。本发明专利技术对自发式微表情的准确率，相比于其它方法，具有一定的优势，78.7%的准确率充分说明本发明专利技术对微表情的识别取得良好的成效。的识别取得良好的成效。的识别取得良好的成效。

【技术实现步骤摘要】
基于多尺度时空特征神经网络的微表情识别方法


[0001]本申请涉及图像处理
，尤其涉及基于多尺度时空特征神经网络的微表情识别方法。

技术介绍

[0002]微表情（Micro
‑
expression）是一种自发式的表情，在人试图掩盖内在情绪时产生，既无法伪造也无法抑制。当人的心里隐藏某种真实的情绪时，会发生微表情，通常微表情的持续时间在1/25
‑
1/3秒。微表情较小的动作幅度以及短暂的 持续时间对人的肉眼识别是一个巨大的挑战。由于微表情不能伪造和抑制，可以作为判断人主观情绪的重要依据。通过对人脸微表情识别技术的开发，可以有效识别人脸微表情，并对微表情进行解读。捕捉人们面部的微表情，经过数据库的处理和分析可在反恐、安检和刑讯，人际交往，教学评价反馈等领域中发挥重要的作用。
[0003]微表情识别任务是指将给定的微表情样本识别为某一具体的情感类别，是微表情自动识别的核心任务。传统的手工特征分析微表达式的方法包括时空局部二元模式(LBP)、LBP
‑
TOP、定向平均光流特征等。这些方法的主要缺点是从视频中提取大部分肤浅的信息，缺乏抽象特征表示所需的信息。最近，基于深度学习的方法，如卷积神经网络(CNN)，已经越来越流行，并被广泛应用于解决各种计算机视觉问题，并取得优于传统方法的结果。因此, 本专利主要结合深度学习对微表情进行识别。
[0004]专利申请公布号CN 110008841 A涉及一种表情识别模型构建方法及系统，涉及数据处理领域。该方法包括S1：获取源图像并进行预处理，得到预处理图像；S2：根据所述源图像和所述预处理图像构建深度学习模型，引入迁移学习对所述深度学习模型进行权重训练，得到图像预训练模型；S3：根据所述图像预训练模型得到微调模型；S4：利用所述微调模型对所述预处理图像进行微调模型训练，得到表情识别模型本方案解决了如何提高表情识别模型的准确率的技术问题，适用于表情识别。
[0005]专利申请公布号CN 110705430 A公开了一种基于深度学习的多人面部表情识别方法和识别系统，其中识别方法包括步骤：1、建立表情识别模型；2、构建训练样本集，对表情识别模型中的参数进行训练；3、待识别图 像采用MTCNN网络检测图中的人脸，得到待识别图像中人脸窗口；将检测出的人脸区域输入训练好的表情识别模型中进行识别，得到待识别图像中每个人脸的表情分类结果。该识别方法将深度学习应用到表情识别，能快速完成多人面部表情识任务，且识别率高。

技术实现思路

[0006]为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了基于多尺度时空特征神经网络的微表情识别方法，包括：S1：获取微表情视频集合，将所述微表情视频集合述转化为微表情图像序列样本集合；
S2：从所述微表情图像序列样本集合提取人脸图像集合，并对所述人脸图像集合进行灰度化处理，形成人脸图像序列样本集合；S3：提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本，并形成局部特征样本集合；S4：将人脸图像序列样本集合和局部特征样本集合的时间尺度归一化，得到人脸图像序列样本归一化集合和局部特征样本归一化集合；S5：建立有提取空间特征和时间特征的神经网络合并而成的时空特征神经网络，将所述人脸图像序列样本归一化集合和所述局部特征样本归一化集合作为输入，对所述时空特征神经网络进行训练；S6：将待识别的微表情视频输入到训练好的时空特征神经网络，得到识别出的微表情。
[0007]优选地，所述从所述微表情图像序列样本集合提取人脸图像集合的方法为：S21：对微表情图像序列进行人脸检测，裁剪出矩形人脸图像并进行缩放；S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：和分别表示人脸图像序列和灰度归一化后的图像，max和min表示人脸图像序列的最大值与最小值。
[0008]优选地，所述提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本的方法为，S31：根据人脸运动单元和人脸图像序列样本集合中情感的运动单元标注，选择微表情发生时动作幅度较大的局部区域作为感兴趣区域；S32：将人脸图像序列样本裁剪出感兴趣区域，作为微表情的局部特征的样本。
[0009]优选地，所述情感的运动单元标注为，预先对人脸图像序列样本进行微表情标注。
[0010]优选地，所述时间尺度归一化的方法为，时间插值算法。
[0011]优选地，所述建立有提取空间特征和时间特征的神经网络为，建立由全局特征即面部区域和局部特征即感兴趣的局部区域组成的时空特征神经网络。
[0012]优选地，所述时空特征神经网络包括，全局特征提取层、局部特征提取层、连接层、全连接层和输出层；所述全局特征提取层和局部特征提取层分别与所述连接层连接，所述连接层与所述全连接层连接，所述全连接层与所述输出层连接；所述全局特征提取层包括，输入层、三维卷积层、三维最大值池化层、重塑层、长短期记忆模型循环神经网络；所述输入层与所述三维卷积层连接，所述三维卷积层与所述三维最大值池化层连接，所述三维最大值池化层与所述重塑层连接，所述重塑层与所述长短期记忆模型循环神经网络连接；所述局部特征提取层与所述全局特征提取层结构相同，数据的输入格式不同。
[0013]优选地，所述三维卷积层和所述全连接层都使用激活函数，所述激活函数的具体形式为，
x为所述激活函数的输入变量。
[0014]优选地，对所述时空特征神经网络进行训练采用的损失函数为交叉熵损失函数，具体形式为，其中，M是类别的数量；y
ic
指指示变量,如果该类别和样本i的类别相同就是1，否则是0；P
ic
对于观测样本i属于类别的预测概率；N是样本数量；所述时空特征神经网络进行训练采用随机梯度下降法计算损失函数。
[0015]优选地，所述时空特征神经网络进行训练采用批量归一化算法；在数据预处理中，使用近似白化处理，其公式具体为，其中是神经网络层中某个神经元的输入，=Wh+b, W是该层的权重，h为上一层的输出，b为不确定常数，是对该层神经元在随机梯度下降法中一个批次所有输入数据的均值，是该神经元一个批次所有输入数据的标准差。
[0016]本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，对自发式微表情的准确率，相比于其它方法，具有一定的优势，78.7%的准确率充分说明本专利技术对微表情的识别取得良好的成效。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度时空特征神经网络的微表情识别方法，其特征在于，包括：S1：获取微表情视频集合，将所述微表情视频集合述转化为微表情图像序列样本集合；S2：从所述微表情图像序列样本集合提取人脸图像集合，并对所述人脸图像集合进行灰度化处理，形成人脸图像序列样本集合；S3：提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本，并形成局部特征样本集合；S4：将人脸图像序列样本集合和局部特征样本集合的时间尺度归一化，得到人脸图像序列样本归一化集合和局部特征样本归一化集合；S5：建立有提取空间特征和时间特征的神经网络合并而成的时空特征神经网络，将所述人脸图像序列样本归一化集合和所述局部特征样本归一化集合作为输入，对所述时空特征神经网络进行训练；S6：将待识别的微表情视频输入到训练好的时空特征神经网络，得到识别出的微表情。2.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述从所述微表情图像序列样本集合提取人脸图像集合的方法为：S21：对微表情图像序列进行人脸检测，裁剪出矩形人脸图像并进行缩放；S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：S22：将裁剪的人脸图像序列进行灰度归一化处理，具体处理为：和分别表示人脸图像序列和灰度归一化后的图像，max和min表示人脸图像序列的最大值与最小值。3.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述提取人脸图像序列样本集合中的感兴趣的局部区域，作为提取局部特征的样本的方法为，S31：根据人脸运动单元和人脸图像序列样本集合中情感的运动单元标注，选择微表情发生时动作幅度较大的局部区域作为感兴趣区域；S32：将人脸图像序列样本裁剪出感兴趣区域，作为微表情的局部特征的样本。4.根据权利要求3所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述情感的运动单元标注为，预先对人脸图像序列样本进行微表情标注。5.根据权利要求1所述的基于多尺度时空特征神经网络的微表情识别方法，其特征在于，所述时间尺度归一化的方法为，时间插值算法。6.根据权利要求...

【专利技术属性】
技术研发人员：陶建华，张昊，刘斌，佘文祥，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：