一种基于光流生成网络和重排序的微表情分类方法技术

本发明专利技术涉及一种基于光流生成网络和重排序的微表情分类方法。首先获取微表情数据集，提取出起始帧和峰值帧，并进行预处理；训练光流生成网络，根据所有的起始帧和峰值帧生成其光流特征；接着将得到的光流图像，按照LOSO原则切分成对应的训练集和测试集，输入残差网络进行训练；最后对残差网络初步分类得到的结果进行重排序，得到精度更高的最终结果。

【技术实现步骤摘要】
一种基于光流生成网络和重排序的微表情分类方法
本专利技术涉及模式识别与计算机视觉领域，特别是一种基于光流生成网络和重排序的微表情分类方法。
技术介绍
在情感计算领域，经常会有对人脸表情的研究，以此判断人类当时当刻的情感，但是人身为最高等的动物，有时候会伪装或者掩藏自己的情感，这种情况下，人们并不能从人脸面部的宏观表情中获取到有用的信息。为了能够从伪装的人脸表情中挖掘出有用的信息，埃克曼发现了一种短暂的、不自觉的、快速的面部情绪，即微表情，在人们试图隐藏某种真实的情绪时，它会被激发出来，不自觉地显现在人脸上。一个标准的微表情持续1/5到1/25秒，通常只出现在脸部的特定部位。微表情在国家安全，犯罪审讯，以及医疗应用方面有着巨大的前景，但是微表情的微妙和简洁是对人类的肉眼构成了巨大挑战，因此，近年来人们提出了许多利用计算机视觉和机器学习算法来实现微表情自动识别的工作。
技术实现思路
本专利技术的目的在于提供一种基于光流生成网络和重排序的微表情分类方法，能够有效地对微表情图像进行分类。为实现上述目的，本专利技术的技术方案是：一种基于光流生成网络和重排序的的微表情分类方法，包括如下步骤：步骤S1、获取微表情数据集，提取出起始帧和峰值帧，并进行预处理；步骤S2、训练光流生成网络，根据所有的起始帧和峰值帧生成其光流特征；步骤S3、将得到的光流图像，根据LOSO原则划分训练集和测试集，输入残差网络进行训练；步骤S4、对残差网络得到的分类结果进行重排序，得到精度更高的最终结果。在本专利技术一实施例中，所述步骤S1具体包括如下步骤：步骤S11、获取微表情数据集，进行人脸对齐后将图像剪裁成224*224大小的图像；步骤S12、对于自带起始帧和峰值帧标注的微表情数据集，直接根据标注内容提取出起始帧和峰值帧，并执行步骤S15；步骤S13、对于未自带起始帧和峰值帧标注的微表情数据集，利用帧差法提取出视频序列的起始帧和峰值帧；帧差法的方式为：令P＝{pi},i＝1,2,...表示输入的图像序列，其中pi表示第i个输入的图像，令序列首帧为起始帧，即pstart＝p1，将视频序列的首帧和第n帧对应像素的灰度值记为f1(x,y)、fn(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，Dn(x,y)＝|fn(x,y)-f1(x,y)|，计算差分图像的平均帧间差分Dnavg，计算方法如下：其中，Dn.shape[0]表示差分图像Dn的高度，Dn.shape[1]表示差分图像Dn的宽度。计算出除起始帧以外的所有帧和起始帧的平均帧间差分并排序，平均帧间差分最大的帧即为该图像序列对应的峰值帧papex；提取出起始帧和峰值帧后执行步骤S15；步骤S15、对提取出的起始帧和峰值帧，进行欧拉动作放大，其计算过程如下：I(x,t)＝g(x+(1+α)δ(t))其中I(x,t)表示图像在位置x和时刻t的亮度值，g(·)表示欧拉动作放大过程的映射函数，而δ(t)表示运动偏差，通过调整运动放大系数α来生成放大后的图像。在本专利技术一实施例中，所述步骤S2中，所述光流生成网络采用两个子网络的结构进行点对点的像素训练，两个子网络之间相互平级，一个子网络针对大位移进行光流估计，另一个子网络针对小位移进行光流估计，每个子网络都由特征提取模块和光流估计模块构成，最后再对两个子网络得到的光流估计进行融合得到最终的光流估计图像；S21、对于大位移光流估计子网络，其特征提取模块由九个卷积层构成，该特征提取模块的输入为放大后的输入图像对的叠加，令该特征提取模块的特征映射函数为H(·)，计算过程如下：featurebig＝H(pls+pla)其中pls表示放大以后的起始帧，pla表示放大以后的峰值帧，featurebig表示针对大位移运动特征提取的结果；大位移光流估计子网络的光流估计模块由上池化层和卷积层构成，将特征提取模块输出得到的特征值featurebig和特征提取模块第5-1层，即特征提取模块第4层的特征featurebig4进行叠加，并上池化进行光流的估计和光流图像分辨率的还原，得到光流估计模块第1层的计算结果，其计算过程如下：featureBflow1＝estimate(featurebig+featurebig4)其中featureBflow1表示大位移子网络下光流估计模块第1层输出的特征，estimate(·)表示大位移子网络下光流估计模块第1层的映射函数；接着对于剩下的光流估计模块2-4层，都将前一层计算的结果再加入下一层的输入，其计算过程如下：featureBflowi＝estimate(featurebig+featurebig(5-i)+featureBflow(i-1))其中featureBflow(i-1)表示大位移子网络下光流估计模块第i-1层输出的特征；S22、对于小位移光流估计子网络，其特征提取模块由九个卷积层构成，前三个卷积分别对输入的未经动作放大的起始帧ps和峰值帧pa分别进行特征提取，后六个卷积的输入为前三个卷积对两图像帧输出结果的叠加，令该特征提取模块前三个卷积的映射函数为first(·)，后六个卷积的映射函数为last(·)，其计算过程如下：featuresmall＝last(first(ps)+first(pa))其中featuresmall表示针对小位移运动特征提取的结果；小位移光流估计子网络的光流估计模块由上池化层和卷积层构成，将特征提取模块输出得到的特征值featuresmall和特征提取模块第6-1层，即特征提取模块第5层的特征featuresmall5进行叠加，并上池化进行光流的估计和光流图像分辨率的还原，得到光流估计模块第一层的计算结果，其计算过程如下：featureSflow1＝estimate(featuresmall+featuresmall5)其中featureSflow1表示小位移子网络下光流估计模块第1层输出的特征，estimate(·)表示小位移子网络下光流估计模块第1层的映射函数；接着对于剩下的光流估计模块2-5层，都将前一层计算的结果再加入下一层的输入，其计算过程如下：featureSflowi＝estimate(featuresmall+featuresmall(6-i)+featureSflow(i-1))其中featureSflow(i-1)表示小位移子网络下光流估计模块第i-1层输出的特征；S23、将大位移光流估计子网络和小位移光流估计子网络得到的结果进行融合，得到最后的输出结果，令fusion(·)表示最后的融合操作，其计算过程如下：pfusion＝fusion(featureBflow4+featureSflow5)。在本专利技术一实施例中，所述步骤S3具体包括如下步骤：步骤S31、每个光流图像数据集下的有多个subjec本文档来自技高网...

【技术保护点】
1.一种基于光流生成网络和重排序的微表情分类方法，其特征在于，包括如下步骤：/n步骤S1、获取微表情数据集，提取出起始帧和峰值帧，并进行预处理；/n步骤S2、训练光流生成网络，根据所有的起始帧和峰值帧生成其光流特征；/n步骤S3、将得到的光流图像，根据LOSO原则划分训练集和测试集，输入残差网络进行训练；/n步骤S4、对残差网络得到的分类结果进行重排序，得到精度更高的最终结果。/n

【技术特征摘要】
1.一种基于光流生成网络和重排序的微表情分类方法，其特征在于，包括如下步骤：
步骤S1、获取微表情数据集，提取出起始帧和峰值帧，并进行预处理；
步骤S2、训练光流生成网络，根据所有的起始帧和峰值帧生成其光流特征；
步骤S3、将得到的光流图像，根据LOSO原则划分训练集和测试集，输入残差网络进行训练；
步骤S4、对残差网络得到的分类结果进行重排序，得到精度更高的最终结果。


2.根据权利要求1所述的一种基于光流生成网络和重排序的微表情分类方法，其特征在于，所述步骤S1具体包括如下步骤：
步骤S11、获取微表情数据集，进行人脸对齐后将图像剪裁成224*224大小的图像；
步骤S12、对于自带起始帧和峰值帧标注的微表情数据集，直接根据标注内容提取出起始帧和峰值帧，并执行步骤S15；
步骤S13、对于未自带起始帧和峰值帧标注的微表情数据集，利用帧差法提取出视频序列的起始帧和峰值帧；帧差法的方式为：令P＝{pi},i＝1,2,...表示输入的图像序列，其中pi表示第i个输入的图像，令序列首帧为起始帧，即pstart＝p1，将视频序列的首帧和第n帧对应像素的灰度值记为f1(x,y)、fn(x,y)，将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn，Dn(x,y)＝|fn(x,y)-f1(x,y)|，计算差分图像的平均帧间差分Dnavg，计算方法如下：



其中，Dn.shape[0]表示差分图像Dn的高度，Dn.shape[1]表示差分图像Dn的宽度，计算出除起始帧以外的所有帧和起始帧的平均帧间差分并排序，平均帧间差分最大的帧即为该图像序列对应的峰值帧papex；提取出起始帧和峰值帧后执行步骤S15；
步骤S15、对提取出的起始帧和峰值帧，进行欧拉动作放大，其计算过程如下：
I(x,t)＝g(x+(1+α)δ(t))
其中I(x,t)表示图像在位置x和时刻t的亮度值，g(·)表示欧拉动作放大过程的映射函数，而δ(t)表示运动偏差，通过调整运动放大系数α来生成放大后的图像。


3.根据权利要求1所述的一种基于光流生成网络和重排序的微表情分类方法，其特征在于，所述步骤S2中，所述光流生成网络采用两个子网络的结构进行点对点的像素训练，两个子网络之间相互平级，一个子网络针对大位移进行光流估计，另一个子网络针对小位移进行光流估计，每个子网络都由特征提取模块和光流估计模块构成，最后再对两个子网络得到的光流估计进行融合得到最终的光流估计图像；
S21、对于大位移光流估计子网络，其特征提取模块由九个卷积层构成，该特征提取模块的输入为放大后的输入图像对的叠加，令该特征提取模块的特征映射函数为H(·)，计算过程如下：
featurebig＝H(pls+pla)
其中pls表示放大以后的起始帧，pla表示放大以后的峰值帧，featurebig表示针对大位移运动特征提取的结果；
大位移光流估计子网络的光流估计模块由上池化层和卷积层构成，将特征提取模块输出得到的特征值featurebig和特征提取模块第5-1层，即特征提取模块第4层的特征featurebig4进行叠加，并上池化进行光流的估计和光流图像分辨率的还原，得到光流估计模块第1层的计算结果，其计算过程如下：
featureBflow1＝estimate(featurebig+featurebig4)
其中featureBflow1表示大位移子网络下光流估计模块第1层输出的特征，estimate(·)表示大位移子网络下光流估计模块第1层的映射函数；
接着对于剩下的光流估计模块2-4层，都将前一层计算的结果再加入下一层的输入，其计算过程如下：
featureBflowi＝estimate(featurebig+featurebig(5-i)+featureBflow(i-1))
其中featureBflow(i-1)表示大位移子网络...

【专利技术属性】
技术研发人员：柯逍，林艳，王俊强，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35