一种基于光流输入的迁移学习用于微表情识别的方法技术

本发明专利技术公开了一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：步骤1：下载微表情数据集，对其进行对齐、归一化；步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。本发明专利技术解决了微表情识别中数据规模小产生过拟合的问题，同时光流比原始数据具有更高的层次特征，进一步提升了模型的性能。

【技术实现步骤摘要】
一种基于光流输入的迁移学习用于微表情识别的方法
本专利技术属于计算机视觉领域中，特别涉及一种应用深度学习实现的微表情识别方法。
技术介绍
微表情识别是计算机视觉领域的一个具有挑战性的任务，因为它具有面部表情受抑制和持续时间短的特点。近年来，因其在临床诊断、刑事侦查、安全系统等诸多领域的潜在应用，越来越受到不同学科领域专家的关注。微表情是一种特殊的面部表情，它被定义为一种不受人的意识控制、能表现真实情感的快速面部动作，能够揭示人们试图隐藏的真实情感。用面部表情来欺骗别人是可能的，但是微表情是不可能的。尽管微表情在视觉上与面部表情相似，但微表情短且受抑制，这使得微表情识别比面部表情识别更具挑战性。在一个心理学实验中使用微表情训练工具(METT)来训练微表情的七个类别，平均微表情识别率为50％。深度学习的发展使得可以利用卷积神经网络(CNN)从多个标记图像中学习层次特征。然而，深度学习需要大量的数据，由于微表情数据的缺乏，从微表情数据中直接训练卷积神经网络(CNN)模型是不可行的。据规模小的问题。
技术实现思路
本专利技术的目的是提供一种基于光流输入的迁移学习用于微表情识别的方法，以解决直接用微表情数据库进行微表情识别数据规模小而产生的过拟合问题为实现上述目的，本专利技术采用的技术方案为：一种基于光流输入的迁移学习用于微表情识别的方法，包括以下步骤：步骤1：下载微表情数据集，对其进行对齐、归一化；步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。所述步骤1中，对齐时使用活动形状模型在微表情数据集中的每个微表情视频的第一帧中检测到68个面部标志，然后根据比对模板对每个微表情视频的第一帧进行归一化，每个微表情视频中的后续帧都通过局部加权均值变换与第一帧进行比对；归一化包括空间域和时间域归一化，空间域归一化将所有图像都在人脸区域内被裁剪为96×112像素，时间域归一化采用线性插值方法来获取足够数量的帧。所述步骤2中，在一段微表情视频中，设在点(x,y,t)的值是I(x,y,t)，时隔δt到下一帧,像素移动(x+δx,y+δy,t+δt)，强度为I(x+δx,y+δy,t+δt)，基于小周期内亮度的不变性，得到I(x,y,t)＝I(x+δx,y+δy,t+δt)(1)其中，δx＝uδt，δy＝vδt，u(x,y)和v(x,y)为光流场中需要估计的水平分量和垂直分量，设微表情视频中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为:其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小,让式(2)两边除以时间δt和式(1),然后得到光流方程如下:即，所述步骤3中，设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：迁移学习的源标签空间为：yS＝{Neutral,Angry,Contempt,Disgust,Fear,Happy,Sad,Surprise}目标标签空间为：yT＝{Positive,Negative,Surprise,Others}其中，Positive＝{Happy}，Negative＝{Afraid,Angry,Disgust,Sad,Fear}，Surprise＝{Surprise}，情绪不清的面部动作属于Others；网络整体结构如下：input->conv_1->max-pool_1->conv_2->max-pool_2->conv_3->max-pool_3->fc_1->fc_2->lstm_1->lstm_2->lstm_3->fc_3->spatial_temporalfeature其中，input为步骤2中得到的光流序列，conv_i{i＝1，2，3}表示第i个卷积层，除conv1的卷积操作后都采用批归一化；max-pool_i{i＝1，2，3}表示第i个最大池化层；fc_i{i＝1，2，3}表示第i个全连接层，从fc2层提取空间特征表示；lstm_i{i＝1，2，3}表示第i个LSTM层；spatial_temporalfeature表示经过迁移学习最终得到的时空特征向量；每个卷积和全连接层的输出都采用ReLU非线性层作为激活函数来约束输出；在第一和第二完全连接层之后，有一个dropout层，来减轻对特征向量的过拟合；学习空间特征表示的目标函数如下：其中，表示第i个样本的真值，如果k是正确的类，则为1，否则为0，表示在全连接层上计算的表情类别k的预测概率；目标项L1使具有不同表情类型的样本在功能空间中可分离；其中，fc，p，i表示c类第i个训练样本的空间特征表示向量，最后一层提取的第p个表情状态；mc表示c类训练样本的均值特征向量；是在j≠c时，mc和mj之间最小距离的一半；目标项L2使同一表情类中的类内变化因受试者外观等因素造成的影响减少；学习时间特征表示的LSTM层的操作如下：gin，t(l)＝sigm(Win(l)[ht-1(l)，ht(l-1)]+bin(l))，gf，t(l)＝sigm(Wf(l)[ht-1(l)，ht(l-1)]+bf(l))，go，t(l)＝sigm(Wo(l)[ht-1(l)，ht(l-1)]+bo(l))，其中，W*(l)和bx(l)分别表示第l个LSTM层的权值和偏差，*为下标in、f、o、cell，分别表示input、forget、output、记忆单元；gin，t(l)表示输入门，决定了当前时刻t网络的输入有多少保存到单元状态；gf，t(l)表示遗忘门，决定了上一时刻的单元状态有多少保存到当前时刻t；go，t(l)表示输出门，决定单元状态有多少输出到LSTM的当前输出值；cellt(l)表示当前时刻t输入的单元状态；ht(l)表示给定第t个输入的第l个LSTM层的输出。有益效果：与现有技术不同的是，本专利技术在两方面提出了创新。一方面，网络输入不是经过简单对齐、归一化处理的微表情数据序列，而是对原始微表情数据集中序列进行光流估计，使得微表情视频中的细微动作更加明显，以此来获得高层次的特征；另一方面，卷积神经网络能够学习具有代表性的表情状态帧的空间图像特征，但是微表情数据的样本量非常小，直接训练很容易过拟合，因此本专利技术采用基于面部表情的CNN模型进行迁移学习，使用预训练的ImageNet_CNN在面部表情数据集CK+上训练，训练后的网络包含一些与微表情共享的表情信息，这些信息被传输到LSTM训练网络中学习时空特征。以此来解决直接用微表情数据库进行微表情识别数据规模小而产生的过拟合问题。<本文档来自技高网...

【技术保护点】
1.一种基于光流输入的迁移学习用于微表情识别的方法，其特征在于：包括以下步骤：/n步骤1：下载微表情数据集，对其进行对齐、归一化；/n步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；/n步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。/n

【技术特征摘要】
1.一种基于光流输入的迁移学习用于微表情识别的方法，其特征在于：包括以下步骤：
步骤1：下载微表情数据集，对其进行对齐、归一化；
步骤2：计算经步骤1处理后的微表情数据集中每个微表情视频的光流估计，得到光流序列；
步骤3：使用基于面部表情的CNN模型进行从宏表情到微表情迁移学习，输入为步骤2中得到的光流序列，输出为时间空间特征，对网络进行训练后最终实现微表情识别功能。


2.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤1中，对齐时使用活动形状模型在微表情数据集中的每个微表情视频的第一帧中检测到68个面部标志，然后根据比对模板对每个微表情视频的第一帧进行归一化，每个微表情视频中的后续帧都通过局部加权均值变换与第一帧进行比对；归一化包括空间域和时间域归一化，空间域归一化将所有图像都在人脸区域内被裁剪为96×112像素，时间域归一化采用线性插值方法来获取足够数量的帧。


3.根据权利要求1或2所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤1中，微表情数据集为CASMEII。


4.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤2中，在一段微表情视频中，设在点(x，y，t)的值是I(x，y，t)，时隔δt到下一帧，像素移动(x+δx，y+δy，t+δt)，强度为I(x+δx，y+δy，t+δt)，基于小周期内亮度的不变性，得到：
I(x，y，t)＝I(x+δx，y+δy，t+δt)(1)
其中，δx＝uδt，δy＝vδt，u(x，y)和v(x，y)为光流场中需要估计的水平分量和垂直分量，设微表情视频中的像素值是其位置和时间的连续函数，根据泰勒级数展开，上述函数的右部表示为：



其中，ε是二阶及以上时间δt的无偏估计量，当δt趋向于无穷小，让式(2)两边除以时间δt和式(1)，然后得到光流方程如下：



即，





5.根据权利要求1所述的基于光流输入的迁移学习用于微表情识别的方法，其特征在于：所述步骤3中，设计一个从宏表情到微表情进行迁移学习的网络，以实现微表情识别功能：
迁移学习的源标签空间为：



目标标签空间为：



其中，Positive＝{Happy}，Negative＝{Afraid，Angry，Disgust，Sad，Fear}，Surprise＝{Surprise}，情绪不清...

【专利技术属性】
技术研发人员：张立言，李星燃，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32