一种自发微表情识别方法技术

本发明专利技术公开了一种自发微表情识别方法，通过将微表情的特征学习过程分解成先验学习和目标学习两个阶段，并设计与之对应的孪生三维卷积神经网络模型，可以充分的让网络模型在小样本的微表情数据集上得到充分的训练，从而大幅度的提高深度模型的泛化能力，并最终提升网络模型的识别效果。

【技术实现步骤摘要】
一种自发微表情识别方法
本专利技术涉及自发微表情识别领域，尤其涉及一种自发微表情识别方法。
技术介绍
微表情是一种自发地、不受个体意识所控制的面部微弱反应，其往往发生在有压力的或者高风险的环境下，伴随着个体尝试压制或者隐藏其真实情感时产生。与常规表情不同，微表情运动强度极弱、持续时间极短(低于500ms)，不易被察觉，但微表情不可伪造，是人心理情感变化在面部的真实反应，所以微表情识别可用于非接触无感知的欺骗检测和情感分析，在司法审讯、抑郁症治疗、商业洽谈、国家安全等方面都有广泛的应用。早期的微表情识别分析主要在心理学领域展开，通常依靠繁杂的人工分析以及通过一些专业的培训工具来训练人来识别微表情，这种依靠人力的方法不仅受限于专业培训和时间成本，而且识别准确率很低，据相关文献报到只有47％的识别准确率。因此利用机器进行自动微表情分析越来越成为主流，近年来，在计算机视觉和情感计算领域，也出现了许多的基于传统机器学习以及先进深度学习的微表情识别工作。基于传统机器学习的微表情识别方法主要包括两步：首先设计特定的视觉特征描述算子提取微表情特征，如LBP-TOP，3DHOG等，然后利用各种分类器，包括：SVM，随机树森林等进行分类识别。这类方法最大的问题就是需要依赖先验知识和启发式的特征工程，从而限定了其使用场景。相比于基于传统机器学习的微表情识别方法，利用深度学习进行微表情识别最大的优势就是充分整合了微表情特征提取和分类识别过程，并且能提取更高层次的微表情特征，目前研究者们也提出了各种基于卷积神经网络的微表情识别模型，在识别性能上也取得了一定的突破，然而，深度学习方法是一种数据驱动型的方法，往往需要依赖大规模的数据样本进行训练，在现有的小规模微表情数据集上表现也不如人意，往往面临严重的过拟合问题，此外更糟的是，现有微表情数据存在严重的类样本不均衡问题，这也让深度神经网络模型更难训练，所以利用深度学习进行微表情识别仍然具有很大的挑战。
技术实现思路
本专利技术的目的是提供一种自发微表情识别方法，能够有效的提升自发微表情识别的准确率。本专利技术的目的是通过以下技术方案实现的：一种自发微表情识别方法，包括：构建孪生三维卷积神经网络，对其进行两阶段的训练：第一阶段训练为先验学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集通过类别标签异同划分得到的若干微表情样本对，通过孪生三维卷积神经网络来判断微表情样本对是否为同类的微表情，从而反向更新孪生三维卷积神经网络的参数；第二阶段训练为目标学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集，通过第一阶段训练后的孪生三维卷积神经网络对输入微表情样本进行分类，固定孪生三维卷积神经网络前端特征提取层中靠前的若干卷积单元的参数，更新特征提取层其余卷积单元以及末端推理层的参数；其中，预处理后的原始数据集中的每一微表情样本均为用于描述自发微表情的光流图像帧序列；之后，通过训练得到的孪生三维卷积神经网络对待识别的微表情样本进行分类。由上述本专利技术提供的技术方案可以看出，通过将微表情的特征学习过程分解成先验学习和目标学习两个阶段，并设计与之对应的孪生三维卷积神经网络模型，可以充分的让网络模型在小样本的微表情数据集上得到充分的训练，从而大幅度的提高深度模型的泛化能力，并最终提升网络模型的识别效果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种自发微表情识别方法的流程图；图2为本专利技术实施例提供的训练数据准备工作以及网络训练的流程图；图3为本专利技术实施例提供的原始微表情样本预处理的示意图；图4为本专利技术实施例提供的原始微表情样本预处理的效果；图5为本专利技术实施例提供的基于孪生三维卷积神经网络和两阶段学习的自发微表情识别方法的模型图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种自发微表情识别方法，如图1所示，其主要包括：构建孪生三维卷积神经网络，对其进行两阶段的训练：第一阶段训练为先验学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集通过类别标签异同划分得到的若干微表情样本对，通过孪生三维卷积神经网络来判断微表情样本对是否为同类的微表情，从而反向更新孪生三维卷积神经网络的参数；第二阶段训练为目标学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集，通过第一阶段训练后的孪生三维卷积神经网络对输入微表情样本进行分类，固定孪生三维卷积神经网络前端特征提取层中靠前的若干卷积单元的参数，更新末端推理层的参数；其中，预处理后的原始数据集中的每一微表情样本均为用于描述自发微表情的光流图像帧序列；之后，通过训练得到的孪生三维卷积神经网络对待识别的微表情样本进行分类。为了便于理解，下面结合图2对训练之前的数据准备工作以及训练过程做详细的介绍。一、数据样本预处理。本专利技术实施例中，对原始数据集中每一原始微表情样本均进行如下处理，得到对应的光流图像帧序列，预处理的优选实施方式如下：1)确定每一原始微表情样本中的三个基本关键帧，分别为起始帧、峰值帧以及结束帧，通过三个基本关键帧将原始微表情样本分为：起始帧至峰值帧、峰值帧至结束帧的两个片段。通常来说，原始微表情样本是一个微表情序列，已经标定了三个基本关键帧。2)通过自适应关键帧构造方法产生一个由3+S个RGB图像帧构成的关键帧序列，自适应关键帧构造方法包括时间自适应与空间自适应。在时间自适应层面，需要在起始帧至峰值帧、峰值帧至结束帧的两个片段中间生成过渡帧来构成最后的关键帧序列，由于每个微表情运动的规律不一致，这也将导致起始帧至峰值帧和峰值帧至结束帧两个片段的时间长度不同，所以为了保障最后的关键帧序列在时序空间上与原始微表情高度一致。本专利技术实施例中，计算在两个片段中分别插入的中间过渡帧数目Nsp和Npe，中间过渡帧的数目Nsp和Npe由原始微表情样本的长度N以及两个片段的时间间隔(tp-ts+1)和(te-tp+1)共同决定，表示为：Nsp＝(tp-ts+1)*S/NNpe＝(te-tp+1)*S/NNsp+Npe＝S其中，S为偶数，表示插入的中间过渡帧总数，ts代表起始(start)帧的时间索引，tp代表峰值(peak)帧的时间索引，te代表结束(end)帧的时间索引。示例性的，可以设置S＝8。在空间自适应层面，当给定两个不同时序位置的图像帧It1和I本文档来自技高网...

【技术保护点】
1.一种自发微表情识别方法，其特征在于，包括：/n构建孪生三维卷积神经网络，对其进行两阶段的训练：第一阶段训练为先验学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集通过类别标签异同划分得到的若干微表情样本对，通过孪生三维卷积神经网络来判断微表情样本对是否为同类的微表情，从而反向更新孪生三维卷积神经网络的参数；第二阶段训练为目标学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集，通过第一阶段训练后的孪生三维卷积神经网络对输入微表情样本进行分类，固定孪生三维卷积神经网络前端特征提取层中靠前的若干卷积单元的参数，更新特征提取层其余卷积单元以及末端推理层的参数；其中，预处理后的原始数据集中的每一微表情样本均为用于描述自发微表情的光流图像帧序列；/n之后，通过训练得到的孪生三维卷积神经网络对待识别的微表情样本进行分类。/n

【技术特征摘要】
1.一种自发微表情识别方法，其特征在于，包括：
构建孪生三维卷积神经网络，对其进行两阶段的训练：第一阶段训练为先验学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集通过类别标签异同划分得到的若干微表情样本对，通过孪生三维卷积神经网络来判断微表情样本对是否为同类的微表情，从而反向更新孪生三维卷积神经网络的参数；第二阶段训练为目标学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集，通过第一阶段训练后的孪生三维卷积神经网络对输入微表情样本进行分类，固定孪生三维卷积神经网络前端特征提取层中靠前的若干卷积单元的参数，更新特征提取层其余卷积单元以及末端推理层的参数；其中，预处理后的原始数据集中的每一微表情样本均为用于描述自发微表情的光流图像帧序列；
之后，通过训练得到的孪生三维卷积神经网络对待识别的微表情样本进行分类。


2.根据权利要求1所述的一种自发微表情识别方法，其特征在于，所述孪生三维卷积神经网络包括两个结构完全相同的子网络，两个子网络的参数是完全共享的；每一个子网络包括：前端的特征提取层、以及末端的推理层；
第一阶段训练中，微表情样本对中的微表情样本各自输入至一个子网络；第二阶段训练中，任选一个子网络进行训练；最终保留第二阶段训练后的子网络对待识别的微表情样本进行分类。


3.根据权利要求2所述的一种自发微表情识别方法，其特征在于，
所述特征提取层包括多个卷积单元，每一卷积单元包含依次设置的三维卷积层与最大池化层；
所述推理层包括：依次设置的拉伸层、全连接层、相似度度量层和分类输出层；分类输出层包含了Sigmoid与Softmax两类激活函数，分别用于第一阶段训练的输出与第二阶段训练的输出，两个子网络共用同一个相似度度量层和分类输出层。


4.根据权利要求1所述的一种自发微表情识别方法，其特征在于，第一阶段训练时，将单次输入的微表情样本对记为[I1，I2]，经过特征提取层后，将微表情样本对的特征向量[F1，F2]，通过推理层度量两个特征向量的L1距离并映射到[0，1]空间，得到微表情样本对是否为同一类微表情的概率P(I1，I2)：



其中，D是特征向量F1和F2的维度，F1＝[f11，f12，...，f1D]，F2＝[f21，f22，...，f2D]；
根据概率P(I1，I2)与微表情样本对是否为同类的真实标签，利用神经网络反向传播算法更新孪生三维卷积神经网络的参数。


5.根据权利要求3所述的一种自发微表情识别方法，其特征在于，第二阶段训练时，对于输入微表情样本，通过孪生三维卷积神经网络预测其属于第k类的概率：



...

【专利技术属性】
技术研发人员：陈恩红，徐童，赵思蕊，冷文昊，李弘毅，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34