一种基于AU区域和多层级Transformer融合模块的微表情分类方法技术

本发明专利技术提供一种基于AU区域和多层级Transformer融合模块的微表情分类方法，建立微表情分类网络，分层级进行嵌入向量的学习和融合，对最终得到的样本嵌入向量进行分类；实现过程包括AU区域划分，生成嵌入向量，第一层级融合，对每个AU区域的嵌入向量进行学习融合，得到一个包含AU区域特征的局部嵌入向量；第二层级融合，对每一帧的局部嵌入向量进行学习融合，得到一个包含该帧表情图像特征的全局嵌入向量；第三层级融合，实现包括对每个样本的全局嵌入向量进行学习融合，得到一个包含该样本表情空间特征和时序特征的样本嵌入向量；反向利用Attention机制计算每个嵌入向量在序列中受重视的程度，作为权重对不同嵌入向量的值向量进行加权平均，得到融合后的嵌入向量。得到融合后的嵌入向量。得到融合后的嵌入向量。

【技术实现步骤摘要】
一种基于AU区域和多层级Transformer融合模块的微表情分类方法


[0001]本专利技术属于机器学习中深度学习
，具体是涉及一种基于AU区域和多层级Transformer融合模块的微表情分类方法。

技术介绍

[0002]目前，用于序列帧分类的主流深度学习网络分为两大类：
[0003]第一大类是使用2D卷积与时间序列网络的组合，对图像序列中的各帧依次进行空间特征提取和时间特征提取。时间序列网络主要使用RNN/LSTM系列的网络，如近年提出的用于微表情分类的ELRCN网络(文献1)，其实验结果表明时间和空间特征在微表情识别中发挥着不同的作用，而好的识别效果依赖于二者的有效结合。
[0004]第二大类是使用3D卷积网络，同时对图像序列所有帧的图像进行特征提取和分类。3D卷积网络主要用于动作识别领域，由于动态表情分类与动作识别任务具有较高相似性，也有优秀的研究者将其应用于微表情图像序列的学习和分类，如3D
‑
FCNN网络(文献2)，通过对2D卷积层扩展深度维，同时兼顾了空间域和时间域的特征提取，达到了较高精度。
[0005]但是时间序列网络需要逐步递归才能获取全局信息，且下一时刻信息要依赖于前面时刻的信息，即存在序列依赖关系，因此该系列网络的并行计算能力很差。而3D卷积网络虽然易于并行，但只能获取局部信息，通过叠加卷积层数来增大感受野，学习长依赖的能力较弱。
[0006]相关文献：
[0007]【文献1】H.Khor,J.See,R.C.Phan,W.Lin,“Enriched Long
‑
term Recurrent Convolutional Network for Facial Micro
‑
Expression Recognition,”Proceedings of the 2018International Conference on Automatic Face&Gesture Recognition(FG),2018,pp.667
–
674.
[0008]【文献2】J.Li,Y.Wang,J.See,W.Liu,“Micro
‑
expression recognition based on 3D flow convolutional neural network,”Pattern Analysis and Applications,2019,pp.1331
–
1339.

技术实现思路

[0009]针对现有微表情识别方法存在的上述不足，本专利技术以深度学习为基础，提出一种基于AU区域和多层级Transformer融合模块的微表情分类网络，以Transformer的基本模块学习表情图像序列的空间特征和时序特征，同时通过划分AU区域使网络的低层可以专注于不同AU特征的提取。并还提出一种Fusion模块，反向利用Attention机制计算每个嵌入向量在序列中的重要程度，将注意力信息引入融合过程。
[0010]本专利技术采用的技术方案为一种基于AU区域和多层级Transformer融合模块的微表情分类方法，建立微表情分类网络，以分层级进行嵌入向量的学习和融合，对最终得到的样
本嵌入向量进行分类；设输入样本为t帧表情图像序列，实现过程如下，
[0011](1)AU区域划分，包括先检测样本起始帧中的landmark点，以确定脸部特征的位置，根据预先定义的AU区域划分方式以及landmark点的位置提取出N个AU区域；所述AU表示人脸运动单元，landmark点表示人类特征点；N为预设的数值；
[0012](2)生成嵌入向量，包括对每个AU区域，将其分成M
×
M个图像块，每个图像块经过Embedding层转换为一个嵌入向量；所述Embedding层为向量嵌入层；M为预设的数值；
[0013](3)第一层级融合，包括对每个AU区域的M
×
M嵌入向量，通过Local Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含AU区域特征的局部嵌入向量；所述Local Attn.模块为局部注意力模块，Fusion层模块为向量融合层模块；
[0014](4)第二层级融合，包括对每一帧的N个局部嵌入向量，通过Space Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含该帧表情图像特征的全局嵌入向量；所述Space Attn.模块为空间注意力模块，Fusion层模块为向量融合层模块；
[0015](5)第三层级融合，包括对每个样本的t个全局嵌入向量，通过Time Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含该样本表情空间特征和时序特征的样本嵌入向量；所述Time Attn.模块为时序注意力模块，Fusion层模块为向量融合层模块；
[0016](6)微表情分类，包括通过全连接层对最终输出的样本嵌入向量进行分类，得到预测结果；
[0017]每个Local Attn.模块、Space Attn.模块和Time Attn.模块分别由两个Transformer基本模块堆叠组成，
[0018]每个Fusion层模块中，反向利用Attention机制计算每个嵌入向量在序列中受重视的程度，以此为权重对不同嵌入向量的值向量进行加权平均，得到融合后的嵌入向量。
[0019]而且，所述Fusion层模块中，反向利用Transformer中Attention机制，用其他向量的查询向量点乘当前向量的键向量，以表示其他向量在编码过程中有多重视当前向量，取均值得到每个嵌入向量在序列中的重要程度；将所有嵌入向量的重要程度值经过缩放和softmax函数得到概率序列，以此为权重对不同嵌入向量的值向量进行加权平均，得到融合后的嵌入向量。
[0020]而且，所述的Transformer基本模块中，使用Transformer网络架构中的多头注意力层、全连接层和归一化层学习嵌入向量中所包含的特征信息，以及建模不同嵌入向量之间的依赖关系。
[0021]而且，N的取值为9。
[0022]而且，M的取值为5。
[0023]与现有技术相比，本专利技术具有以下优点和积极效果：
[0024](1)本专利技术提出的AU区域划分方法可以让分类网络的低层专注于不同AU特征的提取，更有针对性地对嵌入向量进行编码和融合。从而使分类网络的高层可以根据不同AU区域的特征信息对微表情的类别进行分类。
[0025](2)本专利技术提出的Fusion模块可以将注意力信息用于指导嵌入向量的融合，使得在序列中更受重视的嵌入向量在融合过程中发挥更大作用。
[0026](3)本专利技术使用Transformer基本模块，可以更好地学习全局信息，建模长依赖，同时易于并行计算。
[0027](4)本专利技术使用多层级学习和融合的方式，使Transformer本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AU区域和多层级Transformer融合模块的微表情分类方法，其特征在于：建立微表情分类网络，以分层级进行嵌入向量的学习和融合，对最终得到的样本嵌入向量进行分类；设输入样本为t帧表情图像序列，实现过程如下，(1)AU区域划分，包括先检测样本起始帧中的landmark点，以确定脸部特征的位置，根据预先定义的AU区域划分方式以及landmark点的位置提取出N个AU区域；所述AU表示人脸运动单元，landmark点表示人类特征点；N为预设的数值；(2)生成嵌入向量，包括对每个AU区域，将其分成M
×
M个图像块，每个图像块经过Embedding层转换为一个嵌入向量；所述Embedding层为向量嵌入层；M为预设的数值；(3)第一层级融合，包括对每个AU区域的M
×
M嵌入向量，通过Local Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含AU区域特征的局部嵌入向量；所述LocalAttn.模块为局部注意力模块，Fusion层模块为向量融合层模块；(4)第二层级融合，包括对每一帧的N个局部嵌入向量，通过Space Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含该帧表情图像特征的全局嵌入向量；所述Space Attn.模块为空间注意力模块，Fusion层模块为向量融合层模块；(5)第三层级融合，包括对每个样本的t个全局嵌入向量，通过Time Attn.模块和相应Fusion层模块进行学习和融合，得到一个包含该样本表情空间特征和时序特征的样本嵌入向量；所述Time Attn.模块为时序注意力模块，Fusion层模块为向量融合层模块；(6)微表情分类，...

【专利技术属性】
技术研发人员：何双江，项金桥，赵俭辉，董喆，王斑，曹洪斌，张珣，赵慧娟，翟芷君，靖娟，
申请(专利权)人：湖北省黄石市人民检察院，
类型：发明
国别省市：