基于神经网络敏感性分析的微表情识别方法技术

本发明专利技术公开了一种基于神经网络敏感性分析的微表情识别方法。本发明专利技术首先构造一个基础的深度神经网络并在ImageNet数据集上进行预训练，再在宏表情数据集CK+上进行微调。接着，使用神经网络敏感性分析工具TCAV量化地分析该模型在表情判别过程时，人脸感兴趣区域在各层的敏感性。本发明专利技术提取TCAV分数最高层的输出，采用特征融合技术设计新的网络结构，并在微表情数据集上进行迁移学习，得到针对微表情识别的网络模型。本发明专利技术能有效提高微表情种类识别的性能。

【技术实现步骤摘要】
基于神经网络敏感性分析的微表情识别方法
本专利技术属于计算机图像处理
，涉及一种基于神经网络敏感性分析的微表情识别方法。
技术介绍
微表情是人类面部肌肉的细微而短暂的动作，当一个人试图隐藏他或她的真实情绪时，这些微表情会不由自主地发生。与传统的宏表情相比，微表情识别在刑事审讯、国土安全和心理治疗等领域存在着巨大的潜力。因此，近年来科研人员对微表情的研究兴趣迅速增加。然而，无论是人工识别微表情还是自动识别微表情，微表情低强度和短持续时间的特性仍然是微表情识别面临的主要挑战。在当前的机器学习方法中，视频中微表情判别方法多基于连续帧的微表情，根据其变化幅度提取相应特征并进行判别，比如光流法和局部二值模式法。其中，光流法通过检测帧与帧之间像素的变化来测量亮度的变化，进而对微表情进行辨别。使用神经网络对微表情进行判别的过程中，在每一层都会提取到不同层次的人脸特征。然而，在之前的基于深度学习的微表情识别方法中，很少有将低层次的有效特征和高层次的特征进行结合并进行综合判别。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于神经网络敏感性分析的微表情识别方法，该方法在微表情识别应用上具有高精度的特点。本专利技术具体是：步骤S1：设计一个常规的包含9层卷积层以及1层全连接层(FC1)和1层logit层(全连接层FC2)的卷积神经网络结构(详见表1)。表1步骤S1中基础网络结构及参数设置阶段层输入格式步长通道数1Conv4×4224×2242322Conv3×3112×1121643Conv3×3&Pooling110×11011284Conv3×355×5512565Conv3×355×5522566Conv3×3&Pooling28×2812567Conv3×314×1415128Conv3×314×1415129Conv3×3&Pooling14×14151210FC1&dropout7×7×512-102411FC21024-Nclasses步骤S2：选择ImageNet数据库中的前200类事物在步骤S1中的卷积神经网络进行训练，得到网络模型。步骤S3：选择宏表情数据集CK+对由步骤S2得到的网络模型进行迁移学习，并得到相应的网络模型。具体地，本专利技术在步骤S3中的迁移学习时，冻结了步骤S2得到的网络模型前6层的参数。同时，由于步骤S2中需要分成200类，而步骤S3中CK+仅有7类，步骤S3中卷积神经网络最后一层的全连接层神经元个数也由200个修改为7个。步骤S4：使用神经网络敏感性分析工具TestingwithConceptActivationVectors(TCAV)对步骤S3得到的网络模型每一层进行敏感性测试。具体地，本专利技术在步骤S4中根据人脸肌肉将人脸分成数个感兴趣区域，并将这些区域作为测试样例对神经网络模型进行敏感性测试。步骤S5：根据步骤S4中得到的敏感性测试结果，对步骤S3中的神经网络进行修改。具体地，将对人脸感兴趣区域敏感性评分最高的层的输出结果分流到一个新的分支中。该分支包含一层卷积层以及一层全连接层。并将该分支的全连接层与原本网络结构的全连接层进行拼接，并在其后添加一个分类器(logit层，图5的FC2)。即，将神经网络浅层的低级特征与深层的高级特征进行融合，联合判别微表情。这个添加了分支的网络结构即为最终的神经网络结构。具体地，浅层的低级特征指神经网络前几层提取到的图像信息，通常为点、线、纹理以及颜色等信息。深层高级特征指神经网络后几层提取到的信息。在步骤S5中，高级特征为嘴角、鼻翼等高阶的概念。步骤S6：根据步骤S5中得到的最终神经网络结构在微表情数据库上进行迁移学习，得到最终的网络模型。具体地，步骤S6中使用的数据库是由CASMEⅡ、SMIC、SAMM数据库中选择68个测试人员的微表情图片组成的联合数据库。该联合数据库的所有微表情被明确地分成3种类别，分别是积极的、消极的以及惊讶的。具体地，本专利技术在步骤S6中进行迁移学习时，锁定了由步骤S3中得到的前10层的参数(详见表1)，仅对步骤S5中添加的分支以及全连接层进行训练。具体地，本专利技术在步骤S6中进行训练时使用了留一验证法准则(LOSO)进行试验。对于联合数据库中68个测试人员，每次选择1位测试人员所有的微表情图片作为测试集，其他67个测试人员所有的微表情图片作为训练集进行训练。如此操作分别进行68次，即每位测试人员的微表情图片都作为测试集并得到一个独立的网络模型。最终得到68个网络模型以及对应的68个测试结果。具体地，对于68个测试结果，分别统计其UAR值和UF1值，得到最终结果。本专利技术的有益效果：本专利技术运用神经网络敏感性分析技术对训练好的神经网络模型进行量化分析，并根据结果对神经网络结构进行修改，运用特征融合技术将敏感性高即作用大的浅层的低级特征与深层的高级特征进行融合，提高了微表情识别准确率。附图说明图1表示步骤S1中的神经网络结构。图2表示人脸感兴趣区域划分。图3表示使用敏感性分析工具TCAV计算原理。图4表示使用敏感性分析工具TCAV得到的结果。图5表示步骤S5中得到的神经网络的结构。具体实施方式下面将结合附图对本专利技术加以详细说明，应指出的是，所描述的实施例仅旨在便于对本专利技术的理解，而对其不起任何限定作用。图1表示步骤S1中的神经网络结构。首先，设计了一个常规的9层神经网络结构。本专利技术在第一阶段使用ImageNet数据集进行训练及测试。由于第一阶段的训练只需关注纹理特征、颜色特征等浅层特征，本专利技术中选取ImageNet的前200个类进行训练和测试。训练时采用了初始学习率为3e-4的Adam优化器进行优化。优化时使用的损失函数公式为：其中，L表示损失值，N表示类别总数，yic表示样本i的指示变量，如果类别c和样本i的类别相同就是1，否则是0，pic表示预测样本i属于类别c的概率。经过100个迭代的训练，Top-1和Top-5的错误率分别为32.50％和12.35％。具体地，Top-1和Top-5为ImageNet大赛的评价指标。其中，To本文档来自技高网...

【技术保护点】
1.基于神经网络敏感性分析的微表情识别方法，其特征在于该方法具体是：/n步骤S1：设计一个常规无分支的卷积神经网络结构，包含卷积层、全连接层和logit层；/n步骤S2：选择ImageNet数据库中的前200类事物在步骤S1中的卷积神经网络进行训练，得到网络模型；/n步骤S3：选择宏表情数据集CK+对由步骤S2得到的网络模型进行迁移学习，并得到相应的网络模型；/n步骤S4：使用神经网络敏感性分析工具对步骤S3得到的网络模型每一层进行敏感性测试；/n步骤S5：根据步骤S4中得到的敏感性测试结果，对步骤S3中的神经网络进行修改，具体是：将对人脸感兴趣区域敏感性评分最高的层的输出结果分流到一个新的分支中；该分支包含一层卷积层以及一层全连接层；并将该分支的全连接层与原网络结构的全连接层进行拼接，在其后添加一个分类器；即将神经网络浅层的低级特征与深层的高级特征进行融合，联合判别微表情；这个添加了分支的网络结构即为最终的神经网络结构；/n步骤S6：根据步骤S5中得到的最终神经网络结构在微表情数据库上进行迁移学习，得到最终的网络模型。/n

【技术特征摘要】
1.基于神经网络敏感性分析的微表情识别方法，其特征在于该方法具体是：
步骤S1：设计一个常规无分支的卷积神经网络结构，包含卷积层、全连接层和logit层；
步骤S2：选择ImageNet数据库中的前200类事物在步骤S1中的卷积神经网络进行训练，得到网络模型；
步骤S3：选择宏表情数据集CK+对由步骤S2得到的网络模型进行迁移学习，并得到相应的网络模型；
步骤S4：使用神经网络敏感性分析工具对步骤S3得到的网络模型每一层进行敏感性测试；
步骤S5：根据步骤S4中得到的敏感性测试结果，对步骤S3中的神经网络进行修改，具体是：将对人脸感兴趣区域敏感性评分最高的层的输出结果分流到一个新的分支中；该分支包含一层卷积层以及一层全连接层；并将该分支的全连接层与原网络结构的全连接层进行拼接，在其后添加一个分类器；即将神经网络浅层的低级特征与深层的高级特征进行融合，联合判别微表情；这个添加了分支的网络结构即为最终的神经网络结构；
步骤S6：根据步骤S5中得到的最终神经网络结构在微表情数据库上进行迁移学习，得到最终的网络模型。


2.根据权利要求1所述的基于神经网络敏感性分析的微表情识别方法，其特征在于：在步骤S3中的迁移学习时，冻结步骤S2得到的网络模型前...

【专利技术属性】
技术研发人员：付晓峰，胡卓群，付晓鹃，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33