基于深度学习的动态人脸情绪识别方法技术

本发明专利技术揭示了一种基于深度学习的动态人脸情绪识别方法，包括如下步骤：S1、获取人脸图像序列；S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；本发明专利技术着眼于动态人脸情绪的分析，通过采集人脸图像序列进行分析的方式，有效地兼顾到了人类情绪阶段化的特点。同时，本发明专利技术通过将VGG卷积神经网络和LSTM循环神经网络相结合的方式完成了对人脸图像序列的处理，显著地提升了情绪识别的准确率。

Dynamic Face Emotion Recognition Based on Deep Learning

【技术实现步骤摘要】
基于深度学习的动态人脸情绪识别方法
本专利技术涉及一种计算机信息处理方法，具体涉及一种运用VGG网络和LSTM网络相结合的方法来实现的基于深度学习的动态人脸情绪识别方法，属于人工智能、模式识别领域。
技术介绍
近些年来，伴随着人工智能的浪潮，人机交互成为了新阶段的研究热点，而在人机交互领域的诸多研究方向中，关于情感识别的研究引起了研究人员的广泛关注。情绪识别就是指赋予机器识别使用者情感的能力，并在此基础上让机器做出相应的回应，即赋予机器“思考”能力。随着情绪识别技术的持续发展，情绪识别准确率的不断提升，这项技术未来必将在教育、医疗、交通等领域内大放异彩。虽然情绪识别在卷积神经网络提出后得到了飞速的发展和长足的进步，但是由于其一直局限于对单张图像的识别，所以分类的准确率仍然不尽如人意。造成这一现象的原因主要包括以下几点：首先，情绪由产生到表现是一个动态的过程，需要一定的时间去完美地呈现出个人情绪并在某一时间点达到峰值，而现有技术中的情绪识别通常只使用单张图片进行识别分析，这样无疑会导致准确率偏低地问题。再者，在过往很多的情绪识别的研究中，研究者或是只使用CNN卷积神经网络处理人脸图像，缺少对表情动态过程的分析；又或是只使用RNN循环神经网络处理人脸图像，虽考虑了时间的因素，但在图像处理方面RNN循环神经网络的处理准确率并不高，因此无论对网络进行怎样的优化，单个网络在情绪识别中发挥的作用依然十分有限。另外，在现有的研究中，研究者大都采用AlexNet网络，而VGG网络相比基础的AlexNet网络具有更多的卷积层，更深的网络也使得VGG具有比前者更强的表达能力，同时VGG网络具有局部连接和权值共享的特点，具有更快的计算速度。若能够使用VGG网络，辅以时间敏感的LSTM网络，那么肯定能够更加敏感地探测到表情的变化过程，从而使得网络预测的结果具有更高的准确性。综上所述，如何在现有技术的基础上提出一种运用VGG网络和LSTM网络相结合的方法来实现的动态人脸情绪识别方法，也就成为了本领域内技术人员亟待解决的问题。
技术实现思路
鉴于现有技术存在上述缺陷，本专利技术的目的是提出一种基于深度学习的动态人脸情绪识别方法，其特征在于，包括如下步骤：S1、获取人脸图像序列；S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；S5、利用所述动态人脸情绪识别模型，实现对人脸情绪的识别。优选地，所述S1具体包括如下步骤：利用Adaboost算法检测人脸，随后依据时间顺序获取人脸图像序列。优选地，所述S2具体包括如下步骤：S21、对图像进行缩放处理以及灰度化处理，并将所有处理后图像进行汇总、形成训练集；S22、采用VGG卷积神经网络，通过卷积层、池化层、全连接层对所述训练集中的图像进行特征提取；S23、使用softmax函数作为激活函数产生非线性的表示，将全部图像特征向量的值约束在[0,1]中。优选地，S21中所述对图像进行缩放处理以及灰度化处理，具体包括如下步骤：对所述人脸图像序列中的每一张图像进行缩放处理以及灰度化处理，使图像转化为标准的28×28的灰度图像。优选地，所述S3具体包括如下步骤：S31、将多个图像特征向量依照时间先后顺序输入LSTM循环神经网络；S32、将LSTM循环神经网络的输出特征向量序列，进行特征加权融合，得出最终的分类结果。优选地，所述S32具体包括如下步骤：设LSTM循环神经网络输出的特征向量序列为vi，i＝1,2,…,n，n为序列的长度，则加权融合后的特征向量为其中，加权系数max(vi)为向量vi的最大分量，max_2(vi)为向量vi的次大分量，b＝0.05。与现有技术相比，本专利技术的优点主要体现在以下几个方面：本专利技术所提供的基于深度学习的动态人脸情绪识别方法，着眼于动态人脸情绪的分析，通过采集人脸图像序列进行分析的方式，有效地兼顾到了人类情绪阶段化的特点。同时，本专利技术将VGG卷积神经网络和LSTM循环神经网络相结合，通过这两种网络来进行人脸图像序列的处理，充分地利用了其各自的优势，显著地提升了情绪识别的准确率。此外，本专利技术还对人脸特征根据时序进行了加权融合，从而进一步提高了对人脸情绪动态变化的学习效率。本专利技术也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于其他与情绪识别分析方法相关的技术方案中，具有十分广阔的应用前景。以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握。附图说明图1为本专利技术所构建的动态人脸情绪识别模型的结构示意图。具体实施方式本专利技术提出的基于深度学习的动态人脸情绪识别方法是将VGG网络和LSTM网络相结合、用于动态人脸情绪识别，主要解决了动态的情绪识别。现如今情绪识别的运用场合非常广泛，例如对疲劳驾驶检测，对抑郁症患者情绪的监控等等，动态识别方法在针对性和准确率上的优势都是已有的静态情绪识别所无法比拟的。本专利技术的方法大体包含两部分人脸检测和情绪识别。首先，通过Adaboost算法进行人脸检测并获得人脸图像序列。而在情绪分类方面，利用VGG与LSTM相结合的网络对人脸表情的动态变化所产生的人脸序列进行分析，再利用特征加权函数根据图片的时效性为每组序列中各个特征赋予权值，融合得到最终预测结果。进一步而言，本专利技术的基于深度学习的动态人脸情绪识别方法，包括如下步骤。S1、获取人脸图像序列。所述S1具体包括如下步骤：利用Adaboost算法检测人脸，随后依据时间顺序获取人脸图像序列。S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征。所述S2具体包括如下步骤：S21、对图像进行缩放处理以及灰度化处理，并将所有处理后图像进行汇总、形成训练集。所述对图像进行缩放处理以及灰度化处理，具体包括如下步骤：对所述人脸图像序列中的每一张图像进行缩放处理以及灰度化处理，使图像转化为标准的28×28的灰度图像。S22、采用VGG卷积神经网络，通过卷积层、池化层、全连接层对所述训练集中的图像进行特征提取。S23、使用softmax函数作为激活函数产生非线性的表示，将全部图像特征向量的值约束在[0,1]中。S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪。所述S3具体包括如下步骤：S31、将多个图像特征向量依照时间先后顺序输入LSTM循环神经网络。S32、将LSTM循环神经网络的输出特征向量序列，进行特征加权融合，得出最终的分类结果。计算过程如下：设LSTM循环神经网络输出的特征向量序列为vi，i＝1,2,…,n，n为序列的长度，则加权融合后的特征向量为其中，加权系数max(vi)为向量vi的最大分量，max_2(vi)为向量vi的次大分量，b＝0.05。S4、使用合适的损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型。所述动态人脸情绪识别模型的结构示意图如图1所示。S5、利用所构建的所述动态人脸情绪识别模型，实现对人脸情绪的识别。总体而言，本专利技术首先利用Adaboost方法进行人脸检测并获取人脸本文档来自技高网...

【技术保护点】
1.一种基于深度学习的动态人脸情绪识别方法，其特征在于，包括如下步骤：S1、获取人脸图像序列；S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；S5、利用所述动态人脸情绪识别模型，实现对人脸情绪的识别。

【技术特征摘要】
1.一种基于深度学习的动态人脸情绪识别方法，其特征在于，包括如下步骤：S1、获取人脸图像序列；S2、使用VGG卷积神经网络提取所述人脸图像序列中的每一张图像的图像特征；S3、使用LSTM循环神经网络，结合S2中提取的所述图像特征，识别人脸情绪；S4、使用损失函数对网络进行反复训练，优化网络参数，构建完整的动态人脸情绪识别模型；S5、利用所述动态人脸情绪识别模型，实现对人脸情绪的识别。2.根据权利要求1所述的基于深度学习的动态人脸情绪识别方法，其特征在于，所述S1具体包括如下步骤：利用Adaboost算法检测人脸，随后依据时间顺序获取人脸图像序列。3.根据权利要求1所述的基于深度学习的动态人脸情绪识别方法，其特征在于，所述S2具体包括如下步骤：S21、对图像进行缩放处理以及灰度化处理，并将所有处理后图像进行汇总、形成训练集；S22、采用VGG卷积神经网络，通过卷积层、池化层、全连接层对所述训练集中的图像进行特征提取；S23、使用softmax函数作为激活...

【专利技术属性】
技术研发人员：吴家皋，张华杰，陈欣宇，周峻全，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32