一种基于卷积神经网络的人脸表情识别方法技术

本发明专利技术提供一种基于卷积神经网络的人脸表情识别方法，涉及人脸表情识别技术领域。该方法首先采集人脸表情图片，下载FER‑2013人脸库与CK+人脸库，将图像分为训练集与测试集，然后对采集的图像进行预处理，得到96*96大小的灰度图像，建立卷积神经网络模型，并利用训练集进行训练，计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值，训练完后，保存训练完成的网络模型，输入测试集的图像到训练模型中，计算识别率。本发明专利技术中，对人脸表情识别方法进行改进，模型的收敛速度提高，识别效率提高，改变了该卷积神经网络的准确率，在一定程度上提高了人脸表情识别效率。

【技术实现步骤摘要】
一种基于卷积神经网络的人脸表情识别方法
本专利技术涉及人脸表情识别
，尤其涉及一种基于卷积神经网络的人脸表情识别方法。
技术介绍
人脸表情是可以传递情感的一种有效的方式。表情中包含许多关于情感的有效信息；表情识别作为一种可以自动鉴别人脸的技术，对于单张人脸图像，识别效率较高；由于不同人的表情存在一定的差异性，导致识别率降低。表情识别过程是通过特征点提取来减小存在的差异性。然而，由于提取到的特征点存在定位不准、有效的特征点较少，造成人脸表情识别效率较低，以及该过程较为复杂等缺点。人脸表情识别可应用于医疗、教育、交通等诸多领域；因此，实现人脸表情识别方法是一个重要的研究领域。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于卷积神经网络的人脸表情识别方法，对人脸表情识别方法进行改进，在一定程度上提高了人脸表情识别效率。为解决上述技术问题，本专利技术所采取的技术方案是：一种基于卷积神经网络的人脸表情识别方法，包括以下步骤：步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分；步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像；步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值；具体的建立过程如下：步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：其中，l表示第l层，即为当前层，l-1即表示前一层；表示第l层的排列顺序为j的特征图；wi，j表示当前层与前一层特征图的卷积核；表示当前层的排列顺序为j的特征图的偏置；表示前一层第j个特征图；θ()为激励函数；M表示当前层特征图个数；表示第j个特征图连接前一层特征图的数量；步骤3.2、利用子采样层，降低C2卷积层的维数，具体采用最大池化方法对卷积层C2的特征图进行子采样，只改变特征图的大小，不改变特征图的数量，最大池化的子采样方法如下：其中，Rh表示第h个子采样区域，h取值为1～4，ah表示在区域Rh范围内的像素值，Sh为第h个子采样区域最大值，最大子采样法是挑选概率值ah中最大的值作为最终的子采样结果；最后，获得到S2层输出的128个输出特征图；步骤3.3、根据步骤3.2获得的128个输出特征图，将这128个输出特征图转化为一个特征向量，作为全连接层的输入向量，输出结果为一个特征向量，全连接层的输入公式如下：Hw，b(x)＝δ(WTx+b)其中，Hw，b(x)表示全连接层的输出，x表示全连接层输入的一个特征向量，W为全连接层的权值向量；b表示偏置向量，δ()表示全连接层的激励函数，如下：其中，α取0.005；步骤3.4、Softmax分类层采用7个神经元，对全连接层的神经元进行全连接，将全连接层输出的特征向量输入到Softmax分类层中，得到7个预测值，成为分类结果，即可判断7种可识别的人脸表情；步骤4、利用加权Fisher准则函数作为代价函数计算训练的实际输出结果与标签值之间的误差，通过反向传播算法自顶向下传递差值，并利用权值更新公式更新权值；权值更新公式如下：J＝J(W，b)-pJB+qJw其中，J代表改进后的代价函数；J(W，b)代表输出的概率值与图像数据标签之间的差值；JB表示类间距离的代价函数，Jw表示类内距离的代价函数，p取0.02，q取0.01；m表示样本总个数，n表示第i类中的样本个数；hw，b(xcd)表示样本的实际输出值，xcd表示该样本中该像素值，yc为该样本的标签值，μc表示第c类的样本均值，μd表示第d类的样本均值，ω(Δcd)表示权值；Sw表示类中样本之间的距离；Δcd表示第c类与第d类之间的马氏距离；erf()表示错误函数，pc表示第c类的先验概率值，t为计算积分中的一个变量；使用监督学习方法训练卷积神经网络模型，训练完后，保存训练完成的网络模型，设定的迭代次数为100次；步骤5、输入测试集的图像到训练模型中，计算识别率。进一步地，步骤3.1中卷积层第l层的j个特征图输出函数的设置为0，激励函数θ()采用ReLUs函数，ReLUs函数如下：f(n)＝max(0，n)其中，n表示的值。采用上述技术方案所产生的有益效果在于：本专利技术提供的基于卷积神经网络的人脸表情识别方法，将人脸表情识别过程中的特征提取与特征分类结合，得到表情的识别结果；利用SoftPlus与RELU函数，使得该网络中激励函数更加具有稀疏性与平滑特性，降低激励函数的复杂度，模型的收敛速度提高，在代价函数中添加Fisher准则，在网络模型中的反向传播函数阶段，通过改变类内与类间距离不同的权值，达到了保持合适的类间与类内距离；利用训练好的模型直接输入图像，得出最终的分类结果，对于人脸表情识别过程是一种简化，识别效率提高，并根据训练集中的图像数量，改变了该卷积神经网络的准确率。附图说明图1为本专利技术实施例提供的基于卷积神经网络的人脸表情识别方法的流程图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。如图1所示，本实施例的方法如下所述。步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分。步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像。步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；(7)本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于：该方法包括以下步骤：步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER‑2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分；步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像；步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值；具体的建立过程如下：步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：...

【技术特征摘要】
1.一种基于卷积神经网络的人脸表情识别方法，其特征在于：该方法包括以下步骤：步骤1、通过数码相机、手机或监控设备对人脸表情图片进行采集，利用互联网下载FER-2013人脸库与CK+人脸库，获得数量级较大的关于人脸的图像，并将图像分为训练集与测试集两部分；步骤2、对采集的图像进行预处理，将采集到的图像统一裁剪为96*96像素大小，并将人脸位于该图的中心位置，利用matlab软件将人脸库中的彩色图像灰度化处理，得到96*96大小的灰度图像；步骤3、建立卷积神经网络模型，该模型包括依序连接的两个卷积层、一个子采样层、一个卷积层、一个子采样层、一个全连接层和一个Softmax分类层，各层分别如下：(1)卷积层C1，卷积核大小为5*5，步长为1，卷积核个数为32，无填充；(2)卷积层C2，卷积核大小为5*5，步长为1，卷积核个数为64，无填充；(3)子采样层S1，子采样窗口大小为2*2，步长为1，无填充；(4)卷积层C3，卷积核大小为5*5，步长为1，卷积核个数为128，无填充；(5)子采样层S2，子采样窗口为2*2，步长为1，无填充；(6)全连接层，包含300个神经元，将子采样层S2的输出特征图转化为一维向量；(7)Softmax分类层，与全连接层中的神经元进行全连接，得到7个预测值；具体的建立过程如下：步骤3.1、将训练集中的图像输入该模型中的卷积层，遍历图像中的子图像像素值，卷积层第l层的j个特征图输出函数如下：其中，l表示第l层，即为当前层，l-1即表示前一层；表示第l层的排列顺序为j的特征图；wi，j表示当前层与前一层特征图的卷积核；表示当前层的排列顺序为j的特征图的偏置；表示前一层第j个特征图；θ()为激励函数；M表示当前层特征图个数；表示第j个特征图连接前一层特征图的数量；步骤3.2、利用子采样层，降低C2卷积层的维数，具体采用最大池化方法对卷积层C2的特征图进行子采样，只改变特征图的大小，不改变特征图的数量，最大池化的子采样方法如下：其中，Rh表示第h个子采样区域，h取值为1～4，ah表示在区域Rh范围内的像素值，Sh为第h个子采样区域最...

【专利技术属性】
技术研发人员：姜彦吉，葛少成，郭羽含，王光，杨帆，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：辽宁,21