一种基于深度稀疏自编码网络的人脸情感识别方法技术

本发明专利技术公开了一种基于深度稀疏自编码网络的人脸情感识别方法，包括以下步骤：步骤1：数据获取及预处理；步骤2：建立深度稀疏自编码网络；步骤3：深度稀疏网络自动编解码；步骤4：训练Softmax分类器；步骤5：整体网络权值微调。本发明专利技术的方法引入稀疏性参数，即减少神经元节点个数情况下，可以学习到数据的压缩表示，有效提高训练和识别速度，并通过反向传播算法与梯度下降法对网络权值进行微调从而达到全局最优，能够克服训练过程中局部极值与梯度弥散问题，从而提高识别性能。

【技术实现步骤摘要】

本专利技术涉及一种基于深度稀疏自编码网络的人脸情感识别方法，属于模式识别

技术介绍
随着人机交互、情感计算等理论与技术的高速发展，人们普遍希望机器人具有识别、理解和生成人类情感的能力，从而实现和谐、友好、顺畅的人机交流。由于人类情感的多样性与相应行为之间的复杂性，当前的人机交互仍面临着关于情感计算(包括识别、理解和表达情感的情感计算能力)领域的一些难题。研究基于人脸表情、语音、手势、生理信号等信息的情感识别等已成为人机交互中的重点。人脸表情识别是情感计算领域的关键技术，将人脸表情识别嵌入人机交互系统，可使机器更好地理解人类情感，建立人性化的交互模式，将会在客户体验、智能驾驶、远程教育等领域获得广泛应用。人脸表情识别由人脸检测与分割、表情特征提取、人脸表情分类三部分组成。其中，人脸表情特征分析与人脸表情分类算法是人脸表情算法的关键。然而己有的一些机器学习算法对人脸表情特征进行训练与识别的过程中往往容易产生局部最优与梯度弥散等问题，因此更具鉴别力的人脸特征选择以及具有良好分类能力的分类器设计是提高人脸情感识别率的关键。深度学习的概念源于人工神经网络的研究，通过组合低层特征形成更加抽象的高层表示类别或特征，以发现数据的分布式特征表示。深度稀疏自编码网络是一个含有多层隐藏层的神经网络，外加限制隐藏层神经元数量的稀疏性因子，是深度学习的基础模型之一。此网络较以往的识别算法具有以下优点：通过采用分层处理的方式训练数据，每一层都能提取到数据不同层次的特征，从而逐层建立从底层到高层信号的特征映射，大大提高训练和识别的速度；层叠非线性神经元，能够模仿高度复杂的非线性函数；能够克服训练过程中局部极值与梯度弥散问题，从而提高识别性能。
技术实现思路
为了解决现有技术的不足，本专利技术提供了一种基于深度稀疏自编码网络的人脸情感识别方法，用受限玻尔兹曼机进行逐层贪婪预训练得到网络的初始权重矩阵，展开模型产生“编码”网络与“解码”网络，之后在模型顶端搭建Softmax分类器并对其进行训练，最后将整个网络视为一个模型，使用反向传播算法与梯度下降法对网络权值进行微调从而达到全局最优，以此提高人脸情感识别性能。本专利技术为解决其技术问题所采用的技术方案是：提供了一种基于深度稀疏自编码网络的人脸情感识别方法，包括以下步骤：步骤1：数据获取与预处理：对训练样本中的人脸图像进行感兴趣区域剪裁，采用灰度均衡方法对剪裁后的人脸图像预处理，然后将表情图像中的像素信息进行归一化；所述训练样本中的人脸图像的人脸表情信息已知；步骤2：建立深度稀疏自编码网络：根据归一化后的人脸图像的像素信息以及人脸表情信息，建立一个1+n+1层的深度稀疏自编码网络，其中第1层为输入层，最后一层为分类器输出层，中间n层为隐藏层，通过进行RBM预训练，对深度稀疏自编码网络中的1+n层的权重进行初始化；所述n为设置值；步骤3：深度稀疏自编码网络解码：将经过步骤2中RBM预训练得到的初始权重矩阵定义为wi，i∈[1,n]，展开深度稀疏自编码网络，产生编码网络与解码网络并实现稀疏性表示；步骤4：训练Softmax分类器：在深度稀疏自编码网络顶层搭建Softmax分类器，并对深度稀疏自编码网络学习到的特征进行分类，采用梯度下降法对Softmax分类器进行训练；步骤5：整体网络权值微调：将包括Softmax分类器在内的整个深度稀疏自编码网络视为一个模型，利用反向传播算法计算整体代价函数的偏导数，并采用梯度下降法对整体深度稀疏自编码网络权值进行微调从而达到全局最优，从而提高人脸情感识别性能。步骤1所述数据获取与预处理具体包括以下过程：(1-1)数据获取：对于训练样本中的人脸图像，将眉毛、眼睛和嘴巴这三部分ROI区域从人脸图像中分割出来，获取该ROI区域的四角坐标，并将ROI区域的像素信息存储在矩阵中；(1-2)样本预处理：对人脸图像进行直方图均衡化处理，调整人脸图像的灰度值，使不同灰度区域范围内的图像像素个数均衡。步骤2所述建立深度稀疏自编码网络具体包括以下过程：(2-1)从输入层开始，将输入层及上一层隐藏层组成一个RBM，并训练这个RBM；(2-2)定义输入层为v，隐藏层为h，用训练好的参数以及输入层数据计算v与h的联合概率分布函数p(hj＝1|v)，并将此函数值作为hj的值；(2-3)如果上述隐藏层的上一层是输出层，则预训练结束，否则进行下一步；(2-4)把上述隐藏层看成输入层，hj作为输入数据，以输入层及上一层隐藏层组成一个RBM，并训练这个RBM；(2-5)用训练好的参数以及输入数据计算p(hj＝1|v)，作为hj的值；(2-6)返回步骤(2-3)判断预训练是否结束。步骤3所述深度稀疏自编码网络解码具体包括以下过程：(3-1)定义归一化的人脸图像的像素信息为网络输入数据x，网络输出为hw,b(x)；在编码阶段，输入x通过激活函数g(·)的映射，得到u；(3-2)在解码阶段，通过激活函数g(·)对输入信号u进行重建，得到hw,b(x)；(3-3)用表示在给定输入x下隐藏层第j个神经元的激活度，定义ρ为稀疏性参数，若某些隐藏神经元平均激活度与ρ不一致，则引入惩罚因子惩罚，使隐藏神经元的平均激活度保持在[0,0.2]范围内。步骤4所述训练Softmax分类器具体包括以下过程：(4-1)对于训练集{(x(1),y(1)),...,(x(m),y(m))本文档来自技高网...

【技术保护点】
一种基于深度稀疏自编码网络的人脸情感识别方法，其特征在于，包括以下步骤：步骤1：数据获取与预处理：对训练样本中的人脸图像进行感兴趣区域剪裁，采用灰度均衡方法对剪裁后的人脸图像预处理，然后将表情图像中的像素信息进行归一化；所述训练样本中的人脸图像的人脸表情信息已知；步骤2：建立深度稀疏自编码网络：根据归一化后的人脸图像的像素信息以及人脸表情信息，建立一个1+n+1层的深度稀疏自编码网络，其中第1层为输入层，最后一层为分类器输出层，中间n层为隐藏层，通过进行RBM预训练，对深度稀疏自编码网络中的1+n层的权重进行初始化；所述n为设置值；步骤3：深度稀疏自编码网络解码：将经过步骤2中RBM预训练得到的初始权重矩阵定义为wi，i∈[1,n]，展开深度稀疏自编码网络，产生编码网络与解码网络并实现稀疏性表示；步骤4：训练Softmax分类器：在深度稀疏自编码网络顶层搭建Softmax分类器，并对深度稀疏自编码网络学习到的特征进行分类，采用梯度下降法对Softmax分类器进行训练；步骤5：整体网络权值微调：将包括Softmax分类器在内的整个深度稀疏自编码网络视为一个模型，利用反向传播算法计算整体代价函数的偏导数，并采用梯度下降法对整体深度稀疏自编码网络权值进行微调从而达到全局最优，从而提高人脸情感识别性能。...

【技术特征摘要】
1.一种基于深度稀疏自编码网络的人脸情感识别方法，其特征在于，包括以下步骤：步骤1：数据获取与预处理：对训练样本中的人脸图像进行感兴趣区域剪裁，采用灰度均衡方法对剪裁后的人脸图像预处理，然后将表情图像中的像素信息进行归一化；所述训练样本中的人脸图像的人脸表情信息已知；步骤2：建立深度稀疏自编码网络：根据归一化后的人脸图像的像素信息以及人脸表情信息，建立一个1+n+1层的深度稀疏自编码网络，其中第1层为输入层，最后一层为分类器输出层，中间n层为隐藏层，通过进行RBM预训练，对深度稀疏自编码网络中的1+n层的权重进行初始化；所述n为设置值；步骤3：深度稀疏自编码网络解码：将经过步骤2中RBM预训练得到的初始权重矩阵定义为wi，i∈[1,n]，展开深度稀疏自编码网络，产生编码网络与解码网络并实现稀疏性表示；步骤4：训练Softmax分类器：在深度稀疏自编码网络顶层搭建Softmax分类器，并对深度稀疏自编码网络学习到的特征进行分类，采用梯度下降法对Softmax分类器进行训练；步骤5：整体网络权值微调：将包括Softmax分类器在内的整个深度稀疏自编码网络视为一个模型，利用反向传播算法计算整体代价函数的偏导数，并采用梯度下降法对整体深度稀疏自编码网络权值进行微调从而达到全局最优，从而提高人脸情感识别性能。2.根据权利要求1所述的基于深度稀疏自编码网络的人脸情感识别方法，其特征在于：步骤1所述数据获取与预处理具体包括以下过程：(1-1)数据获取：对于训练样本中的人脸图像，将眉毛、眼睛和嘴巴这三部分ROI区域从人脸图像中分割出来，获取该ROI区域的四角坐标，并将ROI区域的像素信息存储在矩阵中；(1-2)样本预处理：对人脸图像进行直方图均衡化处...

【专利技术属性】
技术研发人员：陈略峰，吴敏，周梦甜，刘振焘，曹卫华，陈鑫，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42