一种基于频率域特征和乘积神经网络的人脸表情识别方法技术

本发明专利技术公开了一种基于频率域特征和乘积神经网络的人脸表情识别方法，该方法步骤如下：对人脸表情数据集中的人脸表情进行预处理；对经过预处理的人脸表情提取人脸的全局频率域特征和局部频率域特征；将人脸表情数据集分为训练集和测试集；构建和初始化乘积神经网络，使用划分完成的训练集和测试集对乘积神经网络训练和测试；评估乘积神经网络，采集人脸表情测试样本输入经过训练的乘积神经网络，得到最终的表情分类。本发明专利技术设计了一种新型的端到端的乘积神经网络，综合了人脸的全局特征和局部特征，提供了一种高效的人脸表情识别方法。

【技术实现步骤摘要】
一种基于频率域特征和乘积神经网络的人脸表情识别方法
本专利技术涉及模式识别和神经网络
，具体涉及一种基于频率域特征和乘积神经网络的人脸表情识别方法。
技术介绍
人脸表情是人类的情感的外在表现，是人类交流的重要部分。人脸表情识别是计算机视觉领域的重要课题，主要目的是将图像或者视频中的人脸表情分类成为不同的类别。常见的类别有高兴，悲伤，愤怒，厌恶，惊讶，恐惧等等。人脸表情识别被广泛应用于游戏、医疗、安全以及人机交互等等。人脸表情识别通常分为几个阶段：人脸检测阶段、人脸预处理阶段、特征提取阶段、特征分类阶段。其中，特征提取阶段负责从输入中获取人脸表情相关的特征，是正确地识别和分类的前提。传统的特征提取方式主要依赖于手工特征提取技术，例如HoG特征，SIFT特征，LBP特征等等，再将这些特征使用决策树、SVM等传统的分类方法进行分类，以识别出人脸表情。随着神经网络的发展，基于神经网络的深度学习技术成为了近年来学术界与工业界的热点。深度学习的方法能够提取出人脸更高层次的抽象特征。目前已有的文献中，使用卷积神经网络进行人脸表情识别的做法比较普遍，但是目前的卷积神经网络主要使用的是空间域的特征，使用的网络通常比较复杂、难以拟合，基于频率域的人脸特征的深度学习方法较少。本专利技术设计一种频率域表情特征的提取方法和乘积神经网络。根据人脸表情的心理学和生理学特性(见文献：M.H.Siddiqi,R.Ali,A.M.Khan,Y.T.Park,S.Lee,Humanfacialexpressionrecognitionusingstepwiselineardiscriminantanalysisandhiddenconditionalrandomfields)，人脸表情可以主要由眼部、嘴唇周围的关键区域特征表征。例如，相关研究表明，高兴、悲伤主要是基于唇部关键特征，惊讶和厌恶主要基于唇部和眼部关键特征，愤怒和恐惧主要由唇部，眼部和前额的区域特征表征。人脸的其他部位对于表征表情的贡献相对较小。因此，本专利技术提取眼部与唇部的区域关键信息，并结合人脸整体的信息，构建一种双分支的乘积神经网络，以帮助人脸表情的识别。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于频率域特征和乘积神经网络的人脸表情识别方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于频率域特征和乘积神经网络的人脸表情识别方法，所述人脸表情识别方法包括以下步骤：S1、对人脸表情数据集中的人脸表情进行预处理，包括人脸检测、人脸校正和人脸裁剪；S2、对经过预处理的人脸表情提取人脸的全局频率域特征和局部频率域特征；S3、将人脸表情数据集分为训练集和测试集；S4、构建和初始化乘积神经网络，包括处理全局频率域特征的分支A、处理局部频率域特征的分支B、处理特征融合和分类的分类部分，使用划分完成的训练集和测试集对乘积神经网络训练和测试；S5、采集人脸表情输入经过训练的乘积神经网络，识别得到表情类型。进一步地，所述步骤S1过程如下：S101、人脸检测，采用dlib工具包检测和识别人脸表情数据集中每张图片的人脸，如果图片中检测到人脸，则继续进行下面的步骤，否则提示未检测到人脸；S102、人脸校正，对于检测出来的人脸，使用dlib工具包提取多个特征点并得到左眼中心点(xl，yl)和右眼中心点(xr,yr)，根据左眼中心点(xl,yl)和右眼中心点(xr，yr)计算出人脸倾斜的角度θ如下：将图片向相反方向旋转θ角度即得到校正后的人脸图片；S103、人脸裁剪，根据特征点的位置，将人脸表情数据集中每张图片的图像裁剪到合适的大小以降低特征的维度，由最左边的特征点横坐标和最右边的特征点横坐标得到人脸宽度w，由最上面的特征点纵坐标和嘴唇下部和下颚的中点纵坐标得到人脸高度h，将裁剪后的图片重新调整大小到128×128的分辨率，得到重新调整尺寸后的人脸图片S。进一步地，所述步骤S2过程如下：S201、对经过预处理的人脸表情提取人脸的全局频率域特征，即直接将处理后的人脸图像做离散余弦变换后取频谱图的左上角低频部分作为全局频率域特征，离散余弦变换的公式如下：其中，S(i，j)是人脸图片S位于时域坐标(i，j)处的值，F(x，y)是经过离散余弦变换后的频谱图F位于频域坐标(x,y)处的值，M、N是人脸图片S和频谱图F的高度和宽度；如前所述F的尺寸是128×128，对F取左上角低频部分得到32×32的全局频率域特征F1。S202、对经过预处理的人脸表情提取人脸的局部频率域特征，取左眼的6个特征点、右眼的6个特征点以及唇部的12个特征点，以这些点为中心，取8×8的正方形框，再将这些正方形区域元素做离散余弦变换，公式和上一节相同。得到24个8×8的局部特征图，将它们展平，得到一个1536维的特征向量，记作F2。进一步地，所述的步骤S3过程如下:将人脸表情数据集分为训练集和测试集，训练集的样本用于网络模型的训练，测试集的样本用于评估样本的识别效果。特别地，对于CK+数据集，使用十折交叉验证的方式。即将数据集中的数据平均分为10份，每次将其中的9份作为训练集，将另外的1份作测试集，取十折交叉验证的平均准确率作为测试的最终准确率。进一步地，所述的步骤S4过程如下:S401、构建和初始化乘积神经网络，包括处理全局频率域特征的分支A、处理局部频率域特征的分支B和处理特征融合和分类的分类部分。卷积操作相当于一种空间域的滤波，类似地，矩阵中元素的点乘可以看作是一种频率域的滤波。受此启示，类似于卷积神经网络中的卷积核，设计一种乘积核，输入特征与乘积核的参数相乘加上偏置，可以得到输出的特征矩阵。对于尺寸为M×N的输入特征图，可以设计尺寸为M×N的乘积核K(x,y)，其中0≤x≤M-1，0≤y≤N-1。乘积核的每个元素均为可学习的参数，在网络初始化阶段随机初始化，在神经网络训练的反向传播阶段可以不断优化。一个特征输入可与k个乘积核相乘，再与偏置值相加，得到最终的输出特征。二维乘积层的计算公式如下：Op(u，v)＝I(u，v)*Kp(u，v)+bp0≤u≤H-1，0≤v≤W-1，1≤p≤k公式(3)其中，H、W是输入特征图的高度和宽度，I(u，v)是输入特征图I位于坐标(u,v)处的值，Kp(u，v)是第p个乘积核Kp位于坐标(u,v)处的值，OP(x，y)是第p个输出特征图O位于坐标(x，y)处的值，bp是当前层的偏置值，k是扩充系数，即一个输入的特征图对应k个乘积核和k个输出的特征图。例如，对于输入为32×32的输入图片，k取20，则该层有20个32×32的乘积核。一维乘积层的计算公式如下：O′q(t)＝I′(t)*K′q(t)+b′q0≤t≤L-1，1≤q≤n公式(4)其中，L输入特征向量的长度，I′(t)是输入特征向量I′第t个元素的值，K′q(t本文档来自技高网...

【技术保护点】
1.一种基于频率域特征和乘积神经网络的人脸表情识别方法，其特征在于，所述人脸表情识别方法包括以下步骤：/nS1、对人脸表情数据集中的人脸表情进行预处理，包括人脸检测、人脸校正和人脸裁剪；/nS2、对经过预处理的人脸表情提取人脸的全局频率域特征和局部频率域特征；/nS3、将人脸表情数据集分为训练集和测试集；/nS4、构建和初始化乘积神经网络，包括处理全局频率域特征的分支A、处理局部频率域特征的分支B、处理特征融合和分类的分类部分，使用划分完成的训练集和测试集对乘积神经网络训练和测试；/nS5、采集人脸表情输入经过训练的乘积神经网络，识别得到表情类型。/n

【技术特征摘要】
1.一种基于频率域特征和乘积神经网络的人脸表情识别方法，其特征在于，所述人脸表情识别方法包括以下步骤：
S1、对人脸表情数据集中的人脸表情进行预处理，包括人脸检测、人脸校正和人脸裁剪；
S2、对经过预处理的人脸表情提取人脸的全局频率域特征和局部频率域特征；
S3、将人脸表情数据集分为训练集和测试集；
S4、构建和初始化乘积神经网络，包括处理全局频率域特征的分支A、处理局部频率域特征的分支B、处理特征融合和分类的分类部分，使用划分完成的训练集和测试集对乘积神经网络训练和测试；
S5、采集人脸表情输入经过训练的乘积神经网络，识别得到表情类型。


2.根据权利要求1所述的一种基于频率域特征和乘积神经网络的人脸表情识别方法，其特征在于，所述步骤S1过程如下：
S101、人脸检测，采用dlib工具包检测和识别人脸表情数据集中每张图片的人脸，如果图片中检测到人脸，则继续进行下面的步骤，否则提示未检测到人脸；
S102、人脸校正，对于检测出来的人脸，使用dlib工具包提取多个特征点并得到左眼中心点(xl,yl)和右眼中心点(xr,yr)，根据左眼中心点(xl,yl)和右眼中心点(xr,yr)计算出人脸倾斜的角度θ如下：



将图片向相反方向旋转θ角度即得到校正后的人脸图片，其中，xl、yl分别为左眼中心点的横坐标和纵坐标，xr、yr分别为右眼中心点的横坐标和纵坐标；
S103、人脸裁剪，根据特征点的位置，将人脸表情数据集中每张图片的图像裁剪到合适的大小以降低特征的维度，由最左边的特征点横坐标和最右边的特征点横坐标得到人脸宽度w，由最上面的特征点纵坐标和嘴唇下部和下颚的中点纵坐标得到人脸高度h，将裁剪后的图片重新调整大小到128×128的分辨率，得到重新调整尺寸后的人脸图片S。


3.根据权利要求1所述的一种基于频率域特征和乘积神经网络的人脸表情识别方法，其特征在于，所述步骤S2过程如下：
S201、对经过预处理的人脸表情提取人脸的全局频率域特征，即直接将处理后的人脸图像做离散余弦变换后取频谱图的左上角低频部分作为全局频率域特征，离散余弦变换的公式如下：



0≤x≤M-1,0≤y≤N-1公式(b)
其中，S(i,j)是人脸图片S位于时域坐标(i，j)处的值，F(x,y是经过离散余弦变换后的频谱图F位于频域坐标(x,y)处的值，M、N是人脸图片S和频谱图F的高度和宽度；
对频谱图F取左上角低频部分得到32×32的全局频率域特征F1；
S202、对经过预处理的人脸表情提取人脸的局部频率域特征，即根据人脸图像中人脸眼部和唇部指定特征点的周边正方形区域做离散余弦变换后取构建特征向量作为局部频率域特征F2。


4.根据权利要求3所述的一种...

【专利技术属性】
技术研发人员：张星明，陈楚阳，林育蓓，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44