一种基于区域图像的人脸表情识别方法技术

本发明专利技术属于数字图像处理技术领域，特别涉及一种基于区域图像的人脸表情识别方法。本发明专利技术通过改进LDP的原始编码模式，首先利用最大两位和最小两位响应值做差，与一个参考门限值作对比，将差值作为编码值进行编码；其次利用最大响应值所在方向来确定一个目标像素，利用周围像素的明暗信息所代表的方向性进行编码以排除部分偶然重合的情况；最后，所得的编码为最大响应值所在方向的三位编码和两组差值的四位编码。本发明专利技术改进了LDP的方法，相较于常用的LDP和PCA方法，提高了精确度；利用区域分割之后进行直方图均衡化的方法，并在PLDP中加入门限，提高了对噪声的干扰能力。

【技术实现步骤摘要】

本专利技术属于数字图像处理
，特别涉及人工智能、机器学习、计算机视觉等相关理论知识。
技术介绍
表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手段。人们可通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认对方的态度和内心世界。人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达的信息。人脸表情可以分为6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，和一种最为普遍的表情类别：中性。其中中性是人脸表情进行转换的中间过程和所有人一般状态下所表现出来的最为普遍的表情类别。一个人脸表情识别系统(FER)一般包括3个环节,即人脸检测、特征提取、表情分类。其中人脸检测目前已经成为了一个单独的研究方向，现有的研究已经在该方面上研究出了一些成果。表情特征提取是FER系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高。在近年来，人机交互(Human to Computer Interface，HCI)技术日益成为人工智能领域中研究的热点，人与计算机之间感情交流问题开始受到广泛的关注。如果计算机和机器人能够像人类那样具有理解和表达情感的能力，来帮助人完成各项任务，那将使计算机能够更好地为人类服务。目前的各种面部表情识别算法中，常在单一数据库中进行验证，并不具有普遍性和说服力。由于不同人种和各国文化背景的差异，不同民族不同国家的人其面部表情的表现形式并不相同。目前常用的人脸面部表情识别算法有：(1)基于人脸动作编码系统FACS和运动单元AU的算法。J.Hamm,C.G.Kohler,R.C.Gur,and R.Verma,“Automated facial action coding system for dynamic analysis of facialexpressions in neuropsychiatric disorders,”Journal of Neuroscience Methods,vol.200,no.2,pp.237-256,2011.(2)基于主成分分析PCA的算法。Yong C Y,Sudirman R,Chew K M.Facial ExpressionMonitoring System UsingPCA-Bayes Classifier[C].Future Computer Sciences and Application(ICFCSA),2011International Conference on.IEEE,2011:187-191.(3)基于LDP的算法。T.Jabid,M.H.Kabir,and O.Chae,“Robust facial expressionrecognition based on local directional pattern,”ETRI Journal,vol.32,no.5,pp.784-794,2010.上述人脸面部表情提取方法都在一定程度上存在问题。方法1需要准确的五官定位及面部追踪才可以获得较好的效果，且对于噪声光照敏感，易受到干扰。方法2虽然拥有较小的计算量和特征维度，但是会忽略局部特征，局部特征在识别过程中也是非常重要的部分，因此对于识别精度有一定的影响。方法3虽然较方法1,2有所改进，但是随着所取最大值个数的提升，其编码组合数目会大幅增加，用于区域图像分块处理之后，其整幅图像的特征维度会急剧增加；且LDP也仅是用周围像素与中心像素进行比较，直接取周围像素的最大运算值进行编码，非理想条件下，对噪声也不具有一定的抗力。LDP编码由如下公式计算而得：LDPk=Σi=07bi(mi-mk)*2i]]>bi(x)=1,x≥00,x<0]]>其中mi，i＝0，……，7表示经过Kirsch算子运算后的八方向的响应值的绝对值，k表示取最大值的个数，mk表示mi最大的第k个值。随着K的增大其特征维度会急剧增大，且抗干扰的能力不高。该方法还可能会出现完全不同像素成为了同一种编码的情况。
技术实现思路
针对上述存在问题或不足，本专利技术提供了一种基于区域图像的人脸表情识别方法，能够有效的提取有用信息并减少计算量，提高抗干扰能力。该基于区域图像的人脸表情识别方法，流程示意如图1所示，包含下述步骤：步骤1、人脸检测及图像预处理步骤1.1人脸检测对待检测图像进行人脸检测与定位，采用Adaboost方法。利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本。步骤1.2图像预处理通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小，若是彩色图像则需要先进行图像二值化获得灰度图像；得到统一大小的灰度图像之后，进行区
域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是图像中灰度值总数，rk为原始直方图分布中的第k种灰度值，nj是灰度为rk的像素数目，n为总像素个数，Pr(rk)为rk的概率密度函数，Sk是rk经过变化后的灰度值。步骤2、表情特征提取对图像进行PLDP编码，其计算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<D<301,D≤-302,D≥30]]>其中，Max表示经过Kirsch算子运算后得到的八个方向的响应值中，最大的响应值所在位置的二进制编码即从000到111，D表示两组响应值的差值，C1表示最大两位响应值差值对照门限的编码，C2表示最小两位响应值做差值对照门限的编码。用Max作为高位，C1C2顺次连接做低位组成七位的编码值，最后取编码的十进制值作为中心像素最终的结果值。其编码的示意图如图2所示。步骤3表情分类首先，将步骤2中获得的特征信息随机分为10份，其中9份作为训练图像，1份作为检测图像。然后将9份训练图像输入SVM进行训练，得到一个SVM分类器，之后采用十折交叉验证法，对样本进行其他9次训练，将所获得的10个SVM分类器级联成为一个强分类器；最后用已经训练好的SVM支持向量机对特征进行分类。即用强分类器对其他所有人脸表情图像进行识别分类。所述步骤1.1中分类器进行训练具体为：首先求取训练样本的四种Harr-Like特征，形成特征集；然后训练弱分类器，训练弱分类器的目的是为了确定阈值，使得对所有训练样本的分类误差最低；最后级联弱分类器形成强分类器。本专利技术通过改进LDP的原始编码模式，首先，不直接使用所计算出来的响应值进行编码，而是利用最大两位和最小两位响应值做差，与一个参考门限值作对比，将差值作为编码值进行编码，排除了部分噪声对于系统性能的影响，提高了提取方法的抗干扰能力；其次因为对
于中心像素而言，其八方向的响应值并不具有同等的地位，从而才会产生各个方向不同的响应值，最大响应值具有最大的能量，因此可以利用最大响应值所在方本文档来自技高网...

【技术保护点】
一种基于区域图像的人脸表情识别方法，包含下述步骤：步骤1、人脸检测及图像预处理步骤1.1人脸检测对待检测图像进行人脸检测与定位，采用Adaboost方法；利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本；步骤1.2图像预处理通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小，若是彩色图像则需要先进行图像二值化获得灰度图像；得到统一大小的灰度图像之后，进行区域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是图像中灰度值总数，rk为原始直方图分布中的第k种灰度值，nj是灰度为rk的像素数目，n为总像素个数，Pr(rk)为rk的概率密度函数，Sk是rk经过变化后的灰度值。步骤2、表情特征提取对图像进行PLDP编码，其计算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<D<301,D≤-302,D≥30]]>其中，Max表示经过Kirsch算子运算后得到的八个方向的响应值中，最大的响应值所在位置的二进制编码即从000到111，D表示两组响应值的差值，C1表示最大两位响应值差值对照门限的编码，C2表示最小两位响应值做差值对照门限的编码；用Max作为高位，C1C2顺次连接做低位组成七位的编码值，最后取编码的十进制值作为中心像素最终的结果值；步骤3表情分类首先，将步骤2中获得的特征信息随机分为10份，其中9份作为训练图像，1份作为检测图像；然后将9份训练图像输入SVM进行训练，得到一个SVM分类器，之后采用十折交叉验证法，对样本进行其他9次训练，将所获得的10个SVM分类器级联成为一个强分类器；最后用已经训练好的SVM支持向量机对特征进行分类，即用强分类器对其他所有人脸表情图像进行识别分类。...

【技术特征摘要】
1.一种基于区域图像的人脸表情识别方法，包含下述步骤：步骤1、人脸检测及图像预处理步骤1.1人脸检测对待检测图像进行人脸检测与定位，采用Adaboost方法；利用含有人脸和不含有人脸的图像对分类器进行训练，其中含有人脸的图像为正样本，不含有人脸的图像为负样本；步骤1.2图像预处理通过步骤1.1得到人脸图像后，进行尺度归一化，扩大或缩小到256*256的尺寸大小，若是彩色图像则需要先进行图像二值化获得灰度图像；得到统一大小的灰度图像之后，进行区域分割，分为3*3的等大小图像区域，得到每一块区域图像，并计算每一个小区域的直方图，按顺序进行首尾相连，之后进行直方图均衡，得到最终的待检测图像，直方图均衡的计算方法如下：Sk=T(rk)=Σj=0knjn=Σj=0kPr(rj),0≤rk≤1,k=0,1......,L-1]]>其中L是图像中灰度值总数，rk为原始直方图分布中的第k种灰度值，nj是灰度为rk的像素数目，n为总像素个数，Pr(rk)为rk的概率密度函数，Sk是rk经过变化后的灰度值。步骤2、表情特征提取对图像进行PLDP编码，其计算方式如下：DLDP＝16Max+4C1+C2Ci=0,-30<...

【专利技术属性】
技术研发人员：解梅，张锐，朱倩，周扬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51