基于典型区域多维度特征的三维人脸表情识别方法技术

本发明专利技术提出一种基于典型区域多维度特征的三维人脸表情识别算法，具体包括以下步骤：首先，对三维人脸数据进行预处理操作，获取更规格化的点云数据；接着，进行三维人脸表情典型区域的自动标定，根据鼻尖点位置，完成眼部区域(E区)、鼻子区域(N区)和嘴巴区域(M区)的自动标定；然后，分别提取三个典型区域的三维特征和二维特征，进行高斯归一化，并特征融合；最后，根据各典型区域的融合特征进行SVM训练，实现三维人脸表情识别。本发明专利技术不仅能观察出人脸不同区域对于不同表情的贡献程度，而且能有效地识别三维人脸的不同表情。

【技术实现步骤摘要】

本专利技术涉及计算机视觉以及模式识别领域，具体来说涉及一种基于典型区域多维度特征的三维人脸表情识别方法。
技术介绍
人脸表情识别是计算机视觉以及模式识别领域的热点研究问题，自20世纪80年代以来的三十年间受到了越来越多研究人员的重视。同时作为人工智能以及情感分析的重要分支，人脸表情识别在人机交互、重症病房监护等领域具有很大的研究价值以及应用前景。早期的人脸表情识别专注于二维图像以及图像序列，也即视频上的算法实现。但是由于二维人脸图像是三维物体的二维平面投影，在投影过程中必然会损失纹理、形状等特征，还会受到姿态、光照等的影响。因此，近些年来，基于三维人脸点云模型的表情识别逐渐成为该领域的研究重点。三维人脸表情识别通常包括三个主要步骤，分别为人脸图像预处理、表情特征提取和表情分类。基于此，本专利技术提出一种基于面部表情典型区域混合维度的三维人脸表情识别方法。针对三维人脸不同区域对表情的影响程度，将人脸划分为三个典型区域。刘慧敏等人在《地图上等高线信息度量的层次方法研究》一文中详细介绍了等高线图信息的利用方法。本专利技术基于等高线图信息度量研究，提出针对三维人脸典型区域等高线图的信息度量方法。全面的利用了人脸等高线图，极大地丰富了三维特征的信息量。然后，将三维人脸典型区域映射到二维平面进行研究。最后，结合典型区域的二维和三维特征实现三维人脸表情识别。
技术实现思路
本专利技术针对三维人脸点云数据，提出一种基于面部表情典型区域多维度的三维人脸表情识别方法。首先，对三维人脸点云数据进行预处理操作，得到规格化的三维人脸点云数据；然后，自动标定三维人脸面部表情典型区域，分别为眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)。分别提取这三个典型区域的二维和三维特征；最后，根据提取的二维和三维特征进行SVM训练，实现三维人脸表情识别。具体流程如下：1.人脸数据预处理根据获取的原始三维人脸点云数据特点，对其进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样的一种或几种预处理工作，从而得到规格化后的三维人脸点云数据。2.三维人脸表情典型区域自动标定人脸表情通常指高兴、悲伤、愤怒、惊讶、厌恶和恐惧6种。在人脸呈现不同表情时，其眼部、两颊和嘴巴三个区域会呈现不同的特征，且这些不同特征对于不同表情有着良好地描述能力。基于此，本专利技术就这三个人脸表情典型区域进行自动标定，以进行后续的研究和分析。三个典型区域的自动标定，首先需要确定人脸的鼻尖点，然后再进一步确定各个区域。具体步骤如下：(1)鼻尖点的确定本专利技术采用BU-3DFE三维人脸数据库，由于此数据库中的三维人脸点云都有严格的坐标限定，即采集实验者人脸点云时人脸与正对的三维数据采集设备平面连线并指向图像采集方向为Z轴正方向，与Z轴垂直平面为X轴、Y轴所在的二维平面，并且符合右手定则，水平方向为X轴，向右为X轴正方向，竖直方向为Y轴，向上为Y轴正方向。故由人脸解剖学可以获取人脸正面最高点，即该点坐标的Z轴坐标值最大点即为大体鼻尖端点。出于准确性考虑，提取Z轴坐标最大点及其邻接各点的三维坐标，取平均以获取更加准确的鼻尖三维坐标。(2)E区、N区和M区的自动标定沿下眼睑，两侧外眼角划分区域，这个区域将包括额头和双眼，作为眼睛区域(E区)，以鼻尖点为原点，分别向嘴角的两个边界点做射线，这两条射线之间的区域为嘴巴区域(M区)。其余部分为两颊区域(N区)。具体如图4所示。3.典型区域三维特征提取当人脸表情变化时，脸部的高低起伏也随之变化。为了有效地描述这种变化的量化规律，对人脸典型区域作等高线图。对于人脸典型区域的等高线图，本专利技术首先关注表情变化时整个人脸典型区域等高线图的变化，即人脸等高线图的整体形态特征；随后关注的是人脸局部起伏程度及其变化，即人脸等高线图坡度特征；最后，关注的是表情变化时，等高线图单条等高线走向的曲折变化，即弯曲度特征。用每个典型区域提取到的整体形态特征、坡度特征和弯曲度特征，构成特征矢量，全面地描述三维人脸表情特征。具体提取过程如下：(1)整体形态特征提取人脸等高线图会根据人脸表情的不同而呈现出不同的形态。当人脸表情发生变化时，等高线图的等高线数量和不同等高线围成的基本形貌单元面积等都将发生变化。本专利技术采取这两个指标来描述等高线图的每个区域的整体形态特征。假设区域内有m条等高线，被划分为T个基本形貌单元，其中，第i个基本形貌单元含有mi条等高线，平均每个基本形貌单元包含的等高线为对等高线数目进行规范化处理后，即可算得由于等高线的多样性而产生信息量IGC，具体公式如下：IGC(m)=Σi=1Tlog(mim‾+1)---(1)]]>假设形貌单元的覆盖面积为si，整个等高线图的面积为s，即可得形貌覆盖区域面积的信息量IFG为：IFG(s)=Σi=1Tlog(sis+1)---(2)]]>最后，结合这两种特征，即可得到等高线图整体形态上的特征值IZT，具体公式如下：IZT＝IGC(m)+IFG(s)(3)(2)坡度特征提取人脸在呈现不同表情特征时，脸部的高低起伏存在着较大的区别，这将造成人脸等高线图的等高线形态和脸部平均坡度发生变化。基于此，进行坡度信息特征提取的具体过程如下：对于一个由mw条等高线组成的形貌Tw，按照一定的方向对每两条相邻等高线围成的区域求取坡度qj，由于后续信息量度量仅考虑坡度多样性和差异性，即仅与坡度的相对关系有关，而不涉及坡度绝对值，因而可将qj简化表达为：qj＝aj/lj,1≤j≤mw(4)其中，lj和aj分别为第j条与第j+1条等高线围成区域的中轴线长度和区域面积。对形貌Tw，依次求取各相邻等高线间的坡度，并求取所有坡度的平均值q。代入公式(5)即可得到形貌Tw的坡度差异性信息量。IPD(Tw)=Σj=1mwlog(qj/q+1)---(5)]]>由此，综合坡度差异信息量，可得到等高线坡度特征IPD表达式：IPD=Σw=1T(IPD(Tw))---(6)]]>其中，T表示区域内等高图被分解为基本形貌单元的总数。(3)弯曲度特征提取人脸表情的变化会导致人脸等高线图中单条等高线的弯曲度和弯曲面积比发生相应变化。对于一幅人脸等高线图，不妨设有m条等高线，对于其任一条等高线Lu，首先对等高线进行弯曲划分，得到一个弯曲有序集。对该弯曲有序集中的每一个弯曲，采用式(7)和(8)计算弯曲度fuv和弯曲面积比puv。fuv=luvduv,1≤v≤n---(7)]]>puv=suvsz,1≤v≤n---(8)]]>其中，n为曲线的弯曲个数。luv是曲线Lu的第v个弯曲的曲线长度，duv是第v个弯曲底线宽度。suv表示第v个弯曲的曲线长度和底线宽度所围成的面积，即弯曲面积。sz表示所有弯曲的弯曲面积均值。从而，单条等高线的弯曲度特征IWQ(Lu)为：IWQ(Lu)=&Sigma本文档来自技高网...

【技术保护点】
一种基于典型区域多维度特征的三维人脸表情识别算法，其特征包括以下步骤：(1)对三维人脸数据预处理以获取更规格化的三维人脸点云数据，根据实际需要预处理操作包括剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样；(2)实现三维人脸表情典型区域的自动标定，典型区域包括眼部区域(E区)、两颊区域(N区)和嘴巴区域(M区)；(3)获取典型区域的等高线图，根据等高线图，分别提取典型区域的整体形态特征、坡度特征和弯曲度特征，并进行特征融合，得到典型区域三维特征；(4)将三维人脸典型区域映射到二维平面，分别对典型区域二维图像构造3层高斯金字塔，提取金字塔每层的LBP纹理特征，综合3层LBP特征，得到典型区域的二维纹理特征；(5)对典型区域的三维特征和二维特征分别进行高斯归一化和特征融合，针对典型区域融合特征进行SVM训练，实现三维人脸表情识别。

【技术特征摘要】
1.一种基于典型区域多维度特征的三维人脸表情识别算法，其特征
包括以下步骤：
(1)对三维人脸数据预处理以获取更规格化的三维人脸点云数据，
根据实际需要预处理操作包括剪切、去刺、平滑、补洞、坐标校正、网
格对齐重采样；
(2)实现三维人脸表情典型区域的自动标定，典型区域包括眼部
区域(E区)、两颊区域(N区)和嘴巴区域(M区)；
(3)获取典型区域的等高线图，根据等高线图，分别提取典型区
域的整体形态特征、坡度特征和弯曲度特征，并进行特征融合，得到典
型区域三维特征；
(4)将三维人脸典型区域映射到二维平面，分别对典型区域二维
图像构造3层高斯金字塔，提取金字塔每层的LBP纹理特征，综合3
层LBP特征，得到典型区域的二维纹理特征；
(5)对典型区域的三维特征和二维特征分别进行高斯归一化和特
征融合，针对典型区域融合特征进行SVM训练，实现三维人脸表情识
别。
2.根据权利要求1所述的基于典型区域多维度特征的三维人脸表情
识别算法，其特征在于：所述步骤(1)中，根据实际需求，对三维人
脸点云数据进行剪切、去刺、平滑、补洞、坐标校正、网格对齐重采样
的一种或几种预处理操作。
3.根据权利要求1所述的基于典型区域多维度特征的三维人脸表
情识别算法，其特征在于：所述步骤(2)中，根据选取的BU-3DFE三
维人脸数据库的特点，得到人脸鼻尖点位置；并根据鼻尖点位置，进行
E区、N区和M区的自动标定。
4.根据权利要求1所述的基于典型区域多维度特征的三维人脸表
情识别算法，其特征在于：所述步骤(3)中，典型区域等高线图的整
体特征IZT提取公式：
假设等高线图有m条等高线，被划分为T个基本地貌单元，其中，
第Ti个基本地貌单元含有mi条等高线，平均每个基本地貌单元包含的等
高线为地貌单元的覆盖面积特征指标si，等高线图总面积为s；
IZT=IGC(m)+IFG(s)=Σi=1Tlog(mim‾+1)+Σi=1Tlog(sis+1)---(1)]]>其...

【专利技术属性】
技术研发人员：蔡轶珩，盛楠，詹昌飞，崔益泽，高旭蓉，邱长炎，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11