基于几何特征加权融合的动态人脸表情识别方法及系统技术方案

本发明专利技术提出了基于几何特征加权融合的动态人脸表情识别方法及系统，包括：针对处理后的人脸表情图像序列进行特征提取；具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。有效利用表情发生过程中产生的几何特征，并从位置、时间、形变多个角度进行分析，增强了几何特征的表达能力和特征提取速率。

【技术实现步骤摘要】
基于几何特征加权融合的动态人脸表情识别方法及系统
本专利技术属于图像处理
，尤其涉及基于几何特征加权融合的动态人脸表情识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。随着计算机软硬件的发展和互联网的普及，人机交互技术逐渐受到重视。为更好地实现人机交互，科研人员在诸多领域进行了深入的理论和技术研究，广泛应用于模式识别、图像处理等领域的人脸识别和表情识别技术就是其中之一。作为情感交流的重要方式之一，面部表情是人类情感表达系统中不可或缺的组成部分，可以生动直观地反映人类的情绪状态。心理学家的研究表明，相较于语言、声调等媒介，说话者的面部表情其实可以传递更多的情感信息，更进一步指出，面部表情传达的信息甚至达到信息传输总量的55％。心理学家将人类的情绪划分为六种基本情感，即愤怒、厌恶、恐惧、快乐、悲伤和惊讶，每种情感有其相应的表情。尽管现实中人类可以轻松实现面部表情识别，然而计算机则需要进行大量计算来区分人类不同的表情，进而解读其传递的情绪。如果计算机能够实现对人类面部表情的精准快速识别，则可以有效促进人机交互系统的发展，因此人脸表情识别具有很高的研究价值和意义。目前，人脸表情识别的研究有两种主流方法：基于图像的方法和基于视频的方法。基于图像的方法是一种静态的方法，其特点是直接对表情的峰值帧进行分析和提取特征；而基于视频的方法则是一种动态的方法，通过对图像序列进行处理，提取出表情序列中的时间和运动信息。由于人脸表情是一个动态变化的过程，基于动态表情识别的研究更具现实性。虽然现有的基于传统手工设计特征和基于深度学习的人脸表情识别方法已经取得显著进展，但是由于以下难点，面部表情识别仍然有待研究。第一，受试者所处环境的光照强度不同导致同一表情外观差异较大；第二，不同受试者的皱纹、脸型等与表情无关的干扰信息和面部遮挡，面部姿势变化带来的影响；第三，深度学习模型的训练时间长，计算量大，对硬件要求较高。
技术实现思路
为克服上述现有技术的不足，本专利技术提供了基于几何特征加权融合的动态人脸表情识别方法，该方法从两个角度描述表情变化过程中的几何特性，在时间维度提取两种几何特征，分别是位置特征和形变特征。在特征层采用加权融合方式，以上述两种特征的表情识别率的反馈确定权重，量化各特征的贡献，从而提高几何特征的鲁棒性。为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：第一方面，公开了基于几何特征加权融合的动态人脸表情识别方法，包括：针对预处理后的人脸表情图像序列进行特征提取；具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；将上述第一几何特征及第二几何特征分别单独进行分类，获得其相对应的识别准确率；基于上述识别准确率对以上两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。进一步的技术方案，提取第一几何特征时，将人脸关键点坐标分别以X轴和Y轴进行标准化操作，转化为无量纲的值，表示单帧表情图像的几何位置信息；基于人脸表情在动态发生的过程中同一面部关键点在帧与帧之间会产生相对位移，将单帧表情图像的几何位置信息扩展到时间维度，描述连续L帧人脸表情图像的几何位置变化。进一步的技术方案，提取第二几何特征时，所述提取表情变化过程中表情的形变信息时具体为：计算相邻两帧表情图像的关键点到固定点欧式距离的差值来表示人脸面部表情形状的改变；具体的，第二几何特征的提取步骤具体包括：以人脸表情图像鼻梁处关键点的位置作为固定点，计算其它关键点到该点的欧氏距离描述静态图像的面部形变信息；将L帧的各帧间上述距离的差值进行串联形成第二几何特征G，维度是48×(L-1)。进一步的技术方案，还包括：获取待识别的人脸表情图像序列，以及对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化等预处理操作。进一步的技术方案，对待识别的人脸表情图像序列预处理操作，具体包括：对待识别的人脸表情图像序列进行灰度归一化处理；对灰度归一化处理后的人脸表情图像序列，通过人脸检测后，进行人脸旋转矫正，也称人脸对齐操作；对人脸对齐后的人脸表情图像序列进行裁剪和几何归一化处理。进一步的技术方案，人脸对齐操作时，在检测到人脸关键位置坐标的基础上，将人脸进行旋转校正，使得双眼处于同一水平线，具体为：对灰度归一化后的图像序列采用级联回归方法：监督下降法SDM对人脸关键点检测的目标函数进行优化。进一步的技术方案，对第一和第二几何特征分别单独进行分类，得到第一、第二识别准确率，具体包括：将第一几何特征划分为第一训练集和第一测试集，采用第一训练集训练得到第一基分类器模型，对第一测试集进行表情识别，得到第一识别准确率；同样地，将第二几何特征划分为第二训练集和第二测试集，采用第二训练集训练得到第二基分类器模型，对第二测试集进行表情识别，得到第二识别准确率。进一步的技术方案，根据得到的第一和第二识别准确率，求出第一和第二几何特征的权重，表示出按照权重进行级联的几何特征。第二方面，公开了基于几何特征加权融合的动态人脸表情识别系统，包括：特征提取模块，被配置为：针对预处理后的人脸表情图像序列进行特征提取；具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；识别准确率计算模块，被配置为：将上述第一几何特征及第二几何特征分别单独进行分类，获得其相对应的识别准确率；加权融合识别模块，被配置为：基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。以上一个或多个技术方案存在以下有益效果：(1)本专利技术提出了基于几何特征加权融合的动态人脸表情识别方法及系统，其通过获取人脸表情变化过程中每种表情区别于其他表情固有的几何特征来有效实现人脸表情识别。(2)人脸表情图像关键点坐标的定位不受受试者的人脸形状、性别、年龄、种族等冗余的身份信息以及输入图像亮度的影响，通过级联表情序列的关键点坐标作为第一几何特征，可以排除人脸图像的共同底层结构和脸型的影响，有效表示人脸关键点相对位置的变化。(3)图像序列在从表情中性帧到表情峰值帧的变化过程中，人脸关键点间的距离也会发生改变，通过级联表情序列各关键点坐标到固定点欧式距离的差值作为第二几何特征，可以有效表示人脸表情变化过程中的形变信息。(4)对上述两种几何特征采用基于反馈的加权融合方式进行特征层的融合，从而有效发挥各特征的优势，增强几何特征的表达能力。(5)本专利技术所提出的两种几何特征具有容易获取、计算简便以及对硬件设备要求低等优点。本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明本文档来自技高网...

【技术保护点】
1.基于几何特征加权融合的动态人脸表情识别方法，其特征是，包括：/n针对处理后的人脸表情图像序列进行特征提取；/n具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；/n将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；/n基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。/n

【技术特征摘要】
1.基于几何特征加权融合的动态人脸表情识别方法，其特征是，包括：
针对处理后的人脸表情图像序列进行特征提取；
具体包括：提取引起表情变化的关键部位特征点的位置信息，作为第一几何特征；提取表情变化过程中表情的形变信息，作为第二几何特征；
将上述第一几何特征及第二几何特征分别单独进行分类，分别获得其对应的识别准确率；
基于上述识别准确率对上述两种几何特征进行权重分配，级联成一维几何特征，对加权融合后的一维几何特征进行分类，得到表情的识别结果。


2.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，提取第一几何特征时，将人脸关键点坐标分别以X轴和Y轴进行标准化操作，转化为无量纲的值，表示单帧表情图像的几何位置信息；
基于人脸表情在动态发生的过程中同一面部关键点在帧与帧之间会产生相对位移，将单帧表情图像的几何位置信息扩展到时间维度，描述连续L帧人脸表情图像的几何位置变化。


3.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，提取第二几何特征时，所述提取表情变化过程中表情的形变信息时具体为：计算相邻两帧表情图像的关键点到固定点欧式距离的差值来表示人脸面部表情形状的改变；
或，第二几何特征的提取步骤具体包括：以人脸表情图像鼻梁处关键点的位置作为固定点，计算其它关键点到该点的欧氏距离描述静态图像的面部形变信息；
将L帧的各帧间上述距离的差值进行串联形成第二几何特征。


4.如权利要求1所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，还包括：获取待识别的人脸表情图像序列，以及对待识别的人脸表情图像序列进行人脸检测、人脸旋转矫正、归一化预处理操作。


5.如权利要求4所述的基于几何特征加权融合的动态人脸表情识别方法，其特征是，对待识别的人脸表情图像序列预处理操作，具体包括：
对待识别的人脸表情图像序列进行灰度归一化处理；
对灰度归一化处理后的人脸表情图像序列，通过人脸检测后，进行人脸旋转矫正，也称人脸对齐操作；
对人脸...

【专利技术属性】
技术研发人员：杨明强，闫汝玉，郑庆河，王德强，彭程，王家兴，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37