一种人脸微表情识别方法及识别装置制造方法及图纸

本发明专利技术提供一种人脸微表情识别方法及识别装置，能够在减少计算量的基础上提高了对表情的识别精度。所述方法包括：确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。本发明专利技术涉及图像处理与模式识别领域。

【技术实现步骤摘要】
一种人脸微表情识别方法及识别装置
本专利技术涉及图像处理与模式识别领域，特别是指一种人脸微表情识别方法及识别装置。
技术介绍
随着对自动情绪识别的需求日益增长，人脸作为表情的重要表达方式，其研究越来越受到人们的关注。心理学家Ekman和Friesen开发了面部动作编码系统(FACS)，将面部状态描述为面部动作单元(AU)的组合，面部动作单元是面部不同肌肉的运动。自动检测AU对人脸表情识别有很大帮助，在抑郁症患者的人机交互、网络学习、市场调研、多媒体、心理健康等方面有着广泛的应用。从FACS可知，人的面部共有43块肌肉，这些肌肉组成10000多种面部状态，其中至少有3000种具有特定的情感。Ekman和Friesen建立的面部动作编码系统将人脸分成多个相互独立的动作单元。根据人脸的骨骼和物理架构，这些动作单元可以有效的描述人脸表情。尽管人类不同个体之间的外貌存在差异，但是面部的物理架构是相似的。现有技术中，将AU映射到情绪的鲁棒方法在很大程度上仍然未被探索，很少有确定性的基于关联规则的技术将AUs映射到情感类别，从而识别面部表情。
技术实现思路
本专利技术要解决的技术问题是提供一种人脸微表情识别方法及识别装置，基于面部动作单元(AU)之间的关联性以及AU和表情之间的关联性，识别面部表情。为解决上述技术问题，本专利技术实施例提供一种人脸微表情识别方法，包括：确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。进一步地，所述确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性包括：对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性；对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性。进一步地，所述对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性包括：利用第一判别系数公式确定任意两个AU之间的相关系数，其中，所述第一判别系数公式表示为：其中，Xi和Xj分别代表AUi和AUj，AUi和AUj分别代表面部动作单元i和面部动作单元j，P(Xj|Xi)表示AUi已经发生条件下AUj的发生概率，P(Xi)表示AUi的发生概率，P(XjXi)表示AUi和AUj同时发生的概率；其中，S表示用于统计AU之间关联性的表情数据库中图像总数量，Hi表示表情数据库包含标签AUi的图像样本数量，Ai表示表情数据库同时包含标签AUi和AUj的图像样本数量。进一步地，所述对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性包括：利用第二判别系数公式得到任意AU和表情之间的相关系数，其中，所述第二判别系数公式表示为：其中，Yi代表表情Ti，Xj代表AUj，P(Xj|Yi)表示表情Ti已经发生条件下AUj的发生概率，P(Yi)表示表情Ti的发生概率，P(XjYi)表示表情Ti和AUj同时发生的概率；其中，N表示用于统计AU与表情间关联性的表情数据库中图像总数量，Fi表示表情数据库包含标签Ti的图像样本数量，Gi表示表情数据库同时包含标签Ti和AUj的图像样本数量。进一步地，所述根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列包括：按照AU和表情之间的关联性由高到低进行排序，获取关联性较大的预设个数的AU作为序列长度，得到每一个表情的AU模板序列。进一步地，定义测试样本AU序列为Test_AU＝∪{AUk},其中，k表示AU类型下标，L表示AU类型数目；表情Ti的模板序列为Temp_AU(i)＝∪{AUj},i＝1,2,3,…R,j表示AU类型下标，R表示表情类型数目；所述根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：A11，判断测试样本AU序列Test_AU的长度K与第i个表情的AU模板序列Temp_AU(i)的长度J是否相同；A12，若相同，即K＝J，则获取Test_AU和Temp_AU(i)之间相同AU个数最大的Temp_AU(i)作为最优解，若最优解是唯一的，则最优解对应的AU模板序列所属的表情为测试样本的表情类型；若最优解不止一个，则确定测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU(i)之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。进一步地，测试样本AU序列Test_AU与第i个表情的AU模板序列Temp_AU(i)之间的相似度Simi表示为：其中，Test_AUp表示Test_AU中的元素，表示第i个表情的AU模板序列Temp_AU(i)中的元素；所述获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型包括：获取相似度最高的表情模板序列作为最优匹配模板，即将最优匹配模板所属表情类型作为测试样本的表情类型。进一步地，所述方法还包括：若不同，且K>J，对于测试样本AU序列Test_AU中的每个AU标签Test_AUp，计算关联指数获取Sp值最小时的元素Test_AUp，并删除所述Test_AUp，直至Test_AU与Temp_AU(i)长度相同，继续执行步骤A12。进一步地，所述方法还包括：若不同且K<J，当计算Test_AU与Temp_AU(i)之间的相似度时，随机选取第i个表情的AU模板序列Temp_AU(i)中的AU元素并添加到测试样本AU序列Test_AU中，使得Test_AU与Temp_AU(i)长度相同，继续执行步骤A12。本专利技术实施例还提供一种人脸微表情识别装置，包括：第一确定模块，用于确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；第二确定模块，用于根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取模块，用于获取测试样本的AU序列；第三确定模块，用于根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。本专利技术的上述技术方案的有益效果如下：上述方案中，确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，从而更加全面准确的表达人脸的面部特征和表情之间的关联关系；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列，为后续基于AU识别表情定下一个模板，能够简化表情识别的过程；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模本文档来自技高网...

【技术保护点】
1.一种人脸微表情识别方法，其特征在于，包括：确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。

【技术特征摘要】
1.一种人脸微表情识别方法，其特征在于，包括：确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性，其中，AU表示面部动作单元；根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列；获取测试样本的AU序列；根据确定的表情数据库中AU之间的关联性，利用自适应公共子序列匹配方法计算测试样本的AU序列和每一个表情的AU模板序列之间的相似度，获取最大相似度对应的AU模板序列所属的表情类型作为测试样本的表情类型。2.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述确定表情数据库中的AU之间的关联性以及AU和表情之间的关联性包括：对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性；对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性。3.根据权利要求2所述的人脸微表情识别方法，其特征在于，所述对表情数据库中的AU标签进行统计，通过判别系数确定表情数据库中的AU之间的关联性包括：利用第一判别系数公式确定任意两个AU之间的相关系数，其中，所述第一判别系数公式表示为：其中，Xi和Xj分别代表AUi和AUj，AUi和AUj分别代表面部动作单元i和面部动作单元j，P(Xj|Xi)表示AUi已经发生条件下AUj的发生概率，P(Xi)表示AUi的发生概率，P(XjXi)表示AUi和AUj同时发生的概率；其中，S表示用于统计AU之间关联性的表情数据库中图像总数量，Hi表示表情数据库包含标签AUi的图像样本数量，Ai表示表情数据库同时包含标签AUi和AUj的图像样本数量。4.根据权利要求2所述的人脸微表情识别方法，其特征在于，所述对表情数据库中的AU标签和表情标签进行统计，通过判别系数确定AU和表情之间的关联性包括：利用第二判别系数公式得到任意AU和表情之间的相关系数，其中，所述第二判别系数公式表示为：其中，Yi代表表情Ti，Xj代表AUj，P(Xj|Yi)表示表情Ti已经发生条件下AUj的发生概率，P(Yi)表示表情Ti的发生概率，P(XjYi)表示表情Ti和AUj同时发生的概率；其中，N表示用于统计AU与表情间关联性的表情数据库中图像总数量，Fi表示表情数据库包含标签Ti的图像样本数量，Gi表示表情数据库同时包含标签Ti和AUj的图像样本数量。5.根据权利要求1所述的人脸微表情识别方法，其特征在于，所述根据确定的表情数据库中AU和表情之间的关联性，得到每一个表情的AU模板序列包括：按照AU和表情之间的关联性由高到低进行排序，获取关联性较大的预设个数的AU作为序列长度，得到每一个表情的AU模板序列。6.根据权利要求1所述的人脸微表情识别方法，其特征在于，定义测试样本AU序列为其中，k表示AU类型下标，L表示AU类型数目；表情Ti的模...

【专利技术属性】
技术研发人员：支瑞聪，李婷婷，刘梦祎，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京,11