一种基于测地距离与样本熵的认知情感识别方法技术

本发明专利技术公开了一种基于测地距离与样本熵的认知情感识别方法，涉及人脸识别与情感计算技术领域。本发明专利技术首先针对四种影响人在任务回路中的认知情感，提出49个高效的脸部情感描述点，实现基于主动外观模型的人脸情感描述点定位；其次，设计了基于测地距离的人脸情感时空特征表达方法；然后，提出了基于样本熵的人脸情感特征提取方法，实现了认知情感时空特征的高效提取；最后利用随机森林分类器实现了情感分类与识别。本发明专利技术能够快速提取基于视频流的人脸认知情感，准确高效地识别人在任务回路中的认知情感状态，为监测人员工作状态，控制任务风险提供技术支撑。务风险提供技术支撑。务风险提供技术支撑。

【技术实现步骤摘要】
一种基于测地距离与样本熵的认知情感识别方法


[0001]本专利技术涉及情感计算与人脸识别领域，具体涉及一种基于测地距离与样本熵的认知情感识别方法。

技术介绍

[0002]情感计算是通过挖掘大数据表达与识别人的情感的理论，也是实现高级人工智能的关键技术。心理学研究表明，认知和情感是人类心理活动的两个重要部分，是有机联系在一起的一个过程的两个方面。研究任务中人的认知情感对及时发现任务风险与采取必要措施具有重要的作用。然而，当前情感计算与识别的研究主要集中在对日常六种基本情感的分析，忽略了对任务过程中人的认知情感的研究。
[0003]研究表明由人的认知状态引发的情感表达是一个持续1到4秒的过程，而非静态的情感峰值。然而，当前的脸部情感特征提取方法大都从二维静态图像中提取人脸表情的峰值特征，诸如Gabor小波、LBP和PCA方法，无法有效表达认知情感过程的时序动态属性。由于认知情感时序动态表达的特点，其分析的数据对象应为与时间序列相关的视频数据。然而，区别于静态图像，基于视频的数据处理增加了时间维信息，大大增加了数据量，多时甚至达到了上百万维的数据，其数据处理的难度也随之增大，增加了认知情感特征提取难度，导致认知情感计算与识别精度较低。
[0004]综上所述，针对持续过程的认知情感计算与识别问题，基于视频数据的人脸情感特征提取相比于传统的基于静态图像的特征提取更能够反映情感表达的过程，但这增加了数据维度，从而导致特征提取难度的激增。因此，如何快速有效地处理时序视频的大量数据，提取视频数据中人脸情感的时空特征，实现准确有效的认知情感识别是控制任务风险，避免重大事故的关键技术，也是当前情感计算人工智能的研究重点与难点。

技术实现思路

[0005]针对上述技术问题，本专利技术提出一种基于测地距离与样本熵的认知情感识别方法，能够有效从视频数据中提取人脸认知情感的时空特征，实现准确高效的认知情感识别，控制、预防与减少由人为因素导致的事故，降低任务风险，提高系统可靠性与安全性。
[0006]本专利技术采用的技术方案为：一种基于测地距离与样本熵的认知情感识别方法，该方法包括如下步骤：
[0007]步骤(1)、基于主动外观模型的人脸情感描述点定位；
[0008]步骤(2)、融合测地距离与样本熵的人脸情感特征提取；
[0009]步骤(3)、基于随机森林的认知情感识别。
[0010]其中，步骤(1)具体包括以下步骤：
[0011]1)认知情感描述点标定
[0012]本专利技术采用Mcdaniel、Rodrigo以及Baker等人研究的四种认知情感作为本专利技术的分析对象，分别为：疑惑、愉快、厌倦和挫败。
[0013]情感描述点标定的基本原则是用尽量少的脸部点来描述人脸表情的信息。传统研究一般采用标准的66到68个描述点对人脸表情进行标定，本专利技术通过分析认知情感特点，设计了49 个人脸的认知情感描述点；
[0014]2)训练图像对其与预处理
[0015]采用Procrustes分析对所有图像进行归一化处理，包括处理个图像的旋转角度参数、缩放参数以及二维位移参数。
[0016]3)主动外观模型的形状和纹理模型构建
[0017]利用主成分分析法处理所有图像的冗余信息，得到一组新的相互正交变量，从而每幅图像都可以通过这个变量的线性组合来表达，即主动外观模型的形状模型：
[0018][0019]其中，是通过计算训练集中的所有图像得到的平均形状。P
s
是通过主成分分析得到的一组标准正交基向量的矩阵。b
s
是形状子空间中的参数向量。
[0020]在将形状投影到平均形状中之后，训练图像即可得到一个“形状无关”的图像块。然后，再将该图像块中的像素光栅式地扫描到一个向量中，即可利用亮度对比度规范化得到纹理g。同样，纹理g也是通过PCA投影到纹理子空间，最终主动外观模型纹理模型可以表达为：
[0021][0022]其中，是通过计算训练集中的所有样本得到的平均纹理。P
g
是通过PCA得到的一组标准正交基向量的矩阵。b
g
是纹理子空间中的参数向量。
[0023]4)生成主动外观模型
[0024]主动外观模型模型是进一步将形状模型和纹理模型结合起来，通过加权值W形成一个新的向量，即：
[0025][0026]然后，对b做主成分分析，得到变换矩阵Q。最终，主动外观模型构建完成并可以表达为：
[0027][0028][0029]其中，c是外观参数，矩阵Q
s
和Q
g
表达了训练集中图像的变化模式。
[0030]5)基于主动外观模型图像拟合的情感描述点定位
[0031]基于主动外观模型的图像拟合的目的是为测试图像寻找准确的模型参数。由此，主动外观模型图像拟合是一个参数寻优将待拟合图像与主动外观模型合成图像的差异最小化的过程。将两者之间的差异定义为：
[0032]δg＝g
i-g
m
[0033]其中，g
i
是一个测试图像的纹理特征向量，g
m
是当前主动外观模型的纹理特征向量。通过改变参数c将方差能量E＝|δg|2最小化从而达到图像匹配的目的。因此，整个拟合算法的迭代过程如下：
[0034]i).计算纹理误差：δg＝g
i-g
m
；
[0035]ii).估计纹理方差能量：E0＝|δg|2；
[0036]iii).估算与误差对应的偏差值：δp0＝-R
·
δg，其中R为δp和δg的线性关系，为常数矩阵，由主动外观模型计算获得；
[0037]iv).更新参数：p
k
＝p
k-1
+kδp
k-1
，其中k的初始值为1；
[0038]v).根据估算的误差值计算出相应的外观图像，并计算出应对的纹理误差：
[0039]vi).再次估计纹理方差能量：E
k
＝|δg
k
|2；
[0040]vii).判断是否E
k
＜E0，若否，则赋值：k＝k+1，重复第4步；若是，则收敛，匹配完成。
[0041]在本专利技术中，利用主动外观模型完成图像拟合，并获得测试图像的49个情感描述点，每个图像的数据维度为2
×
49维。
[0042]其中，步骤(2)具体包括以下步骤：
[0043]1)基于测地距离的情感描述点时空特征表达
[0044]根据心理学实验与统计数据，认知情感的持续时间为1秒到4秒之间。认知情感的表达为一个持续过程，并以一段视频或动态图像为分析的单个样本对象。因此，假设每个样本包含n 张图像，从而一个数据样本的情感描述点集可以表达为：
[0045]Sample＝{S1,S2,...,S
n
}
[0046]由本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于测地距离与样本熵的认知情感识别方法，其特征在于：所述方法包括如下步骤：步骤一，基于主动外观模型确定人脸情感描述点定位；步骤二，融合测地距离与样本熵提取人脸情感特征；步骤三，基于随机森林算法对图像中人脸进行认知情感识别。2.根据权利要求1所述的基于测地距离与样本熵的认知情感识别方法，其特征在于：所述步骤一，中基于主动外观模型确定人脸情感描述点定位的具体步骤为：步骤1.1，基于主动外观模型对人脸情感描述点进行建模，包括情感描述点定位、训练图像对齐、形状和纹理模型构建、主动外观模型生成；步骤1.2，基于主动外观模型图像拟合出人脸情感描述点定位。3.根据权利要求1所述的基于测地距离与样本熵的认知情感识别方法，其特征在于：步骤二中融合测地距离与样本熵提取人脸情感特征的具体步骤为：步骤2.1，基于测地距离对人脸情感描述点进行时空特征表达；步骤2.2，基于样本熵提取脸部认知情感特征。4.根据权利要求3所述的基于测地距离与样本熵的认知情感识别方法，其特征在于：所述步骤2.1中，提出了基于测地距离的情感描述点时空特征表达，其具体过程为：针对单个图像，提出49个人脸情感的高效描述点，假设每个数据样本包含n张图像，一个数据样本的情感描述点集表达为：Sample＝{S1,S2,...,S
n
}其中，S
n
为一张图片的数据点集，每个描述点有2维坐标；由于人脸表情的表达为一系列人脸情感描述点在空间上的变化，因此计算样本中各图像数据与第1幅图像数据情感描述点之间的测地距离，以此表达样本数据情感描述点的时空特征：其中，d
g
(V
1，j
：V
i，j
)＝{d
g
(s
1，j
，s
1，j
)d
g
(s
1，j
，s
2，j
)
…
d
g
(s
1，j
，s
n，j
)}，1≤j≤49；同时，d
g
(a
i
，a
j
)表示两个数据点a
i
和a
j
之间的测地线距离：当数据集中的两个数据点a
i
和a
j
非常接近时，测地距离的度量即为两者之间的欧氏距离：当两个数据点a
i
和a
j
相距很远时，引入一个中间变量a

【专利技术属性】
技术研发人员：陈嘉宇，葛红娟，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：