一种情感计算中多模态生理信号的特征级融合方法技术

本申请提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合。方法包括：处理设备获取原始数据S

【技术实现步骤摘要】
一种情感计算中多模态生理信号的特征级融合方法


[0001]本申请涉及情感识别领域，具体涉及一种情感计算中多模态生理信号的特征级融合方法。

技术介绍

[0002]一个情感计算系统通常包含三个连续的过程：用户的情感激发、机器进行情感识别、并产生反馈行为。其中情感识别过程是人与机器建立情感交互联系的渠道，因此能够识别用户的情感是情感计算系统需要具备的最基本、最重要的能力。
[0003]生理信号可通过小型化的可穿戴设备(包括传感器)持续的获得，相比于语音、视频等信号具有便捷、稳定、限制少、适用场景广等优点，得到了广泛的关注。而可用于情感识别的生理信号很多，包括脑电图、肌电图、心率、皮肤电阻抗等，但不同信号蕴含的关于情感状态的模式不同，存在冗余或互补的信息，为信息融合带来了极大的挑战。
[0004]针对情感计算系统，目前已有的多模态生理信号融合方法可以分为三类：信号级的融合方法、特征级的融合方法和决策级的融合方法。信号级融合由于信息的抽象的层级低，保留的原始信息最充分，但通常要求信号的采样频率一致，且受到环境噪声干扰的影响较大，鲁棒性较弱；特征级融合则在原始信号抽象成特征向量后进行融合，处理的数据量适中，融合策略的实施更加灵活，使用最广泛；决策级的融合对多个分类器做出的决策进行融合。
[0005]而在现有的相关技术的研究过程中，专利技术人发现，尽管各个层级的融合通常都有利于提高情感识别的准确率，但是也都存在适用性较差的问题，如现有技术中以信号方差为主要依据的信号级融合方法，结果表明融合后的分类性能优于单独使用各个信号，然而其无法避免信号级融合固有的缺点；如现有技术中基于愉悦
‑
唤醒二维情感模型和隐马尔可夫模型的特征级融合方法，与非融合方法比较，取得了更高的准确率，然而其是对特征向量的简单首尾拼接融合，无法反映融合过程中哪些生理信号对于情感识别任务的贡献更大；如现有技术中基于堆叠自编码器的模型，利用深度学习实现自动的特征级融合，然而其直接利用深度学习中的堆叠自编码器，虽然深度网络的神经元通过调整其权重可以学习到哪些特征更有用，也能加深深度来提高性能，但其可解释性较差；如现有技术中使用多核学习，针对每个模态计算核矩阵并加权融合，其利用了多核学习，其背后的核技巧具有较完善的理论基础，但属于浅层学习，很难像深度学习那样通过加深网络提高性能；如现有技术中对脑电、眼动信号进行决策级融合，对比了最大值规则、求和规则、投票规则和模糊度量规则，其使用了决策级融合，但每个生理信号单独做出决策后再进行融合就无法考虑到生理信号间的相互作用。

技术实现思路

[0006]本申请提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好
等特点，从而达到显著提高的实用性。
[0007]第一方面，本申请提供了一种情感计算中多模态生理信号的特征级融合方法，方法包括：
[0008]处理设备获取原始数据S
(m)
，其中，原始数据S
(m)
为记录了P个模态的生理信号类型的样本数据，原始数据S
(m)
记为原始数据S
(m)
还配置有情感标签Y，情感标签Y记为Y＝{y
i
}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
[0009]处理设备针对原始数据S
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X
(m)
，特征向量X
(m)
记为
[0010]处理设备对于特征向量X
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E
(m)
，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E
(m)
记为
[0011]处理设备将多核嵌入向量E
(m)
视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，
[0012]赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
P
)
T
，其系数大小反映了对应模态的重要程度，
[0013]加权融合得到集成向量E，集成向量E记为加权融合得到集成向量E，集成向量E记为
[0014]处理设备通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
[0015]结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，核矩阵嵌入具体为Nystrom近似核矩阵嵌入，Nystrom近似核矩阵嵌入包括以下内容：
[0016]对于特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；
[0017]从核矩阵K
(m)
中随机采样s列(s＜＜N)，构成矩阵C
(m)
∈R
N
×
s
；
[0018]从矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W
(m)
∈R
s
×
s
；
[0019]由半正定矩阵W
(m)
的奇异值分解得到其中，∑
(m)
为对角矩阵，对角线元素σ
i
为降序排列的特征值，U
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵K的rank
‑
r近似为：其中，
[0020]计算嵌入向量
[0021]对所有模态执行以上操作后，得到多核嵌入向量E
(m)
，多核嵌入向量E
(m)
记为
[0022]结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
[0023]对于特征向量X
(m)
中的第m个模态，从特征向量X
(m)
中采样出N
′
＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
[0024]计算核矩阵和核矩阵其中，其中，
[0025]计算嵌入向量
[0026]对所有模态执行以上操作后，得到多核嵌入向量E
(m)
，多核嵌入向量E
(m)
记为
[0027]结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，类内离差矩阵的计算公式为：
[0028][0029]类间离差矩阵的计算公式为：
[0030][0031]其中，P
i
和N本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感计算中多模态生理信号的特征级融合方法，其特征在于，所述方法包括：处理设备获取原始数据S
(m)
，其中，所述原始数据S
(m)
为记录了P个模态的生理信号类型的样本数据，所述原始数据S
(m)
记为记为所述原始数据S
(m)
还配置有情感标签Y，所述情感标签Y记为Y＝{y
i
}，i＝1，2，...，N，N表示样本个数，一共有C个类别；处理设备针对所述原始数据S
(m)
中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X
(m)
，特征向量X
(m)
记为记为处理设备对于所述特征向量X
(m)
中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E
(m)
，其中，每一个所述核矩阵及其嵌入都有一个相对应的模态，所述多核嵌入向量E
(m)
记为记为处理设备将多核嵌入向量E
(m)
视为样本，在可再生核希尔伯特空间RKHS中表示，利用所述多核嵌入向量E
(m)
和样本标签，计算每个模态的可分性判据其中，为类内离差矩阵，为类间离差矩阵，赋予第i个模态一个加权系数，其值为则有γ＝(γ1，γ2，...，γ
P
)
T
，其系数大小反映了对应模态的重要程度，加权融合得到集成向量E，所述集成向量E记为加权融合得到集成向量E，所述集成向量E记为处理设备通过所述集成向量E及其对应的所述情感标签Y训练初始模型，得到情感识别模型，所述情感识别模型用于对输入的目标生理信号执行情感识别。2.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为Nystrom近似核矩阵嵌入，所述Nystrom近似核矩阵嵌入包括以下内容：对于所述特征向量x
(m)
中的第m个模态，将其特征向量归一化后，计算核矩阵其中，k为选定的核函数；从所述核矩阵K
(m)
中随机采样s列(s＜＜N)，构成矩阵C
(m)
∈R
N
×
s
；从所述矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W
(m)
∈R
s
×
s
；由所述半正定矩阵W
(m)
的奇异值分解得到W
(m)
＝U
(m)
∑
(m)
U
(m)T
，其中，∑
(m)
为对角矩阵，对角线元素σ
i
为降序排列的特征值，U
(m)
为正交矩阵，其第i列记为对于给定的r≤s，核矩阵K的rank
‑
r近似为：其中，计算嵌入向量对所有模态执行以上操作后，得到所述多核嵌入向量E
(m)
，所述多核嵌入向量E
(m)
记为3.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，所述在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：对于所述特征向量X
(m)
中的第m个模态，从所述特征向量X
(m)
中采样出N
′
＜N个样本，并
进行k均值聚类，找出r个聚类中心，记为计算核矩阵和核矩阵其中，其中，计算嵌入向量对所有模态执行以上操作后，得到所述多核嵌入向量E
(m)
，所述多核嵌入向量E
(m)
...

【专利技术属性】
技术研发人员：黄剑，何欣润，傅中正，王恩凯，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：