联合特征迁移与图半监督标记传播的脑电情感识别方法技术

本发明专利技术公开了联合特征迁移与图半监督标记传播的脑电情感识别方法。该方法的具体步骤包括引导被试者观看带有明显情感倾向的脑电数据，对其进行预处理和特征提取后，生成样本矩阵。构建联合特征迁移学习与状态估计的学习模型，包括单映射域适应模型与半监督标签传播模型，得到联合优化的目标函数。再根据目标函数通过固定两个变量、更新另一个变量的规则，实现联合优化，通过不断的迭代优化特征共享子空间，得到更好的迁移效果，以提高情感识别的准确性。该方法可以用于跨被试迁移进行情感识别。

【技术实现步骤摘要】
联合特征迁移与图半监督标记传播的脑电情感识别方法
本专利技术属于脑电信号处理
，具体涉及联合特征迁移与图半监督标记传播的脑电情感识别方法。
技术介绍
情感是人们在日常生活工作中受到外界刺激时由大脑产生的一种对应的生理表达，具有信息传递以及行为调控的作用。对于机器来说，能够自动并准确的识别人的情感，更好地实现情感人机交互是当前信息科学、心理学、认知神经科学等领域的研究热点。但是人的情感表达会受到诸如环境情景、表达对象以及思维认知的影响，从而导致情感识别的困难，当前情感状态的识别主要可归于四类：面部表情、文本、语音、生理信号，前三者是非生理信号，由于非生理信号具有可伪装性，无法确保识别结果的可靠性，故通常采用生理信号进行识别。脑电信号作为一种不易伪装的生理信号，对于提高人机交互中情感识别的准确性以及可靠性具有十分重要的帮助。常见的迁移学习方法一般可分为四类：基于模型、基于特征、基于样本、基于关系。其中，基于特征的方法是最广泛使用的迁移方法，该类方法目的是学习一种共享特征表示，即共享子空间，通过投影结合一些度量策略，例如最大均值差异MMD等的方式将目标域和源域数据映射到共享子空间中使得两者条件分布和边缘分布的差异最小。但是对于无标签的目标域数据而言，计算其条件分布是无法实现的，因此，如果能够学习到好的目标域标签，从而得出更好的投影矩阵，就可以缩小源域和目标域差异以得出更加优秀的目标标签，提升模型识别精度，保证情感人机交互的可靠性。但是，脑电信号是一种非稳态信号，并且不同被试针对于同一情感的脑电信号表征也会有所不同如果只是简单的进行跨被试迁移识别，并不能很好的满足人机交互对于情感识别准确性的要求。
技术实现思路
针对现有技术的不足，本专利技术提出了联合特征迁移与图半监督标记传播的脑电情感识别方法，通过对源域数据和目标域数据在子空间对齐的投影矩阵W、目标域情感标签Ft以及无向图S进行联合迭代优化，通过不断的迭代优化特征共享子空间，得到更好的迁移效果，以提高情感识别的准确性。步骤1、采集被试者在K种不同情绪状态下的脑电数据。步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签。选择两个不同的样本矩阵，分别作为源域数据Xs和目标数据Xt。步骤3、构建联合特征迁移学习与状态估计的学习模型，包括单映射域适应模型与半监督标签传播模型。步骤3.1、建立单映射域适应模型：其中，为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；为增广源域数据标签，c为类别数；为增广目标域数据标签，ns、nt分别为源域数据和目标域数据的样本数量；n＝ns+nt表示总样本个数；为对角矩阵，矩阵中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数，k＝1，2，...，c+1；其中为中心矩阵，I为单位阵，表示Frobenius范数的计算；上标T表示转置。步骤3.2、建立基于无向图的半监督标签传播模型：其中，Sij表示无向图关联矩阵S第i行第j列的元素，即第i个样本和第j个样本之间的关联度(i＝1，2，...，n；j＝1，2，...，n)；α，γ均为参数；为拉普拉斯变换矩阵，通过关联矩阵S求得，L＝S-D，D为n维对角矩阵，第i个对角元素为用于标签传播的标签矩阵，Fs、Ft分别为源域与目标域的标签；1为全1矩阵；Tr(·)表示矩阵的迹；表示2范数的计算；公式(2)中第一项为半监督的标签传播，第二项以及第三项则是求解无向图的关联矩阵，以保证构造出一个好的无向图。步骤3.3、联合步骤3.1、3.2构建的两个模型，将域适应以及基于无向图的半监督标签传播整合至一个统一的框架中进行联合优化，优化模型为：λ，α，γ均为参数。步骤4、根据步骤3.3建立的优化模型，对映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S进行联合迭代优化。步骤4.1、初始化目标域数据标签Ft的值为并使用神经网络构建初始无向图。作为优选，初始无向图由KNN网络构建。步骤4.2、固定目标域数据标签Ft和无向图关联矩阵S，更新映射矩阵W，目标函数为：求解公式(4)，得到更新后的映射矩阵。步骤4.3、固定映射矩阵W和无向图关联矩阵S，更新目标域数据标签Ft，目标函数为：求解公式(5)，得到更新后的目标域数据标签。步骤4.4、固定目标域数据标签Ft和映射矩阵W，更新无向图关联矩阵S，目标函数为：求解公式(6)，得到更新后的无向图关联矩阵S。步骤4.5、多次重复步骤4.2、4.3、4.4，完成映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S的联合迭代优化。步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。本专利技术具有以下有益效果：1、本专利技术提出的联合脑电特征迁移与情感状态估计方法模型为情感人机交互提供了一种具有更高准确性的有效工具，通过数学模型不断迭代优化目标标签，能够根据脑电数据准确地识别被试者的情感状态。2、本专利技术针对的是脑电研究领域较难的跨被试情景，通过构造无向图、半监督标签传播以及域适应三者联合进行迭代优化，通过不断优化基于样本数据构造的无向图，通过半监督标签传播优化得到更好的目标标签，以得到更加优秀的映射矩阵提高迁移效果，得到更加接近的源域数据和目标域数据进行构图，不断迭代、优化，从而得到更加优秀的情感状态识别结果，提高跨被试迁移进行情感识别的准确性。附图说明图1为本方法的流程图。具体实施方式以下结合附图对本专利技术作进一步的解释说明；如图1所示，联合特征迁移与图半监督标记传播的脑电情感识别方法，具体包括以下步骤：步骤1、脑电数据采集。人的情感在日常情况下并不会显得十分强烈，因此，为了采集到强烈的情感信息，是需要对被试者进行一定的诱导的，因此选取4种具有明显情感倾向的影片片段在不同的时间分别播放给被试者观看，在观看影片的同时通过脑电帽导联连接到对应的脑区采集被试者的脑电数据作为原始的情感脑电数据集。步骤2、数据预处理。对步骤1采集得到的脑电数据进行采样，采样率为200hz，然后通过1hz～75hz的带通滤波器滤除噪声和伪影，分别在5个频段(Delta(1-4Hz)，Theta(4-8Hz)，Alpha(8-14Hz)，Beta(14-31Hz)和Gamma(31-50Hz))计算其微分熵(DE)作为样本矩阵S：其中，σ为概率密度函数的标准差；μ为概率密度函数的期望。可以看出，本质上微分熵特征为功率谱密度特征的对数形式，即脑电信号的预处理旨在提高信噪比，从而提高数据的预处理效果，减少干扰。标签向量y为样本矩阵X对应的情感标签。...

【技术保护点】
1.联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：该方法具体包括以下步骤：/n步骤1、采集被试者在K种不同情绪状态下的脑电数据；/n步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签；选取两个不同的样本矩阵，分别作为源域数据X

【技术特征摘要】
1.联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：该方法具体包括以下步骤：
步骤1、采集被试者在K种不同情绪状态下的脑电数据；
步骤2、对步骤1采集得到的脑电数据进行预处理和特征提取，每一个样本矩阵X由一个被试者的脑电特征组成，标签向量y为样本矩阵X中脑电特征对应的情感标签；选取两个不同的样本矩阵，分别作为源域数据Xs和目标域数据Xt；
步骤3、构建联合特征迁移学习与状态估计的学习模型，将单映射域适应模型以及基于无向图的半监督标签传播模型整合至一个统一的框架中，得到联合优化的目标函数；
步骤4、首先初始化目标域数据标签Ft，使用神经网络构建得到初始无向图；然后根据步骤3得到的联合优化的目标函数，通过固定两个变量、更新另一个变量的方法，依次对映射矩阵W、目标域数据标签Ft以及无向图关联矩阵S进行优化，多次重复该优化过程，实现联合迭代优化；
步骤5、将步骤2得到样本矩阵X输入到经过步骤4迭代优化后的目标函数中，获得对应的预测值标签，该预测值标签即为样本对应的被试者在采集时刻的情感状态。


2.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤二中以200Hz的频率对采集得到的脑电数据进行采样，然后将采样后的数据通过1hz～75hz的带通滤波器，滤除噪声和伪影；再分为1-4Hz、4-8Hz、8-14Hz、14-31Hz和31-50Hz五个频段，分别计算每个频段下的微分熵作为样本矩阵X中的脑电特征。


3.如权利要求1所述联合特征迁移与图半监督标记传播的脑电情感识别方法，其特征在于：步骤3具体包括以下步骤：
步骤3.1、建立单映射域适应模型：



s.t.WTXHXTW＝I(1)
其中，为将源域数据和目标域数据映射到同一个共享子空间中的映射矩阵，p表示目标维度，d表示原始维度；为增广源域数据标签，Ys为源域标签，c为类别数；为增广目标域数据标签，ns、nt分别为源域数据和目标域数据的样本数量；n＝ns+nt表示总样本个数；为对角矩阵，Ns、Nt均为对角矩阵，其中第k个对角元素即为第k类源域或者目标域数据样本数量的倒数，k＝1.2，...，c+1；其中为中心矩阵，I为单位阵，表示Frobenius范数的计算；上标T表示转置；
步骤3.2、建立基于无向图的半监督标签传播模型：
<...

【专利技术属性】
技术研发人员：李文政，黄文娜，王文娟，彭勇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33