一种多头注意力网络结合时间卷积的EEG情绪识别方法及系统技术方案

技术编号：44119648 阅读：5 留言：0更新日期：2025-01-24 22:41

本发明专利技术公开了多头注意力网络结合时间卷积的EEG情绪识别方法及系统，所述的系统包含三个模块卷积模块(CV)，提取脑电信号中的频率和空间信息；多头自我注意力模块(AT)，突出频率和空间中的重要信息；时间卷积(TCN)，提取脑电信号中的高级时间特征；同时结合卷积的滑动窗口，提高分类的效能；本发明专利技术通过将残差网络与注意力机制结合起来，有效的提取出了脑电信号中频率、空间，维度中与脑电信号中情绪识别相关的深度信息，然后将所提取到的深度信息通过LSTM，网络提取其中的时间维度信息，并进行最终的分类，在DEAP数据集唤醒维和效价维二分类准确率分别达到了98.15％和97.13％。

全部详细技术资料下载

【技术实现步骤摘要】

本专利技术涉及神经网络，具体为多头注意力网络结合时间卷积的eeg情绪识别方法及系统。

技术介绍

1、根据脑电信号的频率、时间和空间特征对于情绪识别是至关重要的。然而，大多数文献只考虑这三个功能中的一个或两个。因此，通过整合不同领域的信息，在统一的网络中自适应地捕捉重要的频率、空间和时间特征是非常有必要的，这对于提高脑电信号情感识别的准确性具有至关重要的意义；

2、情感识别方法分为两大类，一类基于非生理信号的情感识别方法主要通过分析人的语言、行为和面部表情等非生理信号来推测情感状态。然而，这些方法往往受主观因素影响较大，无法确保情感的真实性。根据神经科学的观点，另一类基于生理信号的情感识别方法认为，人体的生理信号与个体的自主神经系统相关，而不受个人主观意识的控制，因此生理信号可以更准确地反映个体的情感状态。

技术实现思路

1、针对现有技术的不足，本专利技术提供了一种多头注意力网络结合时间卷积的eeg情绪识别方法及系统来解决上述问题，对脑电信号进行特征提取和识别。首先，时域分段后提取不同频率的微分熵特征，将不同通道的微分熵特征映射为四维结构，使用cv提取脑电信号的空间与频率信息，通过msa学习权重增强模型的性能，采用卷积滑动窗口并行运算，利用tcn从输入数据中提取时间相关信息，进行分类识别，解决了上述
技术介绍
中所提出的问题。

2、本专利技术公开了一种多头注意力网络结合tcn的eeg情绪识别方法,包括数据收集读取模块、网络模型读取运算模块以及数据试验模块；

3、所述数据收集读取模块通过读取数据库中的原始脑电信号,将数据根据时域进分成n段,通过公式对特征值h(x)的微分熵进行计算,将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w,之后将不同频段d的二维特征图进行堆叠,生成三维特征矩阵,之后根据n段原始脑电信号进行对应生成四维特征矩阵r,将每个输入的样本s,存储到四维特征矩阵rn*d*w*h中,在数据收集读取模块生成的四维特征矩阵后,将数据传递至网络模型读取运算模块中；

4、所述网络模型读取运算模块建立网络模型,网络模型包括有三个模块,分别为cv模块、mha模块和tcn模块,所述cv模块通过使用一种深度可分离卷积，对特征结构中通道维度和空间位置特征解耦合，提取四维特征矩阵rn*d*w*h的空间和频率信息qn，多头注意力机制收集读取输入qn，捕获序列内各种范围的依赖关系，输出矩阵rn，tcn收集读取rn计算计算对应时间段脑电信号中的时空信息，并将数据发送到数据试验模块中；

5、所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析，并对分析结果附带上预测标签。

6、作为本专利技术的优选技术方案,所述数据收集读取模块提取dea公共数据集中的原始脑电信号进行提取并将提取出来的de特征分成n段。

7、作为本专利技术的优选技术方案,之后对每一个de特征的微分熵计算公式如下:

8、h(x)＝-∫f(x)log[f(x)]dx

9、其中，f(x)是随机变量x的概率密度函数，x是随机变量的取值，近似服从高斯分布n(θ，σ2)的随机变量的微分熵等于其在特定频带内的能量谱的对数，具体表达式如下：

10、

11、其中e和σ分别表示时间序列的欧拉常数和标准差。

12、作为本专利技术的优选技术方案,所述数据收集读取模块将外部设备的电信号微分熵特征矢量转化为紧凑的2d图,之后将其一一映射二维空间中,并形成高为h,宽为w的二维特征图,并结合频带特征d构件三维特征矩阵,将每个频带的读取时间设置为t,结合rn*d*h*w,n＝1,2,3...2t,得出每个脑电段可表示为sn∈r2t*d*h*w。

13、作为本专利技术的优选技术方案，所述网络模型读取运算模块进行读取运算的时候包括以下步骤：

14、步骤一、网络输入，输入提取每段脑电信号微分熵的四维特征图；

15、步骤二、频空信息提取，使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息；

16、步骤三、时间信息提取，使用lstm网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息；

17、步骤四、使用全连接层进行最终情绪状态的分类。

18、作为本专利技术的优选技术方案，所述tcn模块中所需的最小层数n的计算公式如下：

19、

20、公式中的n为层数，b为膨胀率，k为卷积核大小，l为输入数据维度；

21、其中l＝512，b＝8，k＝8，n＝3。

22、作为本专利技术的优选技术方案，所述cv模块在两层卷积后添加深度卷积和深度可分离卷积包括一个最大池化层和全连接层。将输入文本转化为最后输出qn∈r512*2t,其中qn＝(q1，q2，q3...q2t)，qt∈r512。

23、作为本专利技术的优选技术方案，所述数据试验模块计算公式如下:

24、

25、其中tp表示真实标签为正类,并且模型预测也为正类,tn表示真实标签为负类,并且模型预测标签也为负类,fn表示真实标签为正类,但模型预测标签为负类,fp表示真实标签为负类,但是模型预测标签为正类,f1 score表示预测计算终值

26、本专利技术通过将残差网络与注意力机制结合起来，有效的提取出了脑电信号中频率、空间，维度中与脑电信号中情绪识别相关的深度信息，然后将所提取到的深度信息通过lstm，网络提取其中的时间维度信息，并进行最终的分类，在deap数据集唤醒维和效价维二分类准确率分别达到了98.15％和97.13％，唤醒-效价维四分类准确率达到了96.96％，seed数据集积极-中性-消极三分类准确率达到97.64％。

本文档来自技高网...

【技术保护点】

1.一种多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于，包括如下步骤：数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成N段，通过公式对特征值h(X)的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维特征图进行堆叠，生成三维特征矩阵，之后根据N段原始脑电信号进行对应生成四维特征矩阵R，将每个输入的样本S，存储到四维特征矩阵RN*d*w*h中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；

2.根据权利要求1所述的多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于，所述数据收集读取模块提取DEAP公共数据集中的原始脑电信号进行提取并将提取出来的DE特征分成N段。

3.根据权利要求2所述的多头注意力机制结合TCN的EEG情绪识别方法，其特征在于，所述DE特征的微分熵计算公式如下:

4.根据权利要求3所述的多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于，所述数据收集读取模块将外部设备的电信号微分熵特征

5.根据权利要求1所述的多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于：所述网络模型读取运算模块进行读取运算的时候包括以下步骤：

6.根据权利要求5所述的多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于：所述TCN模块中所需的最小层数n的计算公式如下：

7.根据权利要求6所述多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于：CV模块中深度可分离卷积在参数存储和计算成本上的减少，对比两者的参数量和计算量，计算公式如下：

8.根据权利要求1所述的多头注意力网络结合时间卷积的EEG情绪识别方法，其特征在于，所述数据试验模块计算公式如下:

9.一种多头注意力网络结合时间卷积的EEG情绪识别系统,其特征在于，能够运行权利要求1-7任一项所述的方法，所述的系统包括数据收集读取模块、网络模型读取运算模块以及数据试验模块。

...

【技术特征摘要】

1.一种多头注意力网络结合时间卷积的eeg情绪识别方法，其特征在于，包括如下步骤：数据收集读取模块通过读取数据库中的原始脑电信号，将数据根据时域进分成n段，通过公式对特征值h(x)的微分熵进行计算，将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w，之后将不同频段d的二维特征图进行堆叠，生成三维特征矩阵，之后根据n段原始脑电信号进行对应生成四维特征矩阵r，将每个输入的样本s，存储到四维特征矩阵rn*d*w*h中，在数据收集读取模块生成的四维特征矩阵后，将数据传递至网络模型读取运算模块中；

2.根据权利要求1所述的多头注意力网络结合时间卷积的eeg情绪识别方法，其特征在于，所述数据收集读取模块提取deap公共数据集中的原始脑电信号进行提取并将提取出来的de特征分成n段。

3.根据权利要求2所述的多头注意力机制结合tcn的eeg情绪识别方法，其特征在于，所述de特征的微分熵计算公式如下:

4.根据权利要求3所述的多头注意力网络结合时间卷积的eeg情绪识别方法，其特征在于，所述数据收集读取模块将外部设备的电信号微分熵特征矢量转化为紧凑的2d图，之后将...

【专利技术属性】
技术研发人员：刘云清，李柯，颜飞，张琼，李棋，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人