一种基于注意力机制的端到端脑电情感识别方法技术

本发明专利技术公开了一种基于注意力机制的端到端脑电情感识别方法，首先确定脑电样本长度、样本内切片长度和切片窗移，对脑电样本进行切片；接下来计算脑电信号特征，并按照脑电采集设备的导联在头区上的分布重新对特征进行排列，得到类似热力图的脑电信号表征；然后将脑电信号表征输入到基于注意力机制的卷积神经网络中，得到脑电信号短时特征表达；再将脑电信号短时特征表示作为输入，利用加入注意力机制的LSTM网络学习样本中不同时间段脑电信号对情感分类的重要性，并得到脑电样本的长时特征表示；最后以整体样本的长时特征表示为输入，进入全连接层进行情感分类。本发明专利技术提高了基于脑电的情感分类的准确率，为情绪变化时脑电范式的维持时长提供了参考。

【技术实现步骤摘要】
一种基于注意力机制的端到端脑电情感识别方法
本专利技术属于模式识别
，具体涉及一种脑电情感识别方法。
技术介绍
自动情感识别领域近年来越来越受到人们的关注，如在人机交互领域中，机器可以自动识别被观测者的情绪，并做出相应的反应。目前情感识别领域主要分为两类，一种是离散的情感识别，即将人的情感分类为高兴，悲伤，生气等等几种常见状态；另外一种是连续的情感识别，它将人的情感状态用两个维度进行表示，其中Arousal表示兴奋程度，Valence表示愉悦程度。两个领域描述的角度不同，给人们传达的信息也有所差异，都是情感领域研究的焦点。在过去几年中，通过脑电信号态来进行情感分类已经取得了许多重要的成果，并且大量的研究已经证明了同时关注脑电信号的时空特性，在感情分类或精神压力上的效果的往往优于用脑电信号全局特征作为输入的模型。文献“EEG-BasedEmotionRecognitionusing3DConvolutionalNeuralNetworks”InternationalJournalofAdvancedComputerScienceandApplications(IJACSA),9(8),2018.中利用3D-CNN从DEAP数据集的多通道EEG数据中识别出人类的情绪，获得了87.44％和88.49％的识别准确率文献"Spatial–TemporalRecurrentNeuralNetworkforEmotionRecognition,"inIEEETransactionsonCybernetics,vol.49,no.3,pp.839-847中提出了一种新的深度学习框架，称为时空递归神经网络(STRNN)，将信号源的空间信息和时间信息的特征学习集成到一个统一的系统中，合理利用了脑电信息的时空特性对离散情感做出分类。时空相关性目前研究学者已经在情感分类模型中取得了一定的成果，然而由于情感的复杂性和个体差异性，连续维度情感估计仍然面临以下挑战：1)“关键帧”问题。在长时序的情感分类任务中，每一时刻的情感状态与最近时刻的情感状态具有强相关性，且和某些关键时刻的情感信息具有更强的相关性，同时，每一时刻的情感状态和很久之前的情感信息可能关系较小。在过去的基于脑电的情感分类研究中，在对每一时刻的情感状态进行估计时，过去的情感信息都是以同等重要的方式进行处理，导致了模型难以获取关键的上下文信息，影响了模型的泛化能力和准确度。2)样本长度规则。传统的基于脑电的情感分类模型的输入样本往往不是同一长度，对于情感分类，一般以1秒或4秒计算情感相关特征，如果没有用到时序模型，样本长度往往也定为1s或4s，而医学上往往用10s计算功率谱密度等脑电相关特征，并没有统一的样本长度和情感相关特征计算的窗长确定规则。通过不同的样本长度计算出的分类准确率也有所不同。3)模型注意力机制问题。传统的基于脑电的情感分类方法通常利用全局特征或者利用主成分分析(PCA)等方法进行特征降维，用降维后的特征作为模型的输入，或者将不同脑电导联划分为不同的区域，分区计算脑电的情感相关特征作为模型输入，最后进行结果比较。没有给不同的脑区、频带和时间段分配权重。难以从机器学习的角度挖掘脑电信号的特性及不同时空的特征重要性。综上所述，现有的基于脑电的情感分类方法受到了传统方法的限制，难以发觉关键的时空信息，容易造成情感分类精度低，泛化能力差等问题。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种基于注意力机制的端到端脑电情感识别方法，首先确定脑电样本长度、样本内切片长度和切片窗移，对脑电样本进行切片；接下来计算脑电信号特征，并按照脑电采集设备的导联在头区上的分布重新对特征进行排列，得到类似热力图的脑电信号表征；然后将脑电信号表征输入到基于注意力机制的卷积神经网络中，得到脑电信号短时特征表达；再将脑电信号短时特征表示作为输入，利用加入注意力机制的LSTM网络学习样本中不同时间段脑电信号对情感分类的重要性，并得到脑电样本的长时特征表示；最后以整体样本的长时特征表示为输入，进入全连接层进行情感分类。本专利技术提高了基于脑电的情感分类的准确率，为情绪变化时脑电范式的维持时长提供了参考。本专利技术解决其技术问题所采用的技术方案包括如下步骤：步骤1：脑电信号预处理:；设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；对脑电样本切片中的每个导联，分为5个不同波段计算功率谱密度和微分熵特征，将功率谱密度和微分熵特征构成矩阵形成脑电信号特征；步骤2：构建基于脑电信号的情感分类模型，包括基于注意力机制的卷积神经网络和基于注意力机制的LSTM网络两部分；步骤2-1：基于注意力机制的卷积神经网络；所述基于注意力机制的卷积神经网络包括波段注意力模块和导联注意力模块；步骤2-1-1：将脑电信号特征输入波段注意力模块，首先进行池化，再将池化后的一维特征作为卷积神经网络的输入，卷积神经网络的输出再经过Softmax函数；波段注意力模块利用频率波段间的特征关系，生成波段注意力权重向量，公式表示为：Wb(E)＝σ(f(Pool(E)))其中，E表示脑电信号特征，Pool(.)表示池化，f(.)表示卷积神经网络，σ(.)表示Softmax函数；步骤2-1-2：将波段注意力权重向量输入导联注意力模块，利用脑电能量的空间关系生成导联注意力矩阵，导联注意力矩阵为一个二维方阵；首先对波段注意力权重向量进行一维池化操作，将池化后的特征值按导联在脑区的原有位置拼成一个二维方阵，再用卷积核对二维方阵作卷积操作，用padding和步长保证导联维度的方阵大小不变；导联注意力矩阵的计算公式为：WC(Wb)＝σ(filter(Pool(Wb)))其中，filter(.)表示卷积操作；步骤2-1-3：再将导联注意力矩阵和脑电信号特征相加，得到脑电信号短时特征：Wf＝(E+WC(Wb(E)))步骤2-2：基于注意力机制的LSTM网络；在LSTM网络中加入时序注意力模块，用于获取脑电信号时序上下文关系；定义Qt为t时刻脑电样本的特征向量，Q＝(Q1,...Qt,...Qn)为单个样本的特征集合，n表示单个样本内的切片个数，即短时特征个数；定义K＝Q＝V，K和V分别为键名和脑电特征的映射；将Q、K、V利用线性投影到多个子空间中，并在每一个子空间计算时序上不同时刻的注意力权值，并加权得到整体样本的特征向量，最后将整个样本的特征向量再次线性投影得到最后的特征表示；整个时序注意力模块的计算公式如下：Q＝QW(T)QK＝KW(T)KV＝VW(T)VAttention(Q,K,V)＝AV其中，Q为加权后的脑电信号特征Wf；W(T)Q,W(T)K,W(T)V分别表示查询矩阵、K矩阵和键值矩阵；T表示矩阵转置，dk是一个常数；将步骤2-1-3得到的脑电样本的短时特征输本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的端到端脑电情感识别方法，其特征在于，包括以下步骤：/n步骤1：脑电信号预处理:；/n设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；/n对脑电样本切片中的每个导联，分为5个不同波段计算功率谱密度和微分熵特征，将功率谱密度和微分熵特征构成矩阵形成脑电信号特征；/n步骤2：构建基于脑电信号的情感分类模型，包括基于注意力机制的卷积神经网络和基于注意力机制的LSTM网络两部分；/n步骤2-1：基于注意力机制的卷积神经网络；/n所述基于注意力机制的卷积神经网络包括波段注意力模块和导联注意力模块；/n步骤2-1-1：将脑电信号特征输入波段注意力模块，首先进行池化，再将池化后的一维特征作为卷积神经网络的输入，卷积神经网络的输出再经过Softmax函数；波段注意力模块利用频率波段间的特征关系，生成波段注意力权重向量，公式表示为：/nW

【技术特征摘要】
1.一种基于注意力机制的端到端脑电情感识别方法，其特征在于，包括以下步骤：
步骤1：脑电信号预处理:；
设定脑电样本长度、脑电样本内切片长度和脑电样本切片窗移，对脑电信号进行切片，得到脑电样本切片；
对脑电样本切片中的每个导联，分为5个不同波段计算功率谱密度和微分熵特征，将功率谱密度和微分熵特征构成矩阵形成脑电信号特征；
步骤2：构建基于脑电信号的情感分类模型，包括基于注意力机制的卷积神经网络和基于注意力机制的LSTM网络两部分；
步骤2-1：基于注意力机制的卷积神经网络；
所述基于注意力机制的卷积神经网络包括波段注意力模块和导联注意力模块；
步骤2-1-1：将脑电信号特征输入波段注意力模块，首先进行池化，再将池化后的一维特征作为卷积神经网络的输入，卷积神经网络的输出再经过Softmax函数；波段注意力模块利用频率波段间的特征关系，生成波段注意力权重向量，公式表示为：
Wb(E)＝σ(f(Pool(E)))
其中，E表示脑电信号特征，Pool(.)表示池化，f(.)表示卷积神经网络，σ(.)表示Softmax函数；
步骤2-1-2：将波段注意力权重向量输入导联注意力模块，利用脑电能量的空间关系生成导联注意力矩阵，导联注意力矩阵为一个二维方阵；
首先对波段注意力权重向量进行一维池化操作，将池化后的特征值按导联在脑区的原有位置拼成一个二维方阵，再用卷积核对二维方阵作卷积操作，用padding和步长保证导联维度的方阵大小不变；导联注意力矩阵的计算公式为：
WC(Wb)＝σ(filter(Pool(Wb)))
其中，filter(.)表示卷积操作；
步骤2-1-3：再将导联注意力矩阵和脑电信号特征相加，得到脑电信号短时特征：
Wf＝(E+WC(Wb(E)))
步骤2-2：基于注意力机制的LSTM网络；
在LSTM网络中加入时序注意力模块，用于获取脑电信号时序上下文关系；
定义Qt为t时刻脑电样本的特...

【专利技术属性】
技术研发人员：刘继尧，蒋冬梅，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61