基于多维特征的混合神经网络脑电情感识别方法及系统技术方案

本发明专利技术请求保护一种基于多维特征的混合神经网络情感识别方法及系统，构造了包含时频空信息的4D特征作为识别模型的输入，保留电极间的空间信息、脑电序列的时间关联性以及充分利用对应着不同情感的各种子频带信息。然后，提出了一种基于深度可分离卷积的残差网络，除了提取输入信号中的空频特征之外也进一步减少了训练参数，并应用Fca

【技术实现步骤摘要】
基于多维特征的混合神经网络脑电情感识别方法及系统


[0001]本专利技术属于脑电情感识别领域，是一种基于多维特征的混合神经网络情感识别方法。

技术介绍

[0002]情感是一种综合了人的感觉、思想和行为的一种心理现象，是人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应。随着科技的发展，人们的生活与智能科技的关系越来越紧密，准确识别情感在人机交互领域愈发重要。神经系统生理学和社会心理学的研究证明了脑电信号与包括情感过程在内的许多认知过程高度相关，能够客观地反映受试者的真实情感，已成为研究热点方向。
[0003]由于脑电信号非线性、不平滑、低信噪比和多通道相关的特性，本质上是一个复杂的混沌数据，关于如何提取出和情感高度相关的特征以及选择合适的分类模型一直是阻碍研究者的两个绊脚石。目前已证明脑电信号在时、频、空三个维度上都含有与情感相关的特征分量，然而大多数文献只考虑这三个维度中的一个或两个，通过简单的组合进行模式识别，完全忽略跨通道间的空间信息交互、跨频段间的先验知识以及不同特征间的信息互补，这样做不仅对提高模型精度毫无效果，反而导致特征冗余、增加复杂度。因此，通过整合不同领域的信息，在后续的分类模型中自适应地捕获重要的时、频、空特征，对于提高情感识别率具有重要意义。
[0004]近年来，深度学习作为机器学习新的发展方向，在CV、NLP等领域取得了丰硕的成果，已经开发了许多的深度模型。许多研究者已经成功地将深度学习方法引进了基于EEG的情感识别领域，例如GNN(图神经网络)、GCN(图卷积神经网络)、Transformer等。在获得优异结果的同时，但挑战也仍然存在。如何构建适合脑电信号特征提取形式的网络，是目前亟须解决的问题。
[0005]该专利融合多种电生理信号维度较大，识别时间过长，难以满足实时性；而且该专利没有完整考虑电信号在频率维度包含的情感信息；该专利用LSTM来对输入的序列进行帧级的处理，能对识别有较大的提升，但是对序列中的前后时间关系没有进行深层的认知，缺少了对前后特征的学习，本专利技术采用BiLSTM网络对过去和未来动态时间特征进行深入学习。

技术实现思路

[0006]本专利技术旨在解决以上现有技术的问题。提出了一种基于多维特征的混合神经网络脑电情感识别方法及系统。本专利技术的技术方案如下：
[0007]一种基于多维特征的混合神经网络脑电情感识别方法，其包括以下步骤：
[0008]S1，计算受试者处于情感刺激下的信号与基线信号之间的差异，以此表示该片段的情感状态数据；
[0009]S2，对去基线后的信号进行不重叠加窗、分频段、分帧、提取频段特征、矩阵映射，
将整个窗口片段转换成4D矩阵序列；
[0010]S3，通过使用DC(逐通道卷积)和PC(点积)来构建残差网络并融合频率域通道注意力网络FcaNet获取特征中的空频信息；
[0011]S4，将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，并且将每个帧时刻的记忆体隐藏层状态分配权重后求和作为Softmax的输入；
[0012]步骤S5，基于交叉熵函数优化和反向传播的随机梯度下降SGD进行网络训练。
[0013]进一步的，所述步骤S1计算受试者处于情感刺激下的信号与基线信号之间的差异，以此表示该片段的情感状态数据，具体步骤如下：
[0014]数据集的采样频率为S，给定整个基线片段其中M和N1分别表示电极数量和该片段的采样点数量；R表示一种数据对应法则；首先，将X
base
均匀地划分为长度为1秒的时段，得到秒的时段，得到表示第i个基线片段，然后，计算基线数据的平均值公式如下：
[0015][0016]同上述方法一样，按照的长度标准，将试验数据划分成L片段利用每一段实验数据减去基线平均值得到基线去除数据，公式如下：
[0017][0018]最后将L段去基线数据拼接成完整的数据。
[0019]进一步的，所述步骤S2对去基线后的信号进行不重叠加窗、分频段、分帧、提取频段特征、矩阵映射，将整个窗口片段转换成4D矩阵序列，具体包括：
[0020]对去基线后的信号X
trial.rmov
进行以时间长度为u秒的不重叠加窗处理，得到划分后的数据通过FIR滤波器将其分频到θ、α、β、γ四个频带；考虑到人的情感变化是时间动态的，因此将分段信号分割成0.5s的等长帧；提取每个帧窗口内所有通道的DE(微分熵)、PSD(功率谱密度)特征；利用敏感变换空间映射的方式将单频段帧向量映射到2维矩阵；从单个频段的角度来看，窗口片段会变换成2维矩阵序列，融合不同频段两个特征矩阵，得到最终的4维数据S＝{S1,S2,...,S
j
}∈R
9x9x8x2u
。
[0021]进一步的，所述利用敏感变换空间映射的方式将单频段帧向量映射到2维矩阵，具体包括：按照“10/20”体系电极摆放位置，将62电极通道映射到9
×
9的矩阵，对于有位置映射的矩阵元素填充相应的DE(微分熵)、PSD(功率谱密度)特征值，其余位置用0替代。
[0022]进一步的，所述步骤S3通过使用DC(逐通道卷积)和PC(点积)来构建残差网络并融合频率域通道注意力网络FcaNet获取特征中的空频信息，具体包括：
[0023]首先将每个片段中的2u个帧S
j
按照时间顺序依次送入CNN模块，每个帧的3维数据
结构为9
×9×
8；进入卷积编码层，先设置了两层卷积层，第一层的卷积核为1
×
1，卷积核个数为64。第二层采用3
×
3的卷积核，卷积核个数为128；采用不同的卷积核来提取3维数据中的深层信息；然后使用DC(逐通道卷积)和PC(点积)来构建残差网络；通过DC来提取扩展后单个特征图的内部特征，再利用PC表达跨特征图之间的关系；每个卷积层后都会使用RELU作为激活函数并做BatchNorm处理；残差网络由于需要循环操作，需要保持输出的尺寸不变，所以对于DC(逐通道卷积)进行加Padding操作；Fca
‑
Block将会为不同的通道特征分配权重；循环结束后采用2
×
2的最大池化层进行降维处理，然后通过拉直层处理将数据变换成一维数据；最后每一帧数据经过卷积编码后得到向量S'
j
∈R
1152
。
[0024]进一步的，所述S4，将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，具体包括：
[0025]将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，并且将每个帧时刻的记忆体隐藏层状态分配权重后求和作为Softmax的输入。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维特征的混合神经网络脑电情感识别方法，其特征在于，包括以下步骤：S1，计算受试者处于情感刺激下的信号与基线信号之间的差异，以此表示该片段的情感状态数据；S2，对去基线后的信号进行不重叠加窗、分频段、分帧、提取频段特征、矩阵映射，将整个窗口片段转换成4D矩阵序列；S3，通过使用DC逐通道卷积和PC点积来构建残差网络并融合频率域通道注意力网络FcaNet获取特征中的空频信息；S4，将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，并且将每个帧时刻的记忆体隐藏层状态分配权重后求和作为Softmax的输入；步骤S5，基于交叉熵函数优化和反向传播的随机梯度下降SGD进行网络训练。2.根据权利要求1所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，所述步骤S1计算受试者处于情感刺激下的信号与基线信号之间的差异，以此表示该片段的情感状态数据，具体步骤如下：数据集的采样频率为S，给定整个基线片段其中M和N1分别表示电极数量和该片段的采样点数量；R表示一种数据对应法则；首先，将X
base
均匀地划分为长度为1秒的时段，得到时段，得到表示第i个基线片段，然后，计算基线数据的平均值公式如下：同上述方法一样，按照的长度标准，将试验数据划分成L片段利用每一段实验数据减去基线平均值得到基线去除数据，公式如下：最后将L段去基线数据拼接成完整的数据。3.根据权利要求1所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，所述步骤S2对去基线后的信号进行不重叠加窗、分频段、分帧、提取频段特征、矩阵映射，将整个窗口片段转换成4D矩阵序列，具体包括：对去基线后的信号X
trial.rmov
进行以时间长度为u秒的不重叠加窗处理，得到划分后的数据通过FIR滤波器将其分频到θ、α、β、γ四个频带；考虑到人的情感变化是时间动态的，因此将分段信号分割成0.5s的等长帧；提取每个帧窗口内所有通道的DE微分熵、PSD功率谱密度特征；利用敏感变换空间映射的方式将单频段帧向量映射到2维矩阵；从单个频段的角度来看，窗口片段会变换成2维矩阵序列，融合不同频段两个特征矩阵，得到最终的4维数据S＝{S1,S2,...,S
j
}∈R
9x9x8x2u
。
4.根据权利要求3所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，所述利用敏感变换空间映射的方式将单频段帧向量映射到2维矩阵，具体包括：按照“10/20”体系电极摆放位置，将62电极通道映射到9
×
9的矩阵，对于有位置映射的矩阵元素填充相应的DE微分熵、PSD功率谱密度特征值，其余位置用0替代。5.根据权利要求1所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，所述步骤S3通过使用DC逐通道卷积和PC点积来构建残差网络并融合频率域通道注意力网络FcaNet获取特征中的空频信息，具体包括：首先将每个片段中的2u个帧S
j
按照时间顺序依次送入CNN模块，每个帧的3维数据结构为9
×9×
8；进入卷积编码层，先设置了两层卷积层，第一层的卷积核为1
×
1，卷积核个数为64。第二层采用3
×
3的卷积核，卷积核个数为128；采用不同的卷积核来提取3维数据中的深层信息；然后使用DC逐通道卷积和PC点积来构建残差网络；通过DC来提取扩展后单个特征图的内部特征，再利用PC表达跨特征图之间的关系；每个卷积层后都会使用RELU作为激活函数并做BatchNorm处理；残差网络由于需要循环操作，需要保持输出的尺寸不变，所以对于DC逐通道卷积进行加Padding操作；Fca
‑
Block将会为不同的通道特征分配权重；循环结束后采用2
×
2的最大池化层进行降维处理，然后通过拉直层处理将数据变换成一维数据；最后每一帧数据经过卷积编码后得到向量S'
j
∈R
1152
。6.根据权利要求1所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，所述S4，将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，具体包括：将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息，并且将每个帧时刻的记忆体隐藏层状态分配权重后求和作为Softmax的输入。7.根据权利要求6所述的基于多维特征的混合神经网络脑电情感识别方法，其特征在于，一个LSTM单元的计算公式如所示：f
t
＝σ(W
f
·
[h
t

【专利技术属性】
技术研发人员：罗元，吴昌波，吕彩云，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：