脑电信号特征提取方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及人工智能技术领域，公开了一种基于注意力机制的脑电信号特征提取方法、装置、计算机设备及存储介质，能够提取更深层次的模态交互信息，同时覆盖更多的互补信息，有效地提高了特征的表达能力。方法部分包括：获取脑电信号；分别从脑电信号中提取时频和空间两个模态的特征，得到时频表示特征和图表示特征；基于自注意力网络，分别对时频表示特征和图表示特征进行注意力加权处理，得到第一注意力特征和第二注意力特征；将第一注意力特征和第二注意力特征进行跨模态融合处理，得到跨模态融合特征。态融合特征。态融合特征。

【技术实现步骤摘要】
脑电信号特征提取方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种基于注意力机制的脑电信号特征提取方法、装置、计算机设备及存储介质。

技术介绍

[0002]脑电信号是人脑意识活动产生的自发的电信号，从脑电信号中提取的大脑活动的信息可以作为人脑意识形态的指标。人脑思维活动主要反映在脑电信号频率的变化，人脑不同的思维活动是通过不同的频率变化来区分的；这些变化在时间、空间上也具有相关性，也即脑电信号是具有多模态特征的。
[0003]传统的方案中，只是简单的将脑电信号的不同模态的特征向量拼接起来，实际上还是独立地用作分类，多模态特征之间没有建立关联性，拼接起来的特征表达依旧是相隔开的，导致拼接特征的缺乏更深层次的信息，特征表达能力较差。

技术实现思路

[0004]本申请提供一种基于注意力机制的脑电信号特征提取方法、装置、计算机设备及存储介质，以解决传统的拼接特征的缺乏更深层次的信息，特征表达能力较差问题。
[0005]一种基于注意力机制的脑电信号特征提取方法，包括：
[0006]获取脑电信号；
[0007]分别从所述脑电信号中提取时频和空间两个模态的特征，得到时频表示特征和图表示特征；
[0008]基于自注意力网络，分别对所述时频表示特征和所述图表示特征进行注意力加权处理，得到第一注意力特征和第二注意力特征；
[0009]将所述第一注意力特征和所述第二注意力特征进行跨模态融合处理，得到跨模态融合特征。
[0010]可选地，所述将所述第一注意力特征和所述第二注意力特征进行跨模态融合处理，得到跨模态融合特征，包括：
[0011]获取所述加权处理过程中，所述时频表示特征对应的第一查询矩阵、第一索引矩阵和第一内容矩阵，并获取所述加权处理过程中，所述图表示特征对应的第二查询矩阵、第二索引矩阵和第二内容矩阵；
[0012]基于所述第一查询矩阵、第二索引矩阵和第二内容矩阵，对所述第一注意力特征进行注意力加权处理，得到第一目标注意力特征，并基于所述第二查询矩阵、第一索引矩阵和第一内容矩阵，对所述第二注意力特征进行注意力加权处理，得到第二目标注意力特征；
[0013]对所述第一目标注意力特征和所述第二目标注意力特征进行拼接，得到跨模态融合特征。
[0014]可选地，所述时频表示特征通过如下方式提取：
[0015]采用滑动窗法对所述脑电信号切分成多个时间片段信号；
[0016]提取每个时间片段信号内不同频段的功率谱密度；
[0017]按照频段大小，将每个时间片段信号内不同频段的功率谱密度依次进行拼接，得到每个时间片段信号对应的功率谱密度；
[0018]将所有时间片段信号对应的功率谱密度进行拼接，得到目标功率谱密度；
[0019]将不同电极通道的脑电信号对应的所述目标功率谱密度进行拼接，得到时频表示特征。
[0020]可选地，所述提取每个时间片段信号内不同频段的功率谱密度，包括：
[0021]在每个所述时间片段信号执行短时傅里叶变化，以提取每个时间片段信号内不同频段的功率谱密度。
[0022]可选地，所述图表示特征通过如下方式提取：
[0023]对各个获取所述脑电信号的电极通道进行聚类，以建立各个所述电极通道之间的邻接关系；
[0024]基于所述邻接关系，将同一类的电极通道进行连边处理，以构建电极通道图结构关系；
[0025]基于所述电极通道图结构关系，对各个所述电极通道的相关性进行建模，得到所述图表示特征。
[0026]可选地，所述图表示特征通过如下方式提取：
[0027]对各个获取所述脑电信号的电极通道进行相似度计算，将相似度符合预设相似度的电极通道进行连边处理，以构建电极通道图结构关系；
[0028]基于所述电极通道图结构关系，对各个所述电极通道的相关性进行建模，得到所述图表示特征。
[0029]可选地，所述将所述第一注意力特征和所述第二注意力特征进行跨模态融合处理，得到跨模态融合特征之后，所述方法还包括：
[0030]将所述跨模态融合特征输入情绪识别分类器，得到情绪识别结果。
[0031]一种基于注意力机制的脑电信号特征提取装置，包括：
[0032]获取模块，用于获取脑电信号；
[0033]提取模块，用于分别从所述脑电信号中提取时频和空间两个模态的特征，得到时频表示特征和图表示特征；
[0034]加权模块，用于基于自注意力网络，分别对所述时频表示特征和所述图表示特征进行注意力加权处理，得到第一注意力特征和第二注意力特征；
[0035]融合模块，用于跨模态融合特征。
[0036]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于注意力机制的脑电信号特征提取方法。
[0037]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于注意力机制的脑电信号特征提取方法。
[0038]上述基于注意力机制的脑电信号特征提取方法、装置、计算机设备及存储介质所实现的方案中，先是分别从所述脑电信号中提取时频和空间两个模态的特征，得到时频表示特征和图表示特征；基于自注意力网络，分别对所述时频表示特征和所述图表示特征进
行注意力加权处理，得到第一注意力特征和第二注意力特征，最后再对这两个输出特征进行跨模态特征融合，与传统方案直接对模态特征进行拼接的方式相比，提出的方案不仅能利用自注意力加权方式，在每个模态上关注与情绪变化最相关的特征，还能够利用一个模态的信息对另一个模态的特征向量进行跨模态融合，能够对多个模态的信息进行深度融合，提取更深层次的模态交互信息，同时覆盖更多的互补信息，有效地提高了特征的表达能力。
附图说明
[0039]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本申请一实施例中脑电信号特征提取方法的一应用环境示意图；
[0041]图2是本申请一实施例中脑电信号特征提取方法的一流程示意图；
[0042]图3是图2中步骤S40的一具体实施方式流程示意图；
[0043]图4是本申请一实施例中脑电信号特征提取方法的另一流程示意图；
[0044]图5是本申请一实施例中获取时频表示特征的一流程示意图；
[0045]图6是本申请一实施例中获取图表示特征的一流程示意图；
[0046]图7是本申请一实施例中获取图表示特征的另一流程示意图；
[0047]图8是本申请一实施例中脑电信号特征提取装置的一结构示意图；
[0048]图9是本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的脑电信号特征提取方法，其特征在于，包括：获取脑电信号；分别从所述脑电信号中提取时频和空间两个模态的特征，得到时频表示特征和图表示特征；基于自注意力网络，分别对所述时频表示特征和所述图表示特征进行注意力加权处理，得到第一注意力特征和第二注意力特征；将所述第一注意力特征和所述第二注意力特征进行跨模态融合处理，得到跨模态融合特征。2.如权利要求1所述的脑电信号特征提取方法，其特征在于，所述将所述第一注意力特征和所述第二注意力特征进行跨模态融合处理，得到跨模态融合特征，包括：获取所述加权处理过程中，所述时频表示特征对应的第一查询矩阵、第一索引矩阵和第一内容矩阵，并获取所述加权处理过程中，所述图表示特征对应的第二查询矩阵、第二索引矩阵和第二内容矩阵；基于所述第一查询矩阵、第二索引矩阵和第二内容矩阵，对所述第一注意力特征进行注意力加权处理，得到第一目标注意力特征，并基于所述第二查询矩阵、第一索引矩阵和第一内容矩阵，对所述第二注意力特征进行注意力加权处理，得到第二目标注意力特征；对所述第一目标注意力特征和所述第二目标注意力特征进行拼接，得到跨模态融合特征。3.如权利要求1所述的脑电信号特征提取方法，其特征在于，所述时频表示特征通过如下方式提取：采用滑动窗法对所述脑电信号切分成多个时间片段信号；提取每个时间片段信号内不同频段的功率谱密度；按照频段大小，将每个时间片段信号内不同频段的功率谱密度依次进行拼接，得到每个时间片段信号对应的功率谱密度；将所有时间片段信号对应的功率谱密度进行拼接，得到目标功率谱密度；将不同电极通道的脑电信号对应的所述目标功率谱密度进行拼接，得到时频表示特征。4.如权利要求3所述的脑电信号特征提取方法，其特征在于，所述提取每个时间片段信号内不同频段的功率谱密度，包括：在每个所述时间片段信号执行短时傅里叶变化，以提取每个时间片段信号内...

【专利技术属性】
技术研发人员：张旭龙，王健宗，程宁，朱可欣，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：