【技术实现步骤摘要】
本专利技术涉及运动想象脑电信号识别方法，特别涉及一种基于时空图多维信息融合的脑电域泛化解码方法、设备及存储介质。
技术介绍
1、作为脑科学的一个重要研究分支，脑机接口(brain computer interface,bci)技术是一种交叉技术，涉及脑科学、神经科学、信号处理等多种学科。脑机接口技术不依赖于由外周神经和肌肉组成的输出通路，而是直接实现人脑与外部设备之间进行信息交流，甚至实现人脑对周围环境的控制。
2、根据脑电信号的采集生成原理不同，bci系统可以分为基于视觉诱发电位的bci系统、基于慢皮层电位的bci系统、基于运动想象(motor imagery,mi)的bci系统和混合bci系统等等。其中基于运动想象的bci系统由于其无需呈现刺激信号、可由使用者自主控制、信号类型多样等优点，被认为是最具有发展和应用前景的脑机接口技术之一。
3、运动想象脑电特征提取的方法，大致可以分为时域、频域、时频域和空域这几个方面。时频方法能够将时域和频域的信息结合在一起，充分挖掘脑电信号的内部信息，而空域可以和时域和频域方法结合，以提高分类精度。时域特征主要包括均值、方差、偏度、峰度、去趋势波动分析(detrended fluctuaion analysis,dfa)、hjorth参数、分形维数等。
4、由于不同被试者之间的运动想象脑电信号存在较大差异，同时在脑电信号采集过程中外部环境干扰具有一定的不规律性，单一的数学计算分析方法或者传统机器学习方法很难适应复杂多变的脑电信号，无法从中提取出具有高分辨度
5、然而，深度学习模型想要获得较好的分类性能往往离不开大量训练数据的支持，而脑电数据由于其采集周期长、难度高，很多时候无法满足深度学习模型训练所需求的训练数据量。针对这一问题，迁移学习方法被引入至脑电信号解码中。hong等人基于生成对抗思想，提出了一种对抗联合域自适应的方法，学习源域和目标域之间共有的特征，该方法在4分类运动想象任务中达到81.52％的识别正确率。该团队还将注意力机制与迁移学习融合在一起，通过多注意力层捕捉大脑中与任务相关的区域，进一步提高了脑电解码精度。xia等人提出了一种隐私安全的运动想象脑电信号领域自适应分类方法，即只利用源域数据的模型参数而不使用源域脑电数据来进行迁移，该方法在二分类运动想象任务中达到了74.62％的识别精度。
技术实现思路
1、本专利技术针对现有技术的不足，提供了一种基于时空图多维信息融合的脑电域泛化解码方法、设备及存储介质。
2、本专利技术的第一方面，提供了时空图多维信息融合的脑电域泛化解码方法，方法包括以下步骤：
3、步骤1、对采集到的运动想象脑电信号进行预处理；
4、步骤2、将预处理后的脑电信号输入时空特征提取分支进行特征提取；将预处理后的脑电信号转变成图数据结构，输入动态图卷积神经网络进行图特征提取；
5、步骤3、基于编码器和软注意力机制，将所提取的时空特征和图特征进行融合；
6、步骤4、将融合后的特征送入全局域判别器、局部域判别器和分类器，基于梯度反转层，两种域判别器与特征提取模块构成对抗关系，对域级别和类级别的特征进行对齐，从而提取不同源域的共同特征，分类器对经过对齐的特征进行类别分类；
7、步骤5、模型训练收敛后，将目标被试的数据送入经过对抗训练得到的模型，进行特征提取与分类，得到最终的分类识别结果。
8、本专利技术的第二方面，提供了一种时空图多维信息融合的脑电域泛化解码设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述时空图多维信息融合的脑电域泛化解码方法
9、本专利技术的第三方面，提供了一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述时空图多维信息融合的脑电域泛化解码方法。
10、本专利技术有益效果如下：
11、现有的运动想象脑电信号分类方法中，普遍只关注单独脑电通道空间和时间维度特征的提取，没有充分挖掘不同通道之间的功能连接在被试者不同运动想象状态下的变化关系，这导致提取出的运动想象脑电特征的类别区分度不高，影响分类器的分类精度；同时，现有的技术都是基于领域自适应进行模型算法的开发，这就需要预先掌握目标被试者脑电信号的数据分布，而在实际医疗中，医生对于目标被试者脑电数据的掌握往往十分有限，这就极大地限制了领域自适应方法的适用性。
12、考虑到上述存在的问题，本专利技术首先在时空卷积神经网络的基础上进一步引入了动态图卷积神经网络，两个神经网络作为特征提取器的两个分支，充分提取脑电信号中与运动想象有关的信息，以此来增加不同类别运动想象脑电特征之间的区分度，提高最终的分类性能；同时本专利技术采用对抗领域泛化替代以往的对抗领域自适应，利用全局域判别器和局部域判别器与特征提取器构成对抗训练关系，实现边缘和条件分布的联合分布对齐，达到更好的脑电数据分布对齐效果，使模型具备从不同被试者的运动想象脑电数据样本中提取出共性特征的能力，进一步提高模型的泛化性能，从而能在目标被试者脑电数据未知的情况下也能达到较好的分类识别效果。
本文档来自技高网...【技术保护点】
1.时空图多维信息融合的脑电域泛化解码方法，其特征在于该方法包括以下步骤：
2.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤1具体是：采用4阶巴特沃斯带通滤波器，对脑电信号进行8～32Hz的带通滤波。
3.根据权利要求2所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤2具体是：
4.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤3中所述的编码器用于对提取出的高维度特征进行降维，降低特征融合操作的复杂度；软注意力机制分别根据时空特征和图特征与不同运动想象任务的关联度强弱生成权重ω1和ω2；
5.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤4中所述的全局域判别器用于辨别输入的特征样本所属的源域，其与特征提取器之间的对抗训练能够让特征提取器提取出的特征不易于分辨其源域归属，从而实现多源域数据的边缘分布对齐。
6.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤4中所述的局部域判别器用于辨别输入
7.根据权利要求5或6所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：引入特征差异化损失以增大不同类别特征之间的距离，同时缩小同类特征之间的距离，该损失表示为：
8.一种时空图多维信息融合的脑电域泛化解码设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述权利要求1-7任一所述的一种时空图多维信息融合的脑电域泛化解码方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的一种时空图多维信息融合的脑电域泛化解码方法。
...【技术特征摘要】
1.时空图多维信息融合的脑电域泛化解码方法，其特征在于该方法包括以下步骤：
2.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤1具体是：采用4阶巴特沃斯带通滤波器，对脑电信号进行8～32hz的带通滤波。
3.根据权利要求2所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤2具体是：
4.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤3中所述的编码器用于对提取出的高维度特征进行降维，降低特征融合操作的复杂度；软注意力机制分别根据时空特征和图特征与不同运动想象任务的关联度强弱生成权重ω1和ω2；
5.根据权利要求1所述的时空图多维信息融合的脑电域泛化解码方法，其特征在于：步骤4中所述的全局域判别器用于辨别输入的特征样本所属的源域，其与特征提取器之间的对抗训练能够让特征提取器提取出的特征不易于分辨其源域归属，从而实现多源域数据的边缘分布对齐。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。