一种基于协同对比正则化平均教师模型的脑电信号分类方法技术

本发明专利技术提供了一种基于协同对比正则化平均教师模型的脑电信号分类方法，包括以下步骤：首先对脑电信号(Electroencephalogram，EEG)进行预处理并利用两阶段EEG数据增广方法生成新的视角下的EEG数据，在时频域生成另一视角下的EEG数据；利用平均教师模型中的学生和教师网络分别学习不同视角EEG数据特征；利用一致性损失鼓励学生、教师网络对不同视角EEG数据预测的一致性，利用协同对比损失鼓励不同视角EEG数据结构的一致性，最后和交叉熵损失加权求和优化网络参数。本发明专利技术提出的两阶段EEG数据增广方法能同时捕获时域及时频域的变化因素，提出的协同对比正则化平均教师模型可以学习不同视角下的数据级信息和不同视角间数据结构的一致性信息，提升了模型的鲁棒性、判别性和泛化性。判别性和泛化性。判别性和泛化性。

A classification method of EEG signals based on Cooperative contrast regularized average teacher model

【技术实现步骤摘要】
一种基于协同对比正则化平均教师模型的脑电信号分类方法


[0001]本专利技术涉及一种基于协同对比正则化平均教师模型的脑电信号识别方法，属于脑电信号识别领域。

技术介绍

[0002]脑机接口(Brain Computer Interface，BCI)，指在人或动物与外部设备之间创建直接连接，实现脑与设备之间的信息交换。目前，BCI系统已经广泛用于帮助中风、脊髓损伤等患者控制外部设备提高其生活质量。脑电信号(Electroencephalogram，EEG)是一种由脑细胞群之间以电离子形式传递信息而产生的生物电现象，是神经元电生理活动在大脑皮层或头皮表面的总体反映。相比于其它类型的脑信号，EEG具有采集方便、时空分辨率高等优点，在BCI系统中具有独特的应用价值。借助于大量的EEG训练数据，深度学习方法极大提升了EEG的识别性能。然而，部分BCI系统范式中的EEG(如运动想象EEG)，除普遍存在的平稳性和信噪比较低的问题，还存在由于数据采集耗时费力而导致获取大量训练数据较为困难的问题。EEG数据增广方法可以缓解上述训练数据不足的问题。EEG蕴含丰富的时间、频域、空间等信息，在多个域(如时域、时频域等)均可进行特征表示，然而现有EEG数据增广方法通常在单一域生成新的增广数据，忽略了EEG数据在多个域的变化因素，增广EEG数据的质量不高，给建立稳健的EEG识别模型带来挑战。此外，目前的深度学习方法大多只考虑不同视角下EEG数据层面的信息，忽略了不同视角之间不变的EEG数据结构层面的信息，难以突破EEG识别模型的性能瓶颈。/>[0003]针对上述问题，本专利技术依托于现有深度学习方法，首先改进脑电数据增广机制，建立了一种新型的两阶段EEG数据增广机制，在多个域上实现EEG数据的增广表示，确保生成的EEG数据能够同时捕获多个域的变化因素，增强现有模型的泛化性能；随后，本专利技术构建了一种多视角EEG数据结构间的协同性约束方式，通过对比正则化来学习EEG数据结构层面的类内相似性与类间差异性信息，同时通过协同约束来鼓励不同视角间的EEG数据结构的一致性，进一步提升模型对EEG数据的分类性能。

技术实现思路

[0004]本专利技术提供了一种基于协同对比正则化平均教师模型的脑电信号识别方法，采用两阶段EEG数据增广方法，生成能够同时捕获多个域的变化因素的EEG数据，在此基础上引入包含学生、教师网络的平均教师网络模型学习不同视角下EEG深度特征，利用一致性损失函数鼓励学生、教师网络模型对不同视角下EEG数据预测的一致性，并利用协同对比损失函数来鼓励不同视角下EEG数据结构的一致性，最后对交叉熵损失函数、一致性损失函数以及协同对比损失函数加权求和构成最终的损失函数来优化网络参数。
[0005]本专利技术为解决上述问题采用以下技术方案：
[0006]一种基于协同对比正则化平均教师模型的脑电信号识别方法，包括以下步骤：
[0007]步骤1：采集EEG数据。
[0008]步骤2：对EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到EEG数据其中表示第n个EEG数据，c，d分别表示EEG数据的电极通道数和时间采样点数，y
n
∈{0，1，2，3}是第n个EEG数据对应的标签。
[0009]步骤3：利用不同数据增广方式进行EEG数据的分割重组，得到增广后的不同视角下EEG数据和其中是两阶段增广方式得到的EEG数据。
[0010]步骤4：以专用的EEG解码网络作为平均教师模型的主干网络，将增广后的EEG数据和交换顺序后的EEG数据分别输入平均教师模型中的学生网络和教师网络。
[0011]步骤5：利用步骤4中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算分类损失。
[0012]步骤6：利用步骤4中学生网络以及教师网络的输出分别经过softmax函数得到各自概率输出，计算两者之间的一致性损失。
[0013]步骤7：利用投影网络对步骤4中输出的不同视角EEG特征进行降维，随后计算各视角降维后特征之间的协同对比损失。
[0014]步骤8：分别对分类损失、一致性损失和协同对比损失加权求和形成最终损失函数，利用反向传播算法优化整个网络。
[0015]优选的，本专利技术提出的EEG数据增广方式包括两个阶段，首先在EEG时域上将线性插值技术引入分割重组方式中，其次将时域EEG增广数据进一步通过短时傅里叶变换转换为其频域表示，在时频域上对EEG信号进行分割重组后，利用逆短时傅里叶变换将其再次转换为时域EEG信号，作为增广EEG数据。
[0016]优选的，所述协同对比正则化平均教师模型将协同对比正则化机制作为核心模块，具体表示为：
[0017][0018]其中，
[0019]其中，和分别表示不同增广方式下EEG数据通过学生(教师)网络学习的特征再经过投影网络以及归一化操作后得到的结果，表示除第i个样本之外的所有样本，P(i)≡{p∈A(i)：y
p
＝y
i
}表示与标签y
p
相同的所有样本的集合，τ表示尺度参数。
[0020]有益效果：
[0021]1、本专利技术引入两阶段EEG数据增广方法，第一阶段在EEG信号的时域上，利用线性插值技术避免了传统分割重组方法为增广EEG数据带来高频噪声的问题，第二阶段在EEG信号的时频域上，将第一阶段得到的增广EEG数据通过分割重组方式进一步进行增广，最终生成的EEG数据能够同时捕获时域及时频域的变化因素，增强了模型的鲁棒性和泛化能力。
[0022]2、目前平均教师模型仅能学习EEG数据层面的信息，本专利技术为平均教师模型引入
协同对比正则化损失，一方面通过对比正则化约束保证EEG数据的归一化嵌入具有更好的类内紧凑性和类间可分离性，从而学习EEG数据结构信息；另一方面，设计协同学习机制能够学习不同视角下EEG数据结构一致性信息，提升了模型的判别性学习能力。
附图说明
[0023]图1是本专利技术中基于协同对比正则化平均教师模型的脑电信号识别方法的网络框架图。
具体实施方式
[0024]请参阅图1所示：
[0025]下面结合实例对本专利技术做更进一步的解释。
[0026]本专利技术主要实施流程如下，相关网络框架见图1。
[0027]步骤1：采集EEG数据。
[0028]步骤2：对EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到EEG数据其中表示第n个EEG数据，c，d分别表示EEG数据的电极通道数和时间采样点数，y
n
∈{0，1，2，3}是第n个EEG数据对应的标签。
[0029]步骤3：根据两种不同的数据增广方式对EEG数据进行分割重组，获得到增广后不同视角下的EEG数据和具体的EEG数据增广方式如下：
[0030]1)对预处理后的EEG数据使用短时傅里叶变换，将其由时域表示转换为时频域表示；采用分割重组方式，首先对时频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协同对比正则化平均教师模型的脑电信号分类方法，其特征在于，步骤如下：步骤1：采集EEG数据；步骤2：对EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到原始EEG数据其中表示第n个EEG数据，c，d分别表示脑电信号的电极通道数和时间采样点数，y
n
∈{0，1，2，3}是第n个EEG数据对应的标签；步骤3：利用不同数据增广方式进行EEG数据的分割重组，得到增广后的不同视角下EEG数据和其中是两阶段增广方式得到的EEG数据；步骤4：以专用的EEG解码网络作为平均教师模型的主干网络，将增广后的EEG数据和交换顺序后的EEG数据分别输入平均教师模型中的学生网络和教师网络；步骤5：利用步骤4中学生网络的输出经过softmax函数得到的概率输出与真实标签一起计算分类损失；步骤6：利用步骤4中学生网络以及教师网络的输出分别经过softmax函数得到各自概率输出，计算两者之间的一致性损失；步骤7：利用投影网络对步骤4中输出的不同视角EEG特征进行降维，随后计算各视角降维后特征之间的协同对比损失；步骤8：分别对分类损失、一致性损失和协同对比损失加权求和形成最终损失函数，利用反向传播算法优化整个网络。2.根据权利要求1所述的一种基于协同对比正则化平均教师模型的脑电信号分类方法，其特征在于，步骤3中，两种增广方式主要包括如下：1)对经过预处理之后的EEG数据使用短时傅里叶变换，将其由时域表示转换为时频域表示；采用分割重组方式，首先对时频域表示的EEG样本划分不重叠的若干个片段，随后根据当前EEG样本的标签，随机选择具有相同标签的其他EEG样本，通过随机组合不同样本相同位置的片段获得增广样本的时频域表示；利用逆短时傅里叶变换将新生成的EEG样本再转换到时域表示，即形成EEG数据对应的增广数据，这里记为2)对预处理后的EEG数据划分不重叠的J个片段，从具有相同标签的EEG样本中随机选择两段进行插值拟合，具体方式如下：其中，表示当前EEG样本，表示随机选取的具有相同标签的EEG样本，R
ij
表示从[1，N]随机选取的任意整数，α是插值拟合系数，本发明取0.999，对于插值拟合后形成的新数据再利用上述1)的方法，即得到两阶段增广数据，这里记为3.根据权利要求1所述的一种基于协同对比正则化平均教师模型的脑电信号分类方法，其特征在于，步骤4中，利用EEG解码网络Shallow ConvNet作为平均教师模...

【专利技术属性】
技术研发人员：杭文龙，李增光，殷明波，梁爽，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：