基于多粒度信息的快速序列视觉呈现脑电图信号分类方法技术

本发明专利技术公开了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，包括：采集被试者在快速序列视觉呈现下的脑电图信号；对采集到的脑电图信号进行预处理；将预处理后的脑电图信号输入预先训练完成的多粒度信息提取网络，得到脑电图信号的分类结果；其中，多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取；多粒度信息提取网络利用样本数据集训练得到，样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。本发明专利技术的多粒度信息提取网络将多粒度信息作为先验知识融入到神经网络设计中，从多个不同粒度级别对脑电图信号进行特征提取，因此能够极大提升快速序列视觉呈现脑电图信号的分类准确率。信号的分类准确率。信号的分类准确率。

【技术实现步骤摘要】
基于多粒度信息的快速序列视觉呈现脑电图信号分类方法


[0001]本专利技术属于信号处理领域，具体涉及一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法。

技术介绍

[0002]脑电图(Electroencephalography,EEG)作为脑
‑
机接口(brain
‑
computer interface，BCI)的一项重要技术，能够在人脑和外部设备之间建立直接连接，以实现信息交换。一些早期基于脑电图的脑机接口应用，如轮椅控制、文本拼写器和假肢等，已经大大改善了残疾患者的生活质量。近年来，基于EEG的BCI技术的应用已经扩展到健康人群。其中，快速连续视觉呈现(Rapid Serial Visual Presentation，RSVP)作为一种潜在的人类增强方法，已受到了研究人员的广泛关注。
[0003]基于RSVP范式的BCI系统主要用于需要专业人员审查大量图像或信息的领域，如安全监控和医疗等领域。通常来说，RSVP范式以5
–
20Hz的频率顺序显示图像，其中非目标图像与目标图像的比率约为10:1，这样有利于被试者产生ERP成分，通过识别被试者的EEG信号中的事件相关电位(event
‑
related potential，ERP)成分，可进行目标图像检测等快速序列视觉呈现分类工作。基于RSVP范式的BCI系统比手动分析能够更快地检测和识别对象和相关信息片段，能够大大提高专业人员的工作效率。
[0004]脑电图信号的分析处理工作是快速序列视觉呈现分类所面临的难题。原因在于：首先，EEG信号的信噪比低，这是由于脑电图信号存在伪迹，且信号采集过程中存在环境噪声干扰所致；其次，EEG信号是非平稳信号，其统计特性在时域不断变化；另外，EEG信号是特异性信号，不同被试者存在较大的生理差异，这导致信号的幅值和统计特性在不同被试者间往往难以泛化。
[0005]传统的脑电图信号分类方法通常采用手工制作的先验特征，如时域的统计特征、频域的频带功率和时频域的离散小波变换等。然而，提取手工特征处理的过程非常耗时，不利于系统的实时部署。
[0006]近年来，随着深度学习技术的发展，利用深度学习进行脑电图信号分类已成为一个热门的研究方向。与依赖专家经验和先验领域知识来提取特征的传统研究不同，基于深度学习的模型从输入的脑电图信号原始数据中自动提取数据的高阶特征，免去了繁琐的特征处理过程，其性能较传统算法有显著提升。然而，由于不依赖于先验知识，现有的深度学习模型往往可解释性较差，影响了分类的准确性。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，以提高快速序列视觉呈现脑电图信号分类的准确率。具体技术方案如下：
[0008]本专利技术实施例提供了一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，所述方法包括：
[0009]采集被试者在快速序列视觉呈现下的脑电图信号；其中，所述快速序列视觉呈现对应包含有目标图像和非目标图像的图像序列；
[0010]对采集到的脑电图信号进行预处理；
[0011]将预处理后的脑电图信号输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果；其中，所述多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取；所述多粒度信息提取网络利用样本数据集训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。
[0012]在本专利技术的一个实施例中，所述多粒度信息提取网络的结构，包括：
[0013]顺次连接的时间特征提取单元、空间特征提取单元、时空特征残差融合单元和分类单元；
[0014]其中，所述时间特征提取单元包括预设数量个时间特征提取分支，其中一个时间特征提取分支仅包括一个时间卷积模块，用于接收网络输入的脑电图信号；其余时间特征提取分支均包括串联的下采样模块和时间卷积模块，每个时间卷积模块的输入数据是网络输入的脑电图信号，在预设衰减因子不同指数衰减对应的采样率下的下采样结果；所述空间特征提取单元包括与每个时间卷积模块对应连接的空间卷积模块；所述时空特征残差融合单元包括与每个空间卷积模块对应连接的时空卷积模块，以及用于融合各时空卷积模块输出数据的残差融合结构；所述分类单元包括全连接层。
[0015]在本专利技术的一个实施例中，所述时间特征提取单元中的各下采样模块串行连接，每个下采样模块对自身的输入数据进行下采样，将自身的下采样结果作为对应时间卷积模块的输入数据；除最后一个下采样模块外，其余下采样模块自身的下采样结果还作为后一个下采样模块的输入数据；其中，首个下采样模块的输入数据为网络输入的脑电图信号。
[0016]在本专利技术的一个实施例中，所述时间卷积模块和所述空间卷积模块的结构包括：
[0017]卷积单元、批量归一化处理单元、激活函数处理单元和随机丢弃处理单元。
[0018]在本专利技术的一个实施例中，所述样本数据集的获得过程包括：
[0019]对选取的样本被试者进行快速序列视觉呈现实验，在预设实验条件下采集各被试者的脑电图信号；
[0020]对采集到的脑电图信号进行预处理；
[0021]由预处理后的所有脑电图信号构成样本数据集，并按照预设比例将所述样本数据集划分为训练集和测试集。
[0022]在本专利技术的一个实施例中，所述对采集到的脑电图信号进行预处理，包括：
[0023]根据每个脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的每个脑电图信号进行分割，得到多个数据段；其中，所述快速序列视觉呈现对应的图像序列中每一图像的出现对应为一个刺激；
[0024]对每个数据段进行滤波；
[0025]对滤波后的每个数据段进行降采样处理；
[0026]对降采样处理后的每个数据段进行归一化处理。
[0027]在本专利技术的一个实施例中，所述根据每个脑电图信号对应的快速序列视觉呈现中各刺激出现的时间戳，将采集到的每个脑电图信号进行分割，得到多个数据段，包括：
[0028]针对每个脑电图信号，在该脑电图信号中，从对应的快速序列视觉呈现中各刺激
出现的时间戳开始，分别截取预设时长的脑电图信号数据区间，得到该脑电图信号中各刺激对应的数据段。
[0029]在本专利技术的一个实施例中，所述多粒度信息提取网络的训练过程，包括：
[0030]对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练，得到训练完成的多粒度信息提取网络。
[0031]在本专利技术的一个实施例中，所述多粒度信息提取网络的训练过程，包括：
[0032]对已构建的多粒度信息提取网络利用所述训练集，通过梯度下降法进行网络训练；
[0033]对梯度下降法训练完成的网络利用所述测试集进行参数优化，得到训练完成的多粒度信息提取网络。
[0034]在本专利技术的一个实施例中，所述对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，其特征在于，包括：采集被试者在快速序列视觉呈现下的脑电图信号；其中，所述快速序列视觉呈现对应包含有目标图像和非目标图像的图像序列；对采集到的脑电图信号进行预处理；将预处理后的脑电图信号输入预先训练完成的多粒度信息提取网络，得到所述脑电图信号的分类结果；其中，所述多粒度信息提取网络从多个不同粒度级别对脑电图信号进行特征提取；所述多粒度信息提取网络利用样本数据集训练得到，所述样本数据集基于多个样本被试者进行快速序列视觉呈现实验所得到的脑电图信号得到。2.根据权利要求1所述的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，其特征在于，所述多粒度信息提取网络的结构，包括：顺次连接的时间特征提取单元、空间特征提取单元、时空特征残差融合单元和分类单元；其中，所述时间特征提取单元包括预设数量个时间特征提取分支，其中一个时间特征提取分支仅包括一个时间卷积模块，用于接收网络输入的脑电图信号；其余时间特征提取分支均包括串联的下采样模块和时间卷积模块，每个时间卷积模块的输入数据是网络输入的脑电图信号，在预设衰减因子不同指数衰减对应的采样率下的下采样结果；所述空间特征提取单元包括与每个时间卷积模块对应连接的空间卷积模块；所述时空特征残差融合单元包括与每个空间卷积模块对应连接的时空卷积模块，以及用于融合各时空卷积模块输出数据的残差融合结构；所述分类单元包括全连接层。3.根据权利要求2所述的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，其特征在于，所述时间特征提取单元中的各下采样模块串行连接，每个下采样模块对自身的输入数据进行下采样，将自身的下采样结果作为对应时间卷积模块的输入数据；除最后一个下采样模块外，其余下采样模块自身的下采样结果还作为后一个下采样模块的输入数据；其中，首个下采样模块的输入数据为网络输入的脑电图信号。4.根据权利要求2所述的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，其特征在于，所述时间卷积模块和所述空间卷积模块的结构包括：卷积单元、批量归一化处理单元、激活函数处理单元和随机丢弃处理单元。5.根据权利要求2所述的基于多粒度信息的快速序列视觉呈现脑电图信号分类方法，其特征在于，所述样本数据集的获得过程包括：对选取的样本被试者进行快速序列视觉呈现实验，在预设...

【专利技术属性】
技术研发人员：李甫，楚文龙，李鸿鑫，付博勋，蒋之铭，宋卓琛，李阳，陈远方，张利剑，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：