一种基于共用刺激编码的高交互自然度脑机接口系统技术方案

本发明专利技术公开了一种基于共用刺激编码的高交互自然度脑机接口系统，包括共用刺激设置模块、基本码元构建模块和时域编/解码模块；所述共用刺激设置模块，用于对用户注视视觉范围内以空分多址的方式设置共用刺激，所述基本码元构建模块，用于依据每个刺激的管控情况包括各个刺激和相对于各个刺激的字符相对位置，构建基本码元；所述时域编/解码模块，用于在每个刺激的基本码元确定后，按照共用刺激呈现的时间顺序对各个可操作对象时域编码，通过对时域编码的解码结果与时空码序列解析出不同时刻的刺激所对应的码元，得到使用者注视的确切字符。本发明专利技术实现了高交互性的面向消费级用户的脑机接口系统。脑机接口系统。脑机接口系统。

【技术实现步骤摘要】
一种基于共用刺激编码的高交互自然度脑机接口系统


[0001]本专利技术涉及脑机接口技术，具体讲，涉及到一种基于视网膜映射的高交互自然度的脑机系统。

技术介绍

[0002]脑
‑
机接口(Brain
‑
Computer Interface，BCI)是一种基于神经科学与工程技术的新型人机交互方式，能够通过实时获取、分析脑信号，在人脑与计算机或其它电子设备之间建立直接的交流和控制通道，将中枢神经系统活动直接转化为信息输出，使用者不再需要通过语言或肢体动作即可表达想法或操纵外界设备。
[0003]脑电信号(electroencephalogram，EEG)是大脑神经细胞的电生理活动在大脑皮层的总体反映，可由头皮电极进行记录，相对于功能性近红外成像(functional near
‑
infrared spectroscopy，fNIRS)、脑磁图(magnetoencephalography，MEG)、侵入式皮层脑电(electrocorticogram，ECoG)等大脑信息获取方法来说，头皮脑电信号同时具有时间分辨率高、信号容易获取、采集成本低廉等优点，因此受到了更为广泛的关注。
[0004]近年来视网膜映射原理在脑机接口的研究中得到了较好应用，视网膜映射原理指出，用户注视视觉刺激的不同空间方位所诱发脑电响应的空间模式不同，体现在脑机系统中，即将物理空间划分为多个子空间，对应不同的指令，刺激用户视野内的不同位置，以诱发瞬态VEP或具有不同空间模式的SSVEP信号。相比于传统的视觉脑机系统，用户不需直视闪烁刺激，视觉负荷低的同时体验更好；同时，这对计算机屏幕的使用也较经济，可以较好的被整合在更自然或复杂的应用背景中，有较好的实用前景。
[0005]基于非对称视觉诱发电位的BCI系统(aVEP
‑
BCI)因其交互自然度高而受到了广泛关注。视网膜映射原理指出，视野中心左右两侧的光学刺激会激活大脑视觉皮层中的不同脑区，aVEP
‑
BCI据此在编码指令的两侧设置闪烁刺激，这些刺激尺寸极小且无需使用者显性注视，这在一定程度上减少了使用者的视觉负荷。此外，左右两侧刺激诱发的脑电信号包含特定的空间特征，该BCI系统通过空码分多址的编码方式对每个指令编码。BCI系统处理采集到的脑电信号，识别脑电不同的空间特征，进而判断出用户注视的目标。总的来看，aVEP
‑
BCI交互自然度高，是一种适合面向消费级的脑机系统，但在进一步脱离实验室环境中，仍有以下问题：
[0006]1、系统性能较低。目前aVEP
‑
BCI的信息传输速率(ITR)较低，较高的识别正确率建立在较长时间的单次刺激基础之上。
[0007]2、刺激数量多，编码效率低。虽然aVEP
‑
BCI的刺激尺寸小，但一个可编码指令对应着多个闪烁刺激编码，一方面这加重了使用者的视觉负担，另一方面，较多的闪烁刺激也会增加设备负担，不利于便携式设备的使用。
[0008]传统视觉脑机接口通常以牺牲脑机交互自然度例如增加刺激的尺寸或是数量等方式提升系统性能，这大大降低了人们使用系统时舒适度和体验感，极大限制了脑机接口技术在日常生活的应用。从交互的自然度与舒适度来讲，传统视觉脑机接口系统存在以下
问题：
[0009]A.从刺激数量：传统视觉脑机接口系统通常使用一个或是多个刺激对应一个系统指令，一方面，这会使得刺激相对于指令的数量较多，从而增加用户的疲劳感。另一方面，多刺激编码单个指令，系统编码的效率也受到限制。
[0010]B.从刺激位置：传统视觉脑机系统的闪烁刺激通常叠加在指令上，并要求用户注意集中的凝视目标，一方面，直视闪烁刺激会加重视觉疲劳，不利于系统的长时间应用。另一方面，这对某些患有神经类疾病的患者并不友好，因为他们往往无法精准控制自己的眼球运动。
[0011]C.从刺激尺寸：传统视觉脑机接口的刺激尺寸相对较大，带给用户的刺激感通常较强增加了用户的视觉负荷。
[0012]基于脑电技术的BCI系统中，利用视觉刺激诱发的范式应用最为广泛，其中以基于稳态视觉诱发电位(Steady
‑
State Visual Evoked Potential，SSVEP)的SSVEP
‑
BCI和基于事件相关电位(event
‑
related potential，ERP)的P300
‑
BCI最为典型。针对现有技术的缺点描述如下：
[0013]一、P300
‑
BCI系统已发展的较为稳定和成熟，P300信号是EEG信号在刺激出现之后300毫秒左右产生的正向偏移。对受试者而言，刺激本身是不常见且无法预测的(例如刺激突然的从无到有)，但又和受试者紧密相连。P300幅值直接取决于刺激的相关程度，并与刺激出现的概率成反比。
[0014](1)经典P300范式通常以6*6的矩阵形式显示在计算机屏幕上，其行和列以随机的顺序重复闪烁，所有的行和列每轮都会显示一次，只有当行或者列包含了受试者选择的字母或者指令的时候，受试者大脑才会产生明显的P300，这一信号可以通过分类器检测到。P300
‑
BCI系统已发展的较为稳定和成熟，可以达到较高的信息传输速率，在技术层面有了坚实的基础，但是仍然存在如下问题，：
[0015](2)编码效率低，基于P300的视觉BCI系统所有指令闪烁一次才能完成一次指令识别，而由于P300信号本身的信号特征弱，幅值低，信号往往需要多次叠加才能获得互异性强的P300信号，因此一个指令的高质量输出往往要经过所有指令的多轮次闪烁才能完成，这使得P300范式难以适用于多指令、复杂的应用场景。
[0016]交互友好度低，P300脑机系统将闪烁刺激叠加在系统指令上，并要求用户长时间集中注意力注视系统指令，一方面，长时间直视闪烁刺激会加重用户的视觉负担，降低交互体验感的同时还会影响到系统的性能。另一方面，刺激叠加在系统指令上，其尺寸与数量均与系统指令一致，当指令数量较多或是较大时影响到交互体验感。
[0017]二、SSVEP
‑
BCI采用稳定周期性重复呈现的视觉刺激(如某种图形以固定频率闪烁、模式翻转等规律重复呈现于屏幕)诱发，根据SSVEP
‑
BCI的频率特性，可以利用不同频率的刺激源来编码不同的操作命令。使用者要做的就是根据自己的意图，注视视野中的某个目标刺激源。BCI系统处理采集到的脑电信号，识别脑电特征，通过频谱分析，判断出用户注视的目标。
[0018]为了使脑机系统交互更加舒适自然，当前SSVEP
‑
BCI的多采用中高频的闪烁刺激诱发。基于SSVEP的BCI已有较成熟的发展，其编码效率高，系统稳定。但如果从实验室进一步推向消费级的实际应用，仍存在以下问题：
[0019](1)中低频信号的交互度低。中低频信号的闪烁刺激强烈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于共用刺激编码的高交互自然度脑机接口系统，其特征在于，该系统包括共用刺激设置模块、基本码元构建模块和时域编/解码模块；其中：所述共用刺激设置模块，用于对用户注视视觉范围内以空分多址的方式设置共用刺激，满足以下设置原则：原则一、每个可操作对象都被一个或多个共用刺激管控，以及，多个共用刺激可管控同一个可操作对象；原则二、被同一个共用刺激管控的可操作对象至少包含刺激大小、刺激距离和刺激呈现方式参数；原则三、管控m(m＝1,
…
,k)个可操作对象的共用刺激管控的可操作对象的总数应当大于等于可操作对象的总数，即：1*n1+2*n2+
…
+m*n
m
≥k原则四、管控m(m＝1,
…
,k)个可操作对象的共用刺激个数为n
m
应小于可操作对象的总数k，即：n1+n2+
…
+n
m
≤k其中，k为系统的可操作对象总数量，n视觉刺激的总数量；所述基本码元构建模块，用于依据每个刺激的管控情况包括各个刺激和相对于各个刺激的字符相对位置，构建基本码元；所述时域编/解码模块，用于在每个刺激的基本码元确定后，按照共用刺激呈现的时间顺序对各个可操作对...

【专利技术属性】
技术研发人员：许敏鹏，高润原，肖晓琳，周晓宇，明东，
申请(专利权)人：天津大学，
类型：发明
国别省市：