一种基于脑机接口技术的人机交互眼镜制造技术

本发明专利技术公开了一种基于脑机接口技术的人机交互眼镜。该人机交互眼镜包括交互眼镜主体，脑电信号分析模块，受控模块。其中，交互眼镜主体，包含刺激模块与脑电信号采集模块。本发明专利技术通过刺激模块提供不同频率的刺激，利用脑电信号分析模块来分析脑电信号采集模块收集的多通路脑电信号中的特征信息，进行注视点相对于刺激坐标系的二维坐标信息的定位，并将其转换为控制指令传输至相应的受控端执行，以视觉形式反馈信息给用户。本发明专利技术将刺激模块转换至可穿戴设备上，提升了SSVEP

【技术实现步骤摘要】
一种基于脑机接口技术的人机交互眼镜


[0001]本专利技术涉及一种基于脑机接口技术的人机交互眼，属于脑机接口


技术介绍

[0002]脑机接口作为新型的人机交互模式，通过检测枕叶视觉区的脑电信号来将大脑的思维活动与意图解码为控制指令来与周围的环境中的设备进行交互。它无需外周神经系统控制相关肌肉群的运动，只通过建立人脑与外部设备的之间的直接通路，即可将人的意图传递给外接设备。常用的脑电控制信号包括P300，运动想象(motorimagery)、稳态视觉诱发(Steady
‑
State VisualEvokedPotential,SSVEP)等。而其中，SSVEP作为由周期性视觉刺激诱发的稳态响应信号，相比其他类型的脑电信号，SSVEP信号拥有高信噪比，高信息传输率，最大程度上接近人类所习惯的反应时间，可无需训练，使用门槛低等特点，因此基于SSVEP的脑机接口发展也态势高涨，随着SSVEP信号的研究逐渐从理论研究走向真实的日常环境的应用，SSVEP系统的设备对简单便携性，用户良好的使用体验，应用场景丰富性的迫切需求也日益凸显出来。相对于笔记本电脑，智能平板等移动智能终端，交互眼镜具有较强的空间感，多层次的用户体验，在采集与反馈信息的应用过程中拥有更加丰富便携的内容特性与灵活立体的表达方式。
[0003]另外，由于现阶段的基于SSVEP的脑机接口系统研究大多集中在诱发响应最为明显的中低频刺激频段的频率与相位的编码方式，即在脑机接口系统的应用中用户需要直视所提供的在中低频段中闪烁频率与相位不同的视觉刺激，通过采集大脑视觉皮层产生的正弦似波形响应并提取其关于频率与相位特征信息来进行目标分类与识别。而这长时间的直视闪烁刺激的过程，容易造成用户的视觉疲劳和视觉不适，甚至存在着诱发癫痫的一定风险。因此，不同于传统的编码方式，空间编码利用目标与刺激之间的不同的相对空间位置对目标进行编码，通过注视目标而非刺激本身，分析脑电信号中的差异来提取位置信息。这种空间编码的方式，不需要视觉刺激与所注视的目标的一对一映射关系作为媒介，直接根据不同位置与神经响应的差异来识别目标，输出不同指令。

技术实现思路

[0004]技术问题：本专利技术的目的是提供一种基于脑机接口技术的人机交互眼，通过刺激模块提供不同频率的刺激，分析所采集的多通路脑电信号中的特征信息，来进行注视点相对于刺激坐标系的二维坐标信息的定位，并将其转换为控制指令传输至相应的受控端，以视觉形式反馈信息给用户。
[0005]技术方案：本专利技术提出一种基于脑机接口技术的人机交互眼镜。包括：交互眼镜主体、脑电信号分析模块、受控模块；各模块之间的连接方式均可以使用导联线相连，或是WiFi、蓝牙、红外线的无线通信方式进行数据传输；
[0006]所述的交互眼镜主体，包含刺激模块与脑电信号采集模块，其中，刺激模块用于提供眼眶四周不同频率闪烁的刺激，采集脑电信号和接收执行指令后受控模块的反馈；脑电
信号采集模块包括多通道干电极与两个参考电极来采集脑电信号，实现脑电采集设备的便携化与场景普适性；
[0007]所述的脑电信号分析模块包括脑电信号预处理，特征信息提取，坐标识别，输出控制指令；
[0008]所述的受控模块包括PC端及智能移动设备，用于接收脑电分析模块输出的各类指令，并执行相应的操作，给予用户视听觉反馈。
[0009]所述的交互眼镜主体，其镜片部分包含非透视的显示器或透明显示屏显示设备；刺激模块所提供的刺激在交互眼镜主体无镜片显示屏的情况下由镜框四周内嵌的led阵列提供光刺激源，或由镜片上的显示设备提供图形刺激源或模式反转刺激源。
[0010]所述的交互眼镜主体，其刺激形状是矩形或椭圆形；其编码方式是基于频率或相位或二者的组合；波形为正弦波、方波或三角波；刺激的闪烁频率为小于15Hz的低频段、15～30Hz中频段或大于30Hz高频段的不同的刺激频率进行灵活组合。
[0011]所述的脑电信号采集模块的通道选择有多种组合，为包含大脑皮层全区域的三十二个通道，或选择大脑枕区的八通道，甚至更精简的通道数量。
[0012]所述的脑电信号分析模块中的脑电信号预处理包含去基线漂移、陷通滤波、带通滤波、盲源信号分离ICA(IndependentComponentCorrelationAlgorithm，)、数据下采样；所述的带通滤波的中心频率分别与刺激模块的闪烁频率和其刺激的谐波频率相对应。
[0013]所述的脑电信号分析模块，其特征信息提取提取出不同频率分量的分量幅度、相位、相关系数及其两两之间的比值作为特征信息，利用插值法或拟合法计算出注视点相对于刺激坐标系下的二维坐标信息。
[0014]所述脑电信号采集模块、脑电信号分析模、受控模块全部集成设置于交互眼镜主体上，或将脑电信号分析模块、受控模块作为交互眼镜系统的外部设备；各模块之间的信号传输是有线或无线。
[0015]在机械结构上，交互眼镜主体的一侧上设置无线脑电信号处理器，在交互眼镜主体1的后侧设置多通道非侵入式电极，在交互眼镜主体1的前侧设置镜片，在镜片的四周设置眼镜框内嵌的LED阵列；脑电信号分析模块，受控模块位于无线脑电信号处理器中。
[0016]所述交互眼镜主体、脑电信号分析模块、受控模块的脑电信号处理过程为：
[0017]交互眼镜主体镜框的刺激以不同频率闪烁，用户眼睛在注视不同位置时，脑电信号分析模块通过信号预处理及分析稳态视觉诱发电位SSVEP(Steady
‑
StateVisualEvokedPotentials)信号中不同频率分量的特征信息，采用插值法或拟合法找到特征信息与注视点的二维坐标位置的映射关系，利用该映射关系来定位注视点的相对刺激源坐标系，并且将其转化为控制指令发送给受控模块。
[0018]所述的刺激模块可提供的刺激源可以是眼镜框上下左右边缘内嵌的光刺激源，也可以是显示在眼镜镜片屏幕上的图形刺激源或模式反转刺激源。作为本专利技术的改进，眼镜镜片上内嵌的显示设备可以为非透视屏幕来增加用户沉浸感，也可以为透视屏幕，不影响用户正常视野，使用户可以直接观察周围环境信息，更加符合日常应用需求。
[0019]有益效果：本专利技术可将闪烁刺激，信号采集，脑电信号分析集成在一端，并通过控制模块对受控端进行控制，刺激不再使用大屏幕来提供，而是将刺激模块移植至眼镜框处，可将刺激放置在眼镜框上下左右边缘，也可以放置在眼镜镜片上的显示设备上，将刺激模
块转换至可穿戴设备上，提升了SSVEP
‑
BCI系统的简单，方便与便携性，扩展了脑机接口设备在复杂的动态场景中的应用模式。
[0020]并且本专利技术采用空间编码的方式，使用有限的刺激频率的数量进行注视点相对于刺激坐标系的连续坐标信息的定位。用户无需直视刺激，只需注视通过眼镜观察到的区域中的一点，就可以实时操纵眼镜注视的地方，减少了用户活动的限制，缓解了用户视觉上的不舒适感，更加贴合用户日常生活中的人机交互习惯。
附图说明
...

【技术保护点】

【技术特征摘要】
1.一种基于脑机接口技术的人机交互眼镜，其特征在于，包括：交互眼镜主体(1)、脑电信号分析模块(2)、受控模块(3)；各模块之间的连接方式均可以使用导联线相连，或是WiFi、蓝牙、红外线的无线通信方式进行数据传输；所述的交互眼镜主体(1)，包含刺激模块(1.1)与脑电信号采集模块(1.2)，其中，刺激模块(1.1)用于提供眼眶四周不同频率闪烁的刺激，采集脑电信号和接收执行指令后受控模块的反馈；脑电信号采集模块(1.2)包括多通道干电极与两个参考电极来采集脑电信号，实现脑电采集设备的便携化与场景普适性；所述的脑电信号分析模块(2)包括脑电信号预处理(2.1)，特征信息提取(2.2)，坐标识别(2.3)，输出控制指令(2.4)；所述的受控模块(3)包括PC端及智能移动设备，用于接收脑电分析模块输出的各类指令，并执行相应的操作，给予用户视听觉反馈。2.根据权利要求1所述的基于脑机接口技术的人机交互眼镜，其特征在于，所述的交互眼镜主体(1)，其镜片部分包含非透视的显示器或透明显示屏显示设备；刺激模块(1.1)所提供的刺激在交互眼镜主体(1)无镜片显示屏的情况下由镜框四周内嵌的led阵列提供光刺激源，或由镜片上的显示设备提供图形刺激源或模式反转刺激源。3.根据权利要求1所述的基于脑机接口技术的人机交互眼镜，其特征在于，所述的交互眼镜主体(1)，其刺激形状是矩形或椭圆形；其编码方式是基于频率或相位或二者的组合；波形为正弦波、方波或三角波；刺激的闪烁频率为小于15Hz的低频段、15～30Hz中频段或大于30Hz高频段的不同的刺激频率进行灵活组合。4.根据权利要求1所述的基于脑机接口技术的人机交互眼镜，其特征在于，所述的脑电信号采集模块(1.2)的通道选择有多种组合，为包含大脑皮层全区域的三十二个通道，或选择大脑枕区的八通道，甚至更精简的通道数量。5.根据权利要求1所述的基于脑机接口技术的人机交互...

【专利技术属性】
技术研发人员：仲雪飞，葛勇，李昱昂，张雄，樊兆雯，
申请(专利权)人：东南大学，
类型：发明
国别省市：