一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法，其系统包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块。其中所述的视觉刺激器包括基于LCD的视觉刺激器和基于LED的视觉刺激器，前者以界面显示方式提供给用户，后者由硬件电路实现。其方法是由基于运动想象和基于LCD视觉注意的混合脑机接口模拟计算机鼠标，实现二维光标的运动控制与目标选择，由基于LED视觉注意的脑机接口模拟计算机键盘，实现邮件地址和内容的输入；“鼠标”与“键盘”工作模式由LCD刺激器中的刺激键进行切换。本发明专利技术具有光标运动控制精度高、稳健性好，以及字符输入准确率高等优点。
【技术实现步骤摘要】
本专利技术涉及脑机接口技术和通信技术，更具体地说，本专利技术涉及。
技术介绍
人脑通过神经肌肉通道与外界通信或控制外部环境，而许多疾病可能破坏这些神经肌肉通道。例如，肌肉萎缩性侧索硬化、脑干中风、脊髓损伤、脑瘫、帕金森氏、多种硬化病以及其他许多疾病会损害控制肌肉的神经通道或损害肌肉本身。那些受到这些疾病影响的人可能会失去自主的肌肉控制，因而产生运动功能障碍，以至于不能与外界进行通信或控制外部设备。脑机接口(Brain-Computer Interface, BCI)监测用户的脑活动，解读用户的意图，并将用户的意图转换为外部命令。作为一种新的、非肌肉的通信通道，BCI能够使人直接通过大脑来表达思想或操纵设备，而不需要借助语言或肢体动作。对于严重的运动残疾患者，BCI能够将他们的意图传送到外部装置，比如计算机、家用电器、护理设备以及神经假体等，从而改进他们的生活质量。不同的脑电(Electroencephalography, EEG)信号分量,例如慢皮层电位、Mu/Beta节律、事件相关P300电位、以及视觉诱发电位(Visual Evoked Potential, VEP),都可以用作BCI的特征信号。运动想象是一种重要的BCI实现模式。电生理学研究表明，当一个人执行或想象某个运动时，在其大脑特定区域的Mu/Beta节律信号的功率会下降，称为时件相关去同步(Event-Related Desynchronization, ERD)；当运动执行或运动想象结束时，在其大脑特定的区域的Mu/Beta节律信号的功率会上升，称为事件相关同步(Event-RelatedSynchronization, ERS)。不同肢体的运动执行或运动想象引起不同区域的Mu/Beta节律的功率变化。BCI可根据这种变化对用户不同的想象任务进行判别，从而确定用户的意图，并将这种意图转化为外部设备的控制命令。视觉注意是另一种重要的BCI实现模式。视觉注意会在大脑特定区域产生视觉诱发电位(Visual Evoked Potential, VEP)。VEP反映了大脑的视觉信息处理机制,是人眼对闪光刺激的一种响应。按照重复刺激的频率不同，VEP可分为暂态VEP与稳态VEP。当视觉刺激的重复频率高于6Hz时，连续几次刺激诱发的响应会迭加在一起，使大脑皮层神经元发放与刺激频率同步，在大脑枕部区域脑电活动的节律明显增强，形成一种稳定的响应，称为稳态VEP (Stedy-State VEP, SSVEP)。SSVEP具有与视觉刺激频率相同的基波频率，其基波频率可用特定的信号处理算法进行检测，从而确定用户的意图。通信是人们生活的重要组成部分，电话与电子邮件是两种主要的通信方式。电子邮件通信包括收信和写信两个方面。收信需要用户对二维光标运动进行控制以及对目标进行选择；写信不仅需要用户进行光标控制和目标选择，而且需要用户能够进行字符输入。对于上肢正常的用户，这些操作很容易通过计算机的鼠标和键盘实现。然而，对于上肢残疾的用户，在不使用鼠标和键盘的条件下如何实现光标运动控制、目标选择以及字符输入，从而实现电子邮件通信，是一个亟待解决的重要问题。二维光标运动控制需要两个独立的控制变量分别、独立、同时控制光标在水平和垂直方向上的运动，而且这种二维光标运动必须是连续的，才能将光标从任意一个初始位置移动到任意一个目标位置。基于运动想象和视觉注意的混合BCI，可以同时提供两个独立的控制变量，而且基于运动想象BCI的输出变量是连续或模拟信号，因而确保了二维光标运动的连续性。另外，视觉刺激信号可以由液晶显示器(Liquid Crystal Display, LCD)产生，也可以由发光二极管(Light Emitting Diode, LED)显示器产生。由于受到屏幕刷新率的限制，基于LCD的视觉刺激器只能提供少数几个刺激频率，可用于控制光标在垂直方向的运动；基于LED的视觉刺激器可提供多大几十个刺激频率，可用于字符输入。目前还没有发现在不使用计算机鼠标或键盘的条件下，使用脑电信号实现电子邮件通信的技术。
技术实现思路
本专利技术的目的是提出。本专利技术要解决的技术问题是，电子邮件通信包括收信和写信两个方面。收信要求用户能够对二维光标运动进行控制以及对目标或感兴趣的图标进行选择；写信不仅要求用户能够进行光标控制和目标选择，而且要求用户能够进行字符输入。对于双上肢残疾的用户，在不使用鼠标和键盘的条件下如何实现光标运动控制、目标选择以及字符输入，从而实现电子邮件通信。本专利技术是通过以下技术方案实现的。本专利技术的一个方面在于提供了 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，该系统包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块。其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过软件实现。其中视觉刺激器用于诱发稳态视觉诱发电位(SSVEP)信号，包括基于液晶显示器(Liquid Crystal Display，LCD)和基于发光二极管(Light Emitting Diode, LED)显示器的视觉刺激器。IXD视觉刺激器以界面显示方式提供给用户，而LED视觉刺激器由硬件电路实现；脑电采集平台包括电极帽和脑电采集仪。电极帽用于采集脑电信号，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，提供系统工作界面，并控制LCD视觉刺激器的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，并对感兴趣的目标进行选择；字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置。系统具有“鼠标”和“键盘”两种工作模式，可通过IXD刺激器中的“Mouse/Keyboard”键进行切换。所述的IXD视觉刺激器包含8个刺激键，分布于屏幕四周。其中上边框中左、右各一个“up (向上)”刺激键以IOHz频率闪光,用于控制光标在垂直方向向上运动；下边框中左、右各一个“down (向下)”刺激键以12Hz的频率闪光，用于控制光标在垂直方向向下运动；上、下边框中间各一个“mouse/keyboard (鼠标/键盘)”刺激键以15Hz的频率闪光,用于系统在“鼠标”与“键盘”模式之间进行切换；左、右边框中间各一个“stop (停止)”刺激键以20Hz的频率闪光，用于对感兴趣的目标进行选择。所述的LED视觉刺激器包括32个刺激键，它们以不同的频率闪光，频率范围在6Hz?28Hz之间，频率间隔为0.5Hz，用于字符与数字输入。本专利技术的另一个方面在于提供了一种基于运动想象和视觉注意混合脑机接口的电子邮件通信方法。首先，系统控制单元启动LCD视觉刺激器，控制8个刺激键以设定的频率闪光，其中两个“up”键用于控制光标在垂直方向向上运动，两个“down”用于控制光标在垂直方向向下运动，两个“ Stop”键用于对感兴趣的图标进行选择,两个“mouse/keyboa本文档来自技高网...
【技术保护点】
一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，其特征是包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块，其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过软件实现；视觉刺激器包括LCD视觉刺激器和LED视觉刺激器，用于诱发稳态视觉诱发电位信号，LCD视觉刺激器以界面显示方式提供给用户；脑电采集平台包括电极帽和脑电采集仪，电极帽采集脑电信号，脑电采集仪对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，提供系统工作界面，并控制LCD视觉刺激器的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，并对感兴趣的目标进行选择；字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置；所述的LCD视觉刺激器包含8个刺激键，分布于屏幕四周；其中上边框中左、右各一个“up”刺激键以10Hz频率闪光，用于控制光标在垂直方向向上运动；下边框中左、右各一个“down”刺激键以12Hz的频率闪光，用于控制光标在垂直方向向下运动；上、下边框中间各一个“mouse/keyboard”刺激键以15Hz的频率闪光，用于系统在“鼠标”与“键盘”模式之间进行切换；左、右边框中间各一个“stop”刺激键以20Hz的频率闪光，用于对感兴趣的目标进行选择；所述的LED视觉刺激器包括32个刺激键，它们以不同的频率闪光，频率范围在6Hz～28Hz之间，频率间隔为0.5Hz，用于字符与数字输入。...
【技术特征摘要】
1.一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统，其特征是包括视觉刺激器、脑电采集平台、系统控制单元、数据处理模块、光标控制模块、以及字符输入模块，其中系统控制单元、数据处理模块、光标控制模块、以及字符输入模块在计算机中通过软件实现；视觉刺激器包括LCD视觉刺激器和LED视觉刺激器，用于诱发稳态视觉诱发电位信号，LCD视觉刺激器以界面显示方式提供给用户；脑电采集平台包括电极帽和脑电采集仪，电极帽采集脑电信号，脑电采集仪对采集的脑电信号进行放大、滤波和模数转换，并将数字化的脑电信号通过数据线输入计算机；系统控制单元接收、保存脑电数据，提供系统工作界面，并控制LCD视觉刺激器的刺激键以设定的频率闪光；数据处理模块对运动想象脑电数据和视觉注意脑电数据分别进行实时预处理、特征提取和分类识别；光标控制模块根据分类识别的结果计算光标在水平和垂直方向的位移，控制光标进行连续的二维运动，并对感兴趣的目标进行选择；字符输入模块启动LED视觉刺激器，根据数据处理模块分类识别的结果确定输入的字符，并将输入的字符显示在光标所在的位置； 所述的IXD视觉刺激器包含8个刺激键，分布于屏幕四周；其中上边框中左、右各一个“up”刺激键以IOHz频率闪光,用于控制光标在垂直方向向上运动；下边框中左、右各一个“down”刺激键以12Hz的频率闪光，用于控制光标在垂直方向向下运动；上、下边框中间各一个“mouse/keyboard”刺激键以15Hz的频率闪光，用于系统在“鼠标”与“键盘”模式之间进行切换；左、右边框中间各一个“stop”刺激键以20Hz的频率闪光，用于对感兴趣的目标进行选择； 所述的LED视觉刺激器包括32个刺激键，它们以不同的频率闪光，频率范围在6Hz~28Hz之间，频率间隔为0.5Hz，用于字符与数字输入。2.权利 要求1所述的基于运动想象和视觉注意混合脑机接口的电子邮件通信系统的控制方法，其特征是: 1)系统初始化:使用者穿戴电极帽，坐在计算机正前方，...
【专利技术属性】
技术研发人员：魏庆国，卢宗武，邓娟，
申请(专利权)人：南昌大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。