一种基于视听觉脑机接口的意识状态检测方法技术

本发明专利技术公开了一种基于视听觉脑机接口的意识状态检测方法，包括步骤：1)界面设计；2)信号采集；3)检测过程；4)数据处理；5)统计结果与评估。本发明专利技术引入基于视听觉脑机接口来提高其检测存留认知功能和潜在意识的可能。两个数字按键以随机的次序闪烁从而产生视觉相关的ERP电位。在同一时间，两张数字的声音同时出现从而产生听觉相关的ERP电位。而同时出现的视觉和听觉刺激会产生视听觉整合效应，比单视觉和听觉的脑机接口相比，能提高系统的准确率以及增加ERP响应波形，从而提高系统的有效性和准确性，达到服务于意识状态检测临床和科研的目的。

【技术实现步骤摘要】

本专利技术涉及脑机接口与意识障碍检测的
，尤其是指一种基于视听觉脑机 接口的意识状态检测方法。
技术介绍
许多车祸或脑缺氧导致的大脑严重创伤的病人从昏迷状态清醒后往往会进入意 识障碍状态。而根据病人觉知水平的不同，该该类患者可分为多个临床状态，如植物状态 (vegetative state, VS)、最小意识状态（minimally conscious state, MCS)等。一般来 说，不同意识障碍程度的患者需要不同的治疗方案，因此，准确判定患者的意识障碍水平显 得异常重要。 目前，临床上评定患者的意识障碍程度主要依靠量表（例如，Glasgow格拉斯哥昏 迷量表、JFK昏迷恢复量表等）以及临床经验，通过检查眼睛、言语和运动三方面刺激所引 起的反应来进行综合评价。这类方法简单易行，对急性脑损伤后昏迷简捷有效，但对于VS 和MCS患者则显得过于粗糙。有时对病情变化的敏感度不高，不能确切反映临床实际情况， 因此行为判断往往带有一定主观性和不可预测性。 脑机接口（brain computer interface，BCI)是指在人脑和计算机或其它电子设 备之间建立的直接的交流和控制通道，它不依赖于脑的正常生理输出通路（外周神经系统 及肌肉组织），是一种全新的人机接口方式，是近年来脑功能研究的热点课题。脑机接口的 主要目的是残疾人的神经功能辅助与康复。如今，一种新的脑机接口用途是对意识障碍患 者进行意识状态的检测。 目前用于检测意识状态的脑机接口方法全部采用基于单听觉或者单视觉刺激来 实现。单听觉脑机接口和单视觉脑机接口的一个通病就是准确率低。目前从正常人的使用 情况来看，视听觉脑机接口要比单听觉脑机接口和单视觉脑机接口的准确率要好得多。本 专利技术设计的就是采用视听觉脑机接口来进行意识障碍患者的意识检测。 本专利技术使用数字作为刺激语义素材，设计出同时发出视觉和听觉刺激的视听觉脑 机接口，受试者受视听觉刺激的影响后能产生视听觉整合效应，产生两个或多个不同的脑 信号，从而提高脑机接口的性能，例如，分类准确率，从而达到服务于意识状态检测临床和 科研的目的。 本专利技术的难点在于设计视听觉脑机接口，视听觉刺激为同方位同时出现的语义匹 配的视觉和听觉刺激，如果不同方位或者不同时间或者视觉和听觉刺激含义不一致，就难 以产生视听觉效应，达不到预期的检测效果。
技术实现思路
本专利技术针对现有临床诊断采用量表以及临床经验检测对病情变化的敏感度不高、 主观性太强以及单视觉或单听觉脑机接口检测准确率太低的缺陷，提供一种基于视听觉脑 机接口的意识状态检测方法。采用同步语义匹配的视听觉刺激后，比临床量表和经验检测 更准确，同时比功能性磁共振成像（functional magnetic resonance imaging，fMRI)的方 法更便宜、便捷、方便。 为实现上述目的，本专利技术所提供的技术方案为：一种基于视听觉脑机接口的意识 状态检测方法，包括以下步骤： 1)界面设计 选用个位数字作为刺激语义素材，界面呈现时电脑从〇-9中随机抽取了 2个作为 刺激，并随机地放置在图形用户界面的左边和右边，两个喇叭放置在显示器的两侧，每次刺 激出现时，视觉刺激是数字按键的闪烁，即屏幕上的数字按键的底色从黑色变成绿色，而按 键上数字从白色变成黑色，听觉刺激是闪烁的数字的女声录音，听觉刺激与视觉刺激同时 同一侧出现； 2)信号采集 在信号采集过程中，受试者戴上脑电采集帽，就坐于刺激端显示器前，显示器高度 调至平视水平，所有通道的脑电信号均以右耳突为参照，其中"HE0G"与"VE0G"两个通道代 表眼球运动，故在这里被排除在外，实验采用所有的32个通道的脑电信号，脑电采集过程 中，所有电极的阻抗值皆为5kQ以下，脑电信号以250Hz的频率采样，并在0. 1至30Hz的 范围内进行带通滤波； 3)检测过程 每一个受试者需要做至少2次测试，每次测试需要完成至少5个选择任务，第一次 测试的数据用于训练模型，而后面的测试将用于得到最终的检测结果； 每一个选择任务的过程如下： ①指导语播放，在开始的时候，系统在屏幕上方出现实验任务的指导语，并在两侧 喇叭中播放，同时两个数字，分别随机地展示在图形用户界面的左边和右边； ②刺激呈现，指导语播完后，两张数字按键进行随机的闪烁，每个数字按键闪烁5 次后下一个按键闪烁5次，每一次选择任务中每个按键闪烁十次，而轮流的次序随机，每次 闪烁的时间至少为100晕秒，两次闪烁的间隔为700-1500 _秒； ③闪烁完成后，系统把数据实时处理后，把结果呈现在屏幕中央，持续至少2秒， 如果正确，则出现一个" V "，并出现选择的数字，同时喇叭中播放鼓掌声，如果错误，则出现 " X "，并出现选择的数字，喇叭不播放声音； ④结果呈现后，受试者休息； 4)数据处理 刺激呈现完成后，放大器把数据实时输送到电脑中，系统中的算法立即对实时数 据进行处理，处理算法如下： 首先，脑电信号在0. 1-20HZ频率范围内进行带通滤波，并进行1/5下采样；把每个 通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从〇到500毫秒时 间内以向量的形式表示；如果受试者注视某一个数字，则该向量会包含一个ERP的波形；然 后，连接32个通道的向量，并通过平均所有10次闪烁的数据，从而构造对应每个数字按键 的特征向量；把这些特征向量输入到使用训练数据生成的SVM分类器中，得到分别对应2个 数字的2个分数；最大的SVM分数所对应的数字按键就是受试者所选择的按键； 5)统计结果与评估 对测试结果进行统计，并通过准确率和ERP波形来评估被试的意识状态； 准确率评估标准：准确率是由正确的任务数目除以全部任务的数目而得来，为了 衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进 行卡方检测： 其中，foJP fe 别是第i (i = 1，2, . . .，k)个分类的观察次数和理论次数；在这 里，观察项目分为两类，f〇JP f〇 2分别是命中和不命中的观察次数，fe JP fe 2分别是命中和 不命中的理论次数，以及分类项数k是自由度，即k = 1 ;当使用两类BCI进行所有判定时， 在完全概率相等的情况下应该是命中和不命中的次数都应该是相等的，为了表明观察次数 的显著性，即概率P < 0. 05,自由度为1时，检验统计量X2需要大于3. 84 ; 将所有任务的脑电信号，在0. 1-20HZ频率范围内进行带通滤波，然后把每个通道 采集的信号分割成0-500毫秒时间对应的数据单元，把所有重复次数和任务次数的数据平 均后，按照目标和非目标区分，可以分别画出它们所对应的响应波形，通过潜伏期、波幅这 些指标，判断受试者是否产生了 ERP波形，最后结合命中率来判断受试者是否存在意识，若 受试者产生了 ERP波形，且命中率合格，则判断受试者存在意识，若受试者没有产生ERP波 形，且命中率不合格，则判断受试者不存在意识，若受试者没有产生ERP波形但命中率合格 或者命中率不合格但产生ERP波形，则受试者有待观察。 本专利技术与现有技术相比，具有如下优点与有益效果： 1、本专利技术引入基于视听觉脑机接口来提高其检测存留认知功能和潜在意本文档来自技高网...

【技术保护点】
一种基于视听觉脑机接口的意识状态检测方法，其特征在于，包括以下步骤：1)界面设计选用个位数字作为刺激语义素材，界面呈现时电脑从0‑9中随机抽取了2个作为刺激，并随机地放置在图形用户界面的左边和右边，两个喇叭放置在显示器的两侧，每次刺激出现时，视觉刺激是数字按键的闪烁，即屏幕上的数字按键的底色从黑色变成绿色，而按键上数字从白色变成黑色，听觉刺激是闪烁的数字的女声录音，听觉刺激与视觉刺激同时同一侧出现；2)信号采集在信号采集过程中，受试者戴上脑电采集帽，就坐于刺激端显示器前，显示器高度调至平视水平，所有通道的脑电信号均以右耳突为参照，其中“HEOG”与“VEOG”两个通道代表眼球运动，故在这里被排除在外，实验采用所有的32个通道的脑电信号，脑电采集过程中，所有电极的阻抗值皆为5kΩ以下，脑电信号以250Hz的频率采样，并在0.1至30Hz的范围内进行带通滤波；3)检测过程每一个受试者需要做至少2次测试，每次测试需要完成至少5个选择任务，第一次测试的数据用于训练模型，而后面的测试将用于得到最终的检测结果；每一个选择任务的过程如下：①指导语播放，在开始的时候，系统在屏幕上方出现实验任务的指导语，并在两侧喇叭中播放，同时两个数字，分别随机地展示在图形用户界面的左边和右边；②刺激呈现，指导语播完后，两张数字按键进行随机的闪烁，每个数字按键闪烁5次后下一个按键闪烁5次，每一次选择任务中每个按键闪烁十次，而轮流的次序随机，每次闪烁的时间至少为100毫秒，两次闪烁的间隔为700‑1500毫秒；③闪烁完成后，系统把数据实时处理后，把结果呈现在屏幕中央，持续至少2秒，如果正确，则出现一个“√”，并出现选择的数字，同时喇叭中播放鼓掌声，如果错误，则出现“×”，并出现选择的数字，喇叭不播放声音；④结果呈现后，受试者休息；4)数据处理刺激呈现完成后，放大器把数据实时输送到电脑中，系统中的算法立即对实时数据进行处理，处理算法如下：首先，脑电信号在0.1‑20Hz频率范围内进行带通滤波，并进行1/5下采样；把每个通道采集的信号分割成数据单元，每个数据单元都是从一组按钮闪烁后从0到500毫秒时间内以向量的形式表示；如果受试者注视某一个数字，则该向量会包含一个ERP的波形；然后，连接32个通道的向量，并通过平均所有10次闪烁的数据，从而构造对应每个数字按键的特征向量；把这些特征向量输入到使用训练数据生成的SVM分类器中，得到分别对应2个数字的2个分数；最大的SVM分数所对应的数字按键就是受试者所选择的按键；5)统计结果与评估对测试结果进行统计，并通过准确率和ERP波形来评估被试的意识状态；准确率评估标准：准确率是由正确的任务数目除以全部任务的数目而得来，为了衡量准确率是否显著，通过统计命中与不命中的观察次数和理论次数，并根据下列公式进行卡方检测：χ2=Σi=1k(foi-fei)2fei]]>其中，foi和fei分别是第i个分类的观察次数和理论次数，i＝1,2,...,k；在这里，观察项目分为两类，fo1和fo2分别是命中和不命中的观察次数，fe1和fe2分别是命中和不命中的理论次数，以及分类项数k是自由度,即k＝1；当使用两类BCI进行所有判定时，在完全概率相等的情况下应该是命中和不命中的次数都应该是相等的，为了表明观察次数的显著性，即概率p≤0.05，自由度为1时，检验统计量X2需要大于3.84；将所有任务的脑电信号，在0.1‑20Hz频率范围内进行带通滤波，然后把每个通道采集的信号分割成0‑500毫秒时间对应的数据单元，把所有重复次数和任务次数的数据平均后，按照目标和非目标区分，可以分别画出它们所对应的响应波形，通过潜伏期、波幅这些指标，判断受试者是否产生了ERP波形，最后结合命中率来判断受试者是否存在意识，若受试者产生了ERP波形，且命中率合格，则判断受试者存在意识，若受试者没有产生ERP波形，且命中率不合格，则判断受试者不存在意识，若受试者没有产生ERP波形但命中率合格或者命中率不合格但产生ERP波形，则受试者有待观察。...

【技术特征摘要】

【专利技术属性】
技术研发人员：李远清，王斐，潘家辉，张瑞，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44