增强现实环境下两种视觉刺激编码的脑机控制方法技术

本发明专利技术公开了增强现实环境下两种视觉刺激编码的脑机控制方法

【技术实现步骤摘要】
增强现实环境下两种视觉刺激编码的脑机控制方法


[0001]本专利技术属于脑
‑
机接口
、
增强现实技术应用领域
。

技术介绍

[0002]基于视觉诱发的非侵入式脑机接口
(Brain
‑
ComputerInterface
，
BCI)
通过检测和分析大脑活动产生的
EEG
信号，使用户能够将自己的意图直接传递给机器或外部环境
。
由于高安全性
、
高鲁棒性
、
训练量小
(
甚至无需训练
)、
信息传输率高等优点，在助老助残
、
智能控制和休闲娱乐等领域得到广泛的应用
。
将基于视觉诱发的
BCI
与增强现实
(AugmentedReality
，
AR)
结合能够提供沉浸
、
自然的人机交互方式，因此在
BCI
应用领域逐渐得到重视
。
[0003]但现有的
AR
环境下基于视觉诱发的
BCI
局限于离散的低层级控制
。
仅涉及到外部设备最底层级的控制，即一个视觉刺激源对应的控制指令只能控制系统或外部设备的一个自由度或执行一个固定动作，用户想要完成某项任务
(
如控制机械臂拿起杯子喝水
)
需要进行多个控制步骤，下达多条控制命令
。
这需要用户多次
、
长时间注视视觉刺激源
。
控制过程繁琐
、
实时性差，大量消耗用户时间和视觉注意力，造成用户视觉疲劳
。
[0004]因此，本专利技术提出通过增强现实技术将两种范式的视觉刺激源叠加显示在现实场景视频上，用户在观察现实环境的同时接受视觉刺激
。
并将这两种视觉诱发范式对任务信息进行编码，形成对多种动作控制的复合指令
。
通过对视觉诱发电位的分类，获取所下达的任务，由任务规划算法将该指令进一步分解为外部设备的底层控制命令
。
以脑机协同方式控制外部设备完成任务，减少控制步骤数量
。
本专利技术增强了脑机接口技术的实用性，可应用于助老助残
、
智能控制和休闲娱乐等领域
。

技术实现思路

[0005]为解决
AR
环境下基于视觉诱发的
BCI
局限于离散的低层级控制的问题，本专利技术提出了一种增强现实环境下两种视觉刺激编码的脑机控制方法，通过计算机视觉识别和定位现实场景图像中的各个目标，将各个目标的视觉刺激源叠加显示在现实场景视频上
。
使用两种视觉诱发范式对任务信息进行编码
。
用户观察视觉刺激源闪烁产生视觉诱发电位，采集用户的
EEG
信号并进行信号处理和分类，获取用户下达的任务，通过任务规划算法将用户任务分解为外部设备的底层控制命令，具体
技术实现思路
如下：
[0006](1)
利用传感器识别
、
分析现实环境中各个可控物体的位置
、
大小
、
方向角等信息，按照物体信息将视觉刺激源叠加显示在实时拍摄的现实环境视频上，形成虚实结合的控制界面，界面中呈现多种视觉诱发范式的视觉刺激源，能够诱发出用户的多特征视觉诱发电位
。
[0007](2)
采取复合指令“目标
A+
指令
+
目标
B”方式对所有任务进行统一编码，用户需要从识别出的可控物体中和预设的指令集中选择被控制的物体以及控制指令
。
使用频率调制视觉诱发电位
(frequency
‑
modulatedVisualEvokedPotentials
，
f
‑
VEP)
范式对识别出的可
控物体信息进行编码，该范式的每个视觉刺激源对应一个可控物体；再使用编码调制视觉诱发电位
(code
‑
modulatedVisualEvokedPotentials
，
c
‑
VEP)
范式对预设的指令集进行编码，该范式的每个视觉刺激源对应一个指令
。
用户通过观察控制界面上的视觉刺激源进行多轮选择，第一轮选择被控目标
A
，第二轮选择对目标
A
采取的指令，如果需要可进行第三轮选择，目标
B
即动作的终点
。
这样通过复合指令可实现一系列复杂的动作控制
附图说明
[0008]图1
技术实现思路
实施方式框图
[0009]图2增强现实环境下两种视觉刺激编码的脑机控制方法整体框图
[0010]图3增强现实环境下两种视觉刺激编码的脑机控制方法控制流程图
[0011]图4脑机控制界面示意图
—
目标选择
[0012]图5脑机控制界面示意图
—
指令选择
具体实施方式
[0013]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述
。
所属
的技术人员能够理解，所述实施例是本专利技术的一部分实施例，而不是全部实施例
。
基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围
。
[0014]实施方式如附图1所示，摄像头持续采集现实场景视频并传输给计算机，计算机显示器上显示人机控制界面，脑电仪持续采集
EEG
信号并通过路由器无线传输至计算机
。
计算机对
EEG
信号进行处理和分析，输出底层命令至外部设备或外部环境
。
[0015]增强现实环境下两种视觉刺激编码的脑机控制方法整体框图如附图2所示，整个方法由4个模板构成：
①
增强现实模块：使用摄像头拍摄现实场景视频，并利用目标检测模型输出各个可控物体的边界矩形框；
②
视觉刺激模块：向用户呈现
c
‑
VEP
范式视觉刺激以及
f
‑
VEP
范式视觉刺激，其中
f
‑
VEP
范式视觉刺激块按照边界矩形框的位置和大小叠加在现实场景图像上；
③
信号处理模块：利用脑电采集设备采集
EEG
信号
。
对
EEG
信号进行预处理
、
分类
f
‑
VEP
以解析出用户选择的目标
、
分类<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
本发明提出在增强现实环境下利用两种视觉刺激编码的脑控方法，通过增强现实技术将两种范式的视觉刺激源叠加显示在现实场景视频上，将这两种视觉诱发范式对任务信息进行编码，形成对多种动作控制的复合指令，通过对视觉诱发电位的分类，获取所下达的任务，由任务规划算法将该指令进一步分解为外部设备的底层控制命令，其创新特征包括：采取复合指令“目标
A+
指令
+
目标
B”方式对所...

【专利技术属性】
技术研发人员：郑大路，谢松云，谢辛舟，唐昊，王祥铭，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：