【技术实现步骤摘要】
本申请涉及医疗保健设备，尤其涉及一种基于脑机与增强现实的自动轮椅控制方法及装置。
技术介绍
1、随着科技水平的提高和智能产品的普及，人们对轮椅的功能和智能化需求也相应增加。脑电信号(electroencephalogram，eeg)是反映人或动物在进行大脑思维活动或进行动作时产生的神经冲动。这种具有生物电特性的神经冲动可通过信号采集设备获取，并将其以波形的方式进行直观的显示。针对丧失行为移动能力的残疾人，选择合适的脑电信号控制模式，并对他们的控制意图进行反复刺激训练，经过脑-机接口系统分析处理后，获取相应的特征信号，并对其转化为相关的运动控制指令，可以实现与外界的沟通联系。
2、对于中风或脑卒中患者或者是手脚残疾、行动不便中老年人而言，基于脑机控制的自动轮椅是这类人群的有效移动工具，然而现有的自动轮椅，脑电指令是“想”具体的数字，此数字已经设定好对应目标点的位置；头戴脑电波感应装置的用户选定目标点后，轮椅开始导航向目标点移动，这种方法在目的地选择上用脑电信号促发对应编号到达对应目标点的方法相对局限，只能从预设的目的地中选择，存在自动轮椅控制灵活性低的技术问题。
技术实现思路
1、本申请实施例提供了一种基于脑机与增强现实的自动轮椅控制方法及装置，用于解决现有的自动轮椅控制灵活性低的技术问题。
2、为解决上述技术问题，本申请第一方面提供了一种基于脑机与增强现实的自动轮椅控制方法，包括：
3、通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电
4、响应于目的地选择指令，获取实时拍摄图像和/或地图图像，并将所述实时拍摄图像和/或地图图像通过所述头戴设备中的ar显示模块进行显示；
5、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置，并根据所述注视位置，确定第一目标点；
6、基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径，以使得所述自动轮椅按照所述移动路径移动至所述第一目标点。
7、优选地，所述当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置具体包括：
8、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，确定眼底图像；
9、通过预设的眼动数据偏移计算式，对所述眼动图像进行预处理；
10、对预处理后的所述眼底图像进行特征提取，得到所述眼底图像的特征向量，对所述特征向量进行序列建模，得到所述眼底图像的预测注视点；
11、根据所述预测注视点，输入预设的eyenet学习模型，以通过eyenet学习模型的损失函数的运算，确定所述用户的注视位置。
12、优选地，所述基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径具体包括：
13、基于所述第一目标点，通过a*路径规划方式，生成所述自动轮椅至所述第一目标点的全局移动路径；
14、基于所述全局移动路径，通过路径规划代价模型，对所述全局移动路径进行障碍物规避优化，以将优化后的移动路径作为所述自动轮椅至所述第一目标点的移动路径。
15、优选地，所述路径规划代价模型具体为：
16、
17、
18、
19、式中，φpath(χ)为路径规划代价系数，φobs(χ)为障碍物代价系数，b(t)代表时间弹性带约束系数，χ表示所述自动轮椅的状态，α和β分别表示障碍物代价函数和控制代价函数的权重，u(t)表示所述自动轮椅在时间t的控制输入，t0和tf分别表示路径的起始时间和终止时间，nobs表示障碍物的数量，di(χ)表示所述自动轮椅与第i个障碍物之间的距离，ρ(·)表示障碍物代价函数，t表示时间，χ(t)表示所述自动轮椅在时间t时的状态，表示n维欧几里得空间，l(t)和u(t)分别表示时间弹性带在时的下界和上界。
20、优选地，所述通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号具体包括：
21、通过所述头戴设备中的脑电波采集模块，采集所述用户的脑电信号；
22、通过预设的脑电波分类模型，对所述脑电信号进行预处理，再输出预处理后的脑电信号用于监听；
23、其中，所述脑电波分类模型包括：
24、y＝f(wtx+b)
25、
26、式中，w表示csp滤波器的权重向量，b表示偏置项，f(·)表示激活函数，y表示所述脑电波分类模型的输出结果，∑1和∑2分别表示两个类别的协方差矩阵，x表示原始的脑电信号，wtx代表经过所述csp滤波器处理后的空间模式。
27、本申请第二方面提供了一种基于脑机与增强现实的自动轮椅控制装置，包括：
28、脑电信号监听单元，用于通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号；
29、目的地指令响应单元，用于响应于目的地选择指令，获取实时拍摄图像和/或地图图像，并将所述实时拍摄图像和/或地图图像通过所述头戴设备中的ar显示模块进行显示；
30、目的地确定单元，用于当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置，并根据所述注视位置，确定第一目标点；
31、路径规划单元，用于基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径，以使得所述自动轮椅按照所述移动路径移动至所述第一目标点。
32、优选地，所述目的地确定单元具体用于：
33、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，确定眼底图像；
34、通过预设的眼动数据偏移计算式，对所述眼动图像进行预处理；
35、对预处理后的所述眼底图像进行特征提取，得到所述眼底图像的特征向量，对所述特征向量进行序列建模，得到所述眼底图像的预测注视点；
36、根据所述预测注视点，输入预设的eyenet学习模型，以通过eyenet学习模型的损失函数的运算，确定所述用户的注视位置。
37、优选地，所述路径规划单元具体用于：
38、基于所述第一目标点，通过a*路径规划方式，生成所述自动轮椅至所述第一目标点的全局移动路径；
39、基于所述全局移动路径，通过路径规划代价模型，对所述全局移动路径进行障碍物规避优化，以将优化后的移动路径作为所述自动轮椅至所述第一目标点的移动路径。
40、优选地，所述路径规划代价模型具体为：
41、
42、
43、
44、式中，φpath(χ)为路径规划代价系数，φobs(χ)为障碍物代价系数，b(t)代表时间弹性带约束系数，χ表示所述自动轮椅的状态，α和β分别表示障碍物代价函数和控制代价函数的权重，u(t)表示所本文档来自技高网...
【技术保护点】
1.一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述当监听到第一脑电信号时，根据所述AR显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置具体包括：
3.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径具体包括：
4.根据权利要求3所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述路径规划代价模型具体为：
5.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号具体包括：
6.一种基于脑机与增强现实的自动轮椅控制装置，其特征在于，包括：
7.根据权利要求6所述的一种基于脑机与增强现实的自动轮椅控制装置，其特征在于，所述目的地确定单元具体用于：
8.根据权利要求6所述的一种基于脑机与
9.根据权利要求8所述的一种基于脑机与增强现实的自动轮椅控制装置，其特征在于，所述路径规划代价模型具体为：
10.根据权利要求6所述的一种基于脑机与增强现实的自动轮椅控制装置，其特征在于，所述脑电信号监听单元具体用于：
...【技术特征摘要】
1.一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，包括：
2.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置具体包括：
3.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径具体包括：
4.根据权利要求3所述的一种基于脑机与增强现实的自动轮椅控制方法，其特征在于，所述路径规划代价模型具体为：
5.根据权利要求1所述的一种基于脑机与增强现实的自动轮椅控制方法...
【专利技术属性】
技术研发人员：周郭许，容伟力，张晨光，周贵林，梁明杰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。