一种基于增强现实和多模态生物信号的轮椅机器人系统技术方案

本发明专利技术公开了一种基于增强现实和多模态生物信号的轮椅机器人系统，包括实时脑电信号理解模块、实时肌电信号理解模块、环境理解模块、用户意图识别模块、机器人控制模块以及增强现实模块，本发明专利技术使用方便，能够有效将增强现实和多模态生物信号结合，从而对辅助轮椅机器人进行精准控制。本发明专利技术将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合，系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题。

A wheelchair robot system based on augmented reality and multimodal biological signals

【技术实现步骤摘要】
一种基于增强现实和多模态生物信号的轮椅机器人系统
本专利技术属于机器人控制
，涉及一种基于增强现实和多模态生物信号的轮椅机器人系统。
技术介绍
对于下肢瘫痪或截肢的残疾人来说，轮椅几乎是必不可少的代步工具之一，轮椅能够代替腿的功能，使得残疾人能够一定程度上自由移动。但传统轮椅通常只存在代步的功能，且使用中需要使用者通过双手直接控制两个驱动轮来控制轮椅的移动和转向，一定程度上造成了不便，也容易发生危险。一种对传统轮椅的改进为电动轮椅，使用者通过控制操作杆，间接操控电机进行移动。这种轮椅使得操纵更加灵活，但是功能比较单一，且需要使用者随时观察周围环境状况。因此，需要一部功能丰富，操纵简单，且足够安全的新型轮椅。在功能方面，由于轮椅主要面向家居环境，家居环境中常见的任务为室内移动、抓放物体、开门关门、以及与家用电器的交互，在当前的轮椅上，这些动作都较难舒适完成。目前基于激光雷达进行室内环境建图、定位的技术已经比较成熟，能够在构建全局地图后，对地图进行人为修改，加载地图后可实时根据激光雷达信号进行实时路径规划、避障。当下机械臂可以在小型化同时做到较高的自由度，从而能够有一定的灵活性。在轮椅上安装小型机械臂，可以辅助完成一定的开关门、抓放物体等操作。在智能家居方面，目前的智能家居环境中，一般存在一个通过wifi连接的智能家居网关，通过其间接控制其他设备。机器人若具有无线网卡，则可与智能家居网关进行交互，进而控制常用智能家居设备，如灯、电视、微波炉等。在人机交互方面，电动轮椅可通过摇杆和按钮控制运动方向。实验室中已经存在通过电脑屏幕呈现视觉刺激，通过脑电控制运动方向的脑控轮椅。也有一些实验室通过增强现实设备结合视觉刺激，采集脑电信号与轮椅进行交互。但是这些已有方案均存在刺激过强，使用不便，容易疲劳的问题。微软公司已经发布了Hololens2代透视头戴显示器，在增强现实眼镜中集成了语音识别、眼动追踪、增强现实显示的功能。目前可购买的Hololens1代没有眼动系统，但具备追踪用户注视点的Gaze系统。通过结合眼动、Gaze系统与无刺激脑电、肌电，可以获得更友好、自然的交互体验。在安全方面，由于没有环境传感器，无论是手动轮椅还是电动轮椅，都依赖用户自己判断环境，一旦用户出现误操作，很容易引发危险和事故。
技术实现思路
本专利技术的目的在于解决现有技术中的问题，提供一种基于增强现实和多模态生物信号的轮椅机器人系统，该系统使用方便，能够有效将增强现实和多模态生物信号结合，从而对辅助轮椅机器人进行精准控制。为达到上述目的，本专利技术采用以下技术方案予以实现：一种基于增强现实和多模态生物信号的轮椅机器人系统，包括：实时脑电信号理解模块，用于实时采集多通道的脑电数据，使用CSP和LDA算法提取脑电信号中的用户意图，从而为用户意图识别模块提供脑电信息；实时肌电信号理解模块，用于实时采集特定肌肉群的肌电信号，使用多种低阶统计量和SVM算法提取肌电信号中的用户意图，从而为用户意图识别模块提供肌电信息；环境理解模块，基于ROS中提供的开源算法及可识别24类环境物体的深度神经网络实现，用于实现机器人系统对于环境地图的构建、对于环境中可操作对象的识别及存储、对于环境中可行驶区域的识别；用户意图识别模块，用于根据脑电、肌电和环境信息实时识别用户真实意图；机器人控制模块，用于根据用户意图及当前机器人状态，控制机器人之上的差速轮和机械臂执行具体任务，同时给出执行状态的反馈；增强现实模块，用于在透视型头戴增强现实设备中实时显示机器人的当前任务执行状态和环境理解的可操作对象，以及用于获取用户选择的目标。本专利技术进一步的改进在于：实时肌电信号理解模块采用8个无线肌电电极，无线肌电电极放置于用户手臂肌肉处，并通过TCP协议实时传输肌电信号至解码器。环境理解模块包括构建环境地图单元、规划可行驶区域单元和识别存储环境中可作用物体单元；构建环境地图单元，用于接收激光雷达的数据，通过ROS中的gmapping算法进行2D环境地图构建；规划可行驶区域单元，用于在完成构建环境地图后，加载环境地图，获取激光雷达数据，使用ROS中的move_base库启动规划节点，向规划节点发送目标点坐标，获得规划的可行驶区域；识别及存储环境中的可作用物体单元，用于接收来自于RGBD相机的数据；RGBD相机传回的数据为彩色图像及对应的深度图像，将获得的彩色图像数据输入训练好的图像分割识别深度网络模型，模型输出识别出的对象类别、对象在图像中的范围；同时将识别结果进行存储以及过滤。存储和过滤由object_server程序完成；Object_server程序接收四元组信息，提供根据对象id获取详细信息的服务；所述四元组信息包括对象、类别、位置和尺寸；维护一个“类别—>对象数组”的映射，对每个类别用一个数组来存储所有的本类对象；对于每个对象，分配一个固定UUID，用于进行对象的唯一标识；新信息到来时，根据类别找到对应的对象数组，遍历对象数组，根据三维坐标及尺寸判断是否是同一物体，若是，则更新为新的信息，若不是则继续判断；同时，在第一个更新之后，若后面仍有其他物体满足同一物体的条件，则认为其重复出现，将其删除出数组；每隔固定时间，会遍历一次所有的对象，若对象没有及时更新，则将其删除。用户意图识别模块中，脑电信号被认为是下达任务，而肌电信号被认为是直接进行控制；收到脑电信号后，若存在可作用的对象，则根据脑电理解执行对应任务；收到肌电信号后，若任务已执行完，则进行直接的向前、向后以及转向操作；在不存在作用对象，或机器人附近存在障碍物，则不会执行脑电的任务结果。差速轮控制单元由ROS中提供的开源驱动实现，一方面驱动根据收到的转角数据，控制底层电机旋转；同时，实时读取电机的实际转角和转速；机械臂控制单元，采用七自由度机械臂，在添加自定义约束后，规划每个轴的旋转顺序和角度；在获得环境信息后，首先根据任务计算一条末端路径，在末端路径上取若干采样点，对于任意两个相邻采样点，分别调用move_it！规划机械臂动作。与现有技术相比，本专利技术具有以下有益效果：本专利技术将电控轮椅与可移动机器人技术、增强现实技术、脑电技术、肌电技术结合，系统性地解决了现有轮椅在家庭环境下功能不够丰富、操作不够简单自然、安全性较低的问题，其具有如下优点：第一：基于ROS的模块化系统，便于进行系统的维护和升级；第二：通过增加激光雷达和RGBD相机作为环境传感器，能够支持自动导航、避障，进行复杂动态环境下的环境理解，以及提高系统的安全性；第三：通过加入小型机械臂，能够具备一定的环境交互功能；第四：通过引入增强现实技术，可以以用户友好的方式呈现信息，方便人机交互；第五：使用了脑电、肌电以及眼动等生物信号作为控制信号，能够更加直接地理解用户意图，提高使用的舒适性；进一步的，基于ROS中已有的成熟move_base和MoveIt！框架，本文档来自技高网...

【技术保护点】
1.一种基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，包括：/n实时脑电信号理解模块，用于实时采集多通道的脑电数据，使用CSP和LDA算法提取脑电信号中的用户意图，从而为用户意图识别模块提供脑电信息；/n实时肌电信号理解模块，用于实时采集特定肌肉群的肌电信号，使用多种低阶统计量和SVM算法提取肌电信号中的用户意图，从而为用户意图识别模块提供肌电信息；/n环境理解模块，基于ROS中提供的开源算法及可识别24类环境物体的深度神经网络实现，用于实现机器人系统对于环境地图的构建、对于环境中可操作对象的识别及存储、对于环境中可行驶区域的识别；/n用户意图识别模块，用于根据脑电、肌电和环境信息实时识别用户真实意图；/n机器人控制模块，用于根据用户意图及当前机器人状态，控制机器人之上的差速轮和机械臂执行具体任务，同时给出执行状态的反馈；/n增强现实模块，用于在透视型头戴增强现实设备中实时显示机器人的当前任务执行状态和环境理解的可操作对象，以及用于获取用户选择的目标。/n

【技术特征摘要】
1.一种基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，包括：
实时脑电信号理解模块，用于实时采集多通道的脑电数据，使用CSP和LDA算法提取脑电信号中的用户意图，从而为用户意图识别模块提供脑电信息；
实时肌电信号理解模块，用于实时采集特定肌肉群的肌电信号，使用多种低阶统计量和SVM算法提取肌电信号中的用户意图，从而为用户意图识别模块提供肌电信息；
环境理解模块，基于ROS中提供的开源算法及可识别24类环境物体的深度神经网络实现，用于实现机器人系统对于环境地图的构建、对于环境中可操作对象的识别及存储、对于环境中可行驶区域的识别；
用户意图识别模块，用于根据脑电、肌电和环境信息实时识别用户真实意图；
机器人控制模块，用于根据用户意图及当前机器人状态，控制机器人之上的差速轮和机械臂执行具体任务，同时给出执行状态的反馈；
增强现实模块，用于在透视型头戴增强现实设备中实时显示机器人的当前任务执行状态和环境理解的可操作对象，以及用于获取用户选择的目标。


2.根据权利要求1所述的基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，实时肌电信号理解模块采用8个无线肌电电极，无线肌电电极放置于用户手臂肌肉处，并通过TCP协议实时传输肌电信号至解码器。


3.根据权利要求1所述的基于增强现实和多模态生物信号的轮椅机器人系统，其特征在于，环境理解模块包括构建环境地图单元、规划可行驶区域单元和识别存储环境中可作用物体单元；
构建环境地图单元，用于接收激光雷达的数据，通过ROS中的gmapping算法进行2D环境地图构建；
规划可行驶区域单元，用于在完成构建环境地图后，加载环境地图，获取激光雷达数据，使用ROS中的move_base库启动规划节点，向规划节点发送目标点坐标，获得规划的可行驶区域；
识别及存储环境中的可作用物体单元，用于接收来自于RGBD相机的数据；RGBD相机传回的数据为彩色图像及对应...

【专利技术属性】
技术研发人员：陈霸东，杨启航，李炳辉，张倩，秦雪梅，张璇，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61