基于眼球追踪的智能轮椅系统及其控制方法技术方案

本发明专利技术公开了基于眼球追踪的智能轮椅系统及其控制方法，该系统包括：头戴式AR显示设备和智能轮椅，所述头戴式AR显示设备和智能轮椅通过无线连接。本发明专利技术捕捉用户的眼球图像数据和采集用户的语音命令数据，就能够实现对智能轮椅的操控，可以帮助肢体运动不便的患者或者肢体有缺陷的残疾人完全脱离肢体操作，在没有护理或家属照料的时候，也能独立完成智能轮椅坐姿调节和行驶功能。本发明专利技术作为基于眼球追踪的智能轮椅系统及其控制方法，可广泛应用于智能控制领域。智能控制领域。智能控制领域。

【技术实现步骤摘要】
基于眼球追踪的智能轮椅系统及其控制方法


[0001]本专利技术涉及智能控制领域，尤其涉及基于眼球追踪的智能轮椅系统及其控制方法。

技术介绍

[0002]眼球追踪(Eye
‑
Tracking)又称为视线追踪、眼动测量，它是一项测量使用者注视点的技术，主要研究眼球运动信息的获取、建模和模拟，眼球跟踪技术的应用主要集中于工程心理学和人机交互领域；赋能于机器能够知道用户的意图，通过眼球追踪技术，知道你看的地方是哪里，据此进行自然的人机互动的方式，增强现实技术(Augmented Reality,AR)是一种全新的人机交互技术，它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它；
[0003]随着国家的科学技术快速发展、交通道路繁忙，导致交通事故频发，经调查我国的残疾人口数量正在急剧上升；许多残疾人士和老龄人口的日常生活难以做到自理，而老年人的子女后代面对激烈的社会竞争以及繁忙的社会工作，很难抽出时间来照料老人，因此，智能轮椅的需求越来越大，将普通的电动轮椅设计成具有多功能的智能轮椅成为了时代趋势，然而现阶段对于行动不方便的老人的智能轮椅功能单一，甚至还需要子女或是借助他人进行实现轮椅的功能，且行动不方便的老人其不仅存在行走障碍，同时手部也不能很好的对轮椅的行动进行控制。

技术实现思路

[0004]为了解决上述技术问题，本专利技术的目的是提供基于眼球追踪的智能轮椅系统及其控制方法，能够使用户完全脱离肢体操作实现独立完成智能轮椅的坐姿调节和行驶功能。
[0005]为实现以上专利技术目的，本专利技术的技术方案如下：
[0006]基于眼球追踪的智能轮椅系统，其特征在于，包括头戴式AR显示设备和智能轮椅，所述头戴式AR显示设备和智能轮椅通过无线连接，其中：
[0007]所述头戴式AR显示设备用于检测眼球原始数据、提取数据和综合数据，实现对人眼图像的捕捉并生成用户的操作指令；
[0008]所述智能轮椅用于根据用户的操作指令完成相关的动作。
[0009]进一步，所述头戴式AR显示设备包括深度感知摄像头、红外LED灯、红外摄像头、存储模块、信息采集模块、语音识别模块和多人协同控制模块，所述多人协同控制模块分别与深度感知摄像头、红外LED灯、红外摄像头、存储模块、信息采集模块和语音识别模块连接，其中：
[0010]所述深度感知摄像头用于扫描周围环境，感知环境信息；
[0011]所述红外LED灯用于对用户眼睛进行照射使其产生明显的反射；
[0012]所述红外摄像头用于获取眼球运动图像数据；
[0013]所述存储模块用于存储信息；
[0014]所述信息采集模块用于采集深度感知摄像头扫描到的周围环境信息；
[0015]所述语音识别模块用于识别用户语音命令，触发预设事件；
[0016]所述多人协同控制模块使得头戴式AR显示设备支持多用户多终端设备进行操控。
[0017]进一步，所述智能轮椅包括升降机构、平躺机构、行驶机构、定位模块、控制模块和无线通讯模块，所述控制模块分别与升降机构、平躺机构、行驶机构、定位模块和无线通讯模块连接，其中：
[0018]所述升降机构用于调节智能轮椅的高度；
[0019]所述平躺机构用于调节智能轮椅的水平倾斜程度；
[0020]所述行驶机构用于驱动智能轮椅前进后退；
[0021]所述定位模块用于获取智能轮椅所在的位置信息；
[0022]所述控制模块用于控制升降机构、平躺机构和行驶机构的工作；
[0023]所述无线通讯模块用于接收来自头戴式AR显示设备的用户操作指令。
[0024]同时，本专利技术还提供基于眼球追踪的智能轮椅系统的控制方法，具体包括以下步骤：
[0025]S1、对智能轮椅与头戴式AR显示设备进行无线连接；
[0026]S2、头戴式AR显示设备获取用户的语音指令并根据用户的语音指令进行判断，得到判断结果；
[0027]S3、根据判断结果触发对应的预设事件；
[0028]S4、头戴式AR显示设备根据触发的预设事件显示对应的全息注视方块并控制智能轮椅的工作状态；
[0029]S5、用户可通过红外摄像头对全息注视方块的选择进一步调整智能轮椅的具体工作状态，实现理想的智能轮椅工作结果。
[0030]进一步，所述步骤S2中，语音指令的判断结果包括执行升降功能、执行平躺功能、执行行驶功能。
[0031]进一步，控制智能轮椅的工作状态包括用户语音识别控制和用户眼球控制。
[0032]进一步，所述步骤S4中，执行升降功能对应的全息注视方块包括智能轮椅升高和智能轮椅降低；执行平躺功能对应的全息注视方块包括智能轮椅平躺展开和智能轮椅平躺复原；执行行驶功能的全息注视方块包括创建全息定位点。
[0033]进一步，所述执行行驶功能具体包括：
[0034]用户通过注视全息创建定位点按钮，完成全息定位点的创建，所述全息定位点包括起始点与目标点；
[0035]用户通过佩戴头戴式AR显示设备在可视化范围内可以看到一条由智能轮椅按照顺序创建的全息定位点连接的全息行驶路径；
[0036]用户判断全息行驶路径是否安全，若不安全则重新注视放置全息定位点，创建新的全息行驶路径。
[0037]进一步，所述执行行驶功能还包括：
[0038]对已经放置的单个全息定位点进行注视可以实现对该全息定位点进行重新选择和放置处理，得到新的全息行驶路径。
[0039]进一步，所述步骤S5中，红外摄像头的工作流程如下所示：
[0040]红外摄像头获取眼球运动图像数据，所述眼球运动图像数据通过数字图像处理技术和函数拟合技术来获取注视点的位置坐标即眼动数据值，所述眼动数据值在数据综合阶段同眼球运动先验模型、用户界面属性、头动跟踪数据和用户操作指令信息等一起被综合实现眼动跟踪功能。
[0041]本专利技术方法及其器件的有益效果是：本专利技术只需要捕捉用户的眼球图像数据和采集用户的语音命令数据，就能够实现对智能轮椅的操控，可以帮助肢体运动不便的患者或者肢体有缺陷的残疾人完全脱离肢体操作，在没有护理或家属照料的时候，也能独立完成智能轮椅坐姿调节和行驶功能，大大改善了四肢行动不便的用户的日常生活能力。
附图说明
[0042]图1是本专利技术基于眼球追踪的智能轮椅系统的结构示意图；
[0043]图2是本专利技术基于眼球追踪的智能轮椅系统的控制方法的步骤流程图；
[0044]图3是本专利技术基于眼球追踪的智能轮椅系统的智能轮椅控制系统硬件框图；
[0045]图4是本专利技术智能轮椅辅助系统行驶功能控制本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于眼球追踪的智能轮椅系统，其特征在于，包括头戴式AR显示设备和智能轮椅，所述头戴式AR显示设备和智能轮椅通过无线连接，其中：所述头戴式AR显示设备用于检测眼球原始数据、提取数据和综合数据，实现对人眼图像的捕捉并生成用户的操作指令；所述智能轮椅用于根据用户的操作指令完成相关的动作。2.根据权利要求1所述基于眼球追踪的智能轮椅系统，其特征在于，所述头戴式AR显示设备包括深度感知摄像头、红外LED灯、红外摄像头、存储模块、信息采集模块、语音识别模块和多人协同控制模块，所述多人协同控制模块分别与深度感知摄像头、红外LED灯、红外摄像头、存储模块、信息采集模块和语音识别模块连接，其中：所述深度感知摄像头用于扫描周围环境，感知环境信息；所述红外LED灯用于对用户眼睛进行照射使其产生明显的反射；所述红外摄像头用于获取眼球运动图像数据；所述存储模块用于存储信息；所述信息采集模块用于采集深度感知摄像头扫描到的周围环境信息；所述语音识别模块用于识别用户语音命令，触发预设事件；所述多人协同控制模块使得头戴式AR显示设备支持多用户多终端设备进行操控。3.根据权利要求1所述基于眼球追踪的智能轮椅系统，其特征在于，所述智能轮椅包括升降机构、平躺机构、行驶机构、定位模块、控制模块和无线通讯模块，所述控制模块分别与升降机构、平躺机构、行驶机构、定位模块和无线通讯模块连接，其中：所述升降机构用于调节智能轮椅的高度；所述平躺机构用于调节智能轮椅的水平倾斜程度；所述行驶机构用于驱动智能轮椅前进后退；所述定位模块用于获取智能轮椅所在的位置信息；所述控制模块用于控制升降机构、平躺机构和行驶机构的工作；所述无线通讯模块用于接收来自头戴式AR显示设备的用户操作指令。4.一种如使用权利要求书1
‑
3中任一项所述的基于眼球追踪的智能轮椅系统的控制方法，其特征在于，包括以下步骤：S1、对智能轮椅与头戴式AR显示设备进行无线连接；S2、头戴式AR显示设备获取用户...

【专利技术属性】
技术研发人员：彭慧，赵宗豪，鲁仁全，林俊辉，谭梓谦，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：