基于视觉SLAM的轮椅室内导航系统技术方案

本发明专利技术公开了一种基于视觉SLAM的轮椅室内导航系统，它包括环境信息采集处理模块、环境地图构建模块、IMU模块、控制系统和导航模块，本发明专利技术以视觉SLAM和IMU(惯性测量单元)融合为主要研究内容，轮椅自动导航系统使用构建的环境地图和IMU模块实现轮椅的自主导航。其本质为利用传感器提供的信息，对自身在地图上的位姿不断进行更新并导航的循环过程。本发明专利技术在室内未知地图情况下，进行自主定位和构建地图，实现自主导航，具有智能控制、自主导航、可靠性高。靠性高。靠性高。

【技术实现步骤摘要】
基于视觉SLAM的轮椅室内导航系统


[0001]本专利技术涉及一种基于视觉SLAM的轮椅室内导航系统。

技术介绍

[0002]2000年11月我国研制出第一台多模态交互式智能轮椅样机，此项样机采用非计算机传感器的移动机器人定位技术，采用超声波传感器、红外传感器、CCD图像传感器进行环境的感知。近年来，世界上包括我国最近开发出了更先进的“智能”轮椅平台，如中科院自动化所的多模态交互智能轮椅、嵌入式智能轮椅等，采用ARM+DSP+FPGA的方式分别构建智能轮椅的中央控制系统、传感器系统和运动控制系统。但这些“智能”轮椅都没有实现真正意义上的智能，如缺乏对环境的感知和自适导航，特别是对于四肢残障人士而言，也不能无障碍地操控轮椅；对于重度残障或四肢残障人士的无障碍智能轮椅目前市面上几乎没有。目前市场上已有的轮椅存在两大问题：(1)智能轮椅不具备真正的智能控制；(2)智能轮椅无法实现室内自主导航。

技术实现思路

[0003]为了解决上述问题，本专利技术提供一种在室内未知地图情况下，进行自主定位和构建地图，实现自主导航，具有智能控制、自主导航、可靠性高的特点的基于视觉SLAM的轮椅室内导航系统。
[0004]一种基于视觉SLAM的轮椅室内导航系统，它包括环境信息采集处理模块、环境地图构建模块、IMU模块、控制系统和导航模块，
[0005]环境信息采集处理模块包括Realsense D435深度相机和图像处理单元，相机图像通过图像处理单元处理后输入到视觉SLAM系统中；
[0006]环境地图构建模块，视觉SLAM系统的前端视觉里程计使用光流法，从相机获取到的环境的深度信息和2D图片信息中计算真实世界中物体的具体位置和自身的位姿；后端根据IMU反馈的加速度信息对计算后的位姿和轨迹进行优化；并使用回环检测判断是否回到之前经过的场景，修正地图和轨迹，从而恢复环境的三维结构，构建三维稠密点云地图；
[0007]IMU模块安装在轮椅上，与上位机通信连接，上位机通过串口实时获取IMU的加速度和角速度信息，从而得到轮椅实时的速度信息；
[0008]控制系统包括STM32和驱动模块，驱动模块与电机连接，STM32和驱动模块通过串口连接，控制轮椅移动；
[0009]导航模块，上位机将建好的环境地图读取出来显示在屏幕上，用户点击屏幕上地图中的目标点后轮椅运动到目标点时停止，完成导航。
[0010]进一步的，图像处理单元使用OpenCV对深度相机传入的RGB图像进行灰度和去噪处理，使用FGS算法平滑图像去除过度曝光，使用LIME算法进行图像增强；将增强后的图像。
[0011]进一步的，所述导航模块上位机会通过A*算法进行路径规划，然后将规划后的速度、角度、运动方向发送给STM32模块，STM32模块将信息处理后发送给驱动模块从而驱动电
机，同时上位机会实时获取轮椅上IMU模块的数据，计算得到轮椅在地图中的位姿信息，通过位姿信息重新进行路径规划。
[0012]进一步的，STM32模块可以调节PWM波在一个周期中的峰谷波占比来给驱动模块发送转速信息，给驱动模块不同的串口发送信息控制电机正反转。
[0013]进一步的，它包括语音识别模块，可以根据用户语音获取动作指令完成导航。
[0014]进一步的，在环境地图构建模块，将构建好的稠密点云地图通过八叉树模块转换成二维的栅格地图，并将地图进行保存，方便后续读取环境地图进行导航。
[0015]本专利技术的有益效果：
[0016]利用深度学习的神经网络进行场景的理解，采用视觉技术采集环境信息，使用视觉SLAM的室内地图重构技术进行未知环境中的定位并构建环境地图，从而实现室内轮椅实时自主定位。将构建的环境地图呈现到显示器上，并将地图中的物体进行标号，使用者可以在显示器上点击目标物体或者语音输入物体标号，实现轮椅的自主导航。
附图说明
[0017]图1为本专利技术系统架构图；
[0018]图2为本专利技术流程图；
具体实施方式
[0019]下面结合附图1
‑
2对本专利技术做详细介绍：
[0020]专利技术以视觉SLAM智能轮椅为研究对象，以视觉SLAM技术原理和深度学习识别算法为研究基础，系统研究视觉SLAM智能轮椅在室内复杂环境中的自动实时规划前进路线，智能自主的在室内行走。相对于室外定位和导航，在室内环境下缺乏精确的GPS等导航信号，且定位精度要求又比较高。同时室内环境比较复杂，没有在室外道路上常用的交通指示线及路沿等参照物辅助导航，给室内定位与导航系统的设计带来了不小的挑战本文从环境感知、室内定位和路径规划这三个方面设计了智能轮椅机器人的环境，通过摄像头识别室内环境，再经过图像处理得到室内环境结构图。最终实现视觉SLAM智能轮椅在复杂环境中的空间定位、路径规划、智能识别物体分析，以实现轮椅智能化代替原来电动的轮椅和普通的轮椅。
[0021]专利技术以视觉SLAM和IMU(惯性测量单元)融合为主要研究内容，轮椅自动导航系统使用构建的环境地图和IMU模块实现轮椅的自主导航。其本质为利用传感器提供的信息，对自身在地图上的位姿不断进行更新并导航的循环过程。该智能轮椅实现的技术路线，系统总体设计如图1所示，系统流程图如图2所示。
[0022]本专利技术包括环境信息采集处理模块、环境地图构建模块、IMU模块、控制系统和导航模块，下面对各模块进行详细说明。
[0023]环境信息采集处理模块：专利技术使用Realsense D435深度相机作为环境信息输入，通过该相机采集环境信息。使用OpenCV对深度相机传入的RGB图像进行灰度和去噪处理，计算图像的光照图，利用光照图对图像进行色调矫正和对比度增强处理。使用FGS算法平滑图像去除过度曝光，使用LIME算法进行图像增强。将增强后的图像输入到视觉SLAM系统中，提取优质的特征点，匹配更多准确的特征点对，提高视觉SLAM系统建图的精度，增强系统鲁棒
性。
[0024]环境地图构建模块：视觉SLAM系统的前端视觉里程计使用光流法，从相机获取到的环境的深度信息和2D图片信息中计算真实世界中物体的具体位置和自身的位姿；后端根据IMU反馈的加速度信息对计算后的位姿和轨迹进行优化；并使用回环检测判断是否回到之前经过的场景，修正地图和轨迹，从而恢复环境的三维结构，构建三维稠密点云地图。将构建好的稠密点云地图通过八叉树模块转换成二维的栅格地图，并将地图进行保存，方便后续读取环境地图进行导航。
[0025]IMU模块：将IMU模块装在智能轮椅上，上位机通过串口实时获取IMU的加速度和角速度信息，使用预积分将IMU返回的加速度和角速度转换为速度，从而得到轮椅实时的速度信息。在视觉SLAM系统中使用返回的速度信息可以计算出轮椅自身在地图中的位姿，一方面可以优化建图，还有一方面可以在进行导航时反馈轮椅自身的位姿从而修正导航的路径。
[0026]控制系统包括STM32和驱动模块，驱动模块与电机连接，主要作用是控制电机，有正转和反转两个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉SLAM的轮椅室内导航系统，其特征在于，它包括环境信息采集处理模块、环境地图构建模块、IMU模块、控制系统和导航模块，环境信息采集处理模块包括Realsense D435深度相机和图像处理单元，相机图像通过图像处理单元处理后输入到视觉SLAM系统中；环境地图构建模块，视觉SLAM系统的前端视觉里程计使用光流法，从相机获取到的环境的深度信息和2D图片信息中计算真实世界中物体的具体位置和自身的位姿；后端根据IMU反馈的加速度信息对计算后的位姿和轨迹进行优化；并使用回环检测判断是否回到之前经过的场景，修正地图和轨迹，从而恢复环境的三维结构，构建三维稠密点云地图；IMU模块安装在轮椅上，与上位机通信连接，上位机通过串口实时获取IMU的加速度和角速度信息，从而得到轮椅实时的速度信息；控制系统包括STM32和驱动模块，驱动模块与电机连接，STM32和驱动模块通过串口连接，控制轮椅移动；导航模块，上位机将建好的环境地图读取出来显示在屏幕上，用户点击屏幕上地图中的目标点后轮椅运动到目标点时停止，完成导航。2.如权利要求1所述的基于视觉SLAM的轮椅室内导航系统，其特征在于，图像处理单元使用...

【专利技术属性】
技术研发人员：傅普杰，蒋鸿伟，刘子樊，吴锦洲，何龙，简夜明，吕文琪，冯小渝，向毅，雷亮，
申请(专利权)人：重庆科技学院，
类型：发明
国别省市：