室内导盲车及其导盲方法技术

本发明专利技术提供室内导盲车及其导盲方法，其中，本发明专利技术的室内导盲车通过驱动电机带动实现上臂、下臂以及握把折叠，解决待机状态下的空间占用问题；本发明专利技术的室内导盲方法通过深度相机、单目相机与IMU数据的结合，实现较高精度的自身定位与路径跟踪，解决复杂室内环境下的导航问题，提高复现预定路径的能力。并根据单双目视觉融合获取环境信息，提高障碍检测速度与准确度，帧间变化计算障碍动向，实现预知性路径规划。径规划。径规划。

【技术实现步骤摘要】
室内导盲车及其导盲方法


[0001]本专利技术属于智能机器人相关
，具体涉及室内导盲车及其导盲方法。

技术介绍

[0002]盲人生活起居上特别的不方便，为了解决盲人生活上的障碍，人们培训了导盲犬辅助盲人行走。虽然导盲犬为盲人的行动带来很大的便利，但是在室内场景复杂、多样，盲人在家中移动时，往往不使用导盲犬或其他导盲器械，因为其缺点在于牵引的导盲方式不足以使牵引对象完全避开空间障碍且无法精确到达使用者想要到达的精确位置，因此市面上没有帮助盲人等特殊群体在室内场景辅助导航行走的机器人。

技术实现思路

[0003]有鉴于此，本专利技术的目的是提供一种室内导盲车及其导盲方法，以解决
技术介绍
中提到的技术问题。
[0004]为了达到上述目的，本专利技术所采用的技术方案是：室内导盲车，包括上臂、下臂以及载人平台，载人平台的底部设置有用于驱动该室内导盲车行走的车轮机构，下臂与载人平台之间以及下臂与上臂之间均通过转轴连接，且下臂和上臂均通过驱动电机驱动旋转，上臂的自由端设置有握把；上臂的顶端外侧设置有深度相机、红外光发射器以及单目相机，且该室内导盲车内还集成有控制器和用于接收指令的集成模块，集成模块、深度相机、红外光发射器以及单目相机均连接至控制器的输入端，控制器的输出端分别连接所述的驱动电机和车轮机构。
[0005]进一步的，载人平台的上端面上开设有与下臂相匹配的收纳槽。
[0006]进一步的，所述下臂的底端为方形结构，当下臂向上旋转到一定角度时，该方形结构与收纳槽抵接，实现下壁的限位。
[0007]进一步的，所述下臂与上臂之间设置有相互配合的机械限位结构，当下臂与上臂平行时，通过机械限位结构实现上臂的限位。
[0008]进一步的，所述下臂与上臂之间的连接处还设置有可变向棘轮拨片，通过可变向棘轮拨片来限制上臂的旋转方向。
[0009]进一步的，所述集成模块包括语音模块、蓝牙模块和红外接收器。
[0010]本专利技术的一种室内导盲方法，包括以下步骤：S1、预备工作，包括：S11、视觉slam建图：由人工牵引完成地图收集工作，并将三维地图转化为二维栅格地图；S12、深度学习训练：将长宽高大于阈值的物体认定为固定物体，对固定物体进行名称联合训练，使物体信息与栅格地图位置相关联；S13、单目与深度相机标定：使用标定板获取单目与双目相机的内参和外参，根据内参和外参将深度图数据从深度相机坐标系转化为世界坐标系，再从世界坐标系转化为单
目相机坐标系完成深度图与彩色图像的配准工作；S2、呼叫启动：由呼叫器发射电磁波，小车接收后启动；S3、定位：小车启动后，自转一周收集图像信息，依据固定物体获取自身定位，并根据呼叫信号判断呼叫器在地图中的定位；S4、路劲规划：以当前点为起点，目标点为终点使用D*算法生成静态路径；S5、行走：通过帧间视觉特征点互补，获得平移位置，通过IMU的预积分获得旋转位置，两者通过紧耦合，获取机器人移动方向与距离；S6、避障：行走过程中，根据自身变化与异常特征点变化，确定物体为静态或动态，通过深度分层获得相机前方区域物体轮廓大小与距离，反馈到地图部分，按照避障策略进行实时避障。
[0011]进一步的，步骤S3中依据固定物体获取自身定位的过程包括以下步骤：S31、获取栅格地图后，对大型物体赋予标签属性，物体边缘按照物体最大边缘投影；S32、基于YOLOv5训练获取大型物体的类别信息；大型物体要求固定不移动，将大型物体的图片输入YOLOv5s网络，给各个物体添加各自标签；S33、旋转获取物品位置；开机自动旋转，使用深度学习识别物体信息，根据彩色图像的像素点获取同步的深度信息；S34、根据两个及以上物品的距离信息与其在地图中的位置信息，通过三角形定理获取自身在地图中的位置；S35、完成工作后的待机状态，停留在指定位置并记录坐标以便下次使用。
[0012]进一步的，步骤S5具体包括以下步骤：S51、彩色图像特征点识别：使用ORB算法获取图像的角点作为图像特征点；将图像中特征点数量超过特定阈值的图像帧挑选为关键帧；S52、获取特征点深度信息：根据单目与深度的配准矩阵，获取特征点对应的距离信息；S53、特征点匹配：获取不同关键帧的图片信息，根据特征点的相似性完成图像匹配；S54、三角化：不同时间的相机与物体构成三角关系，根据特征点的角度变化与深度变化计算机体位姿变换量；S55、获取两个关键帧之间的IMU测量数据，并进行预积分获取机体位姿；S56、将相机推算的位姿与IMU预积分的位姿送入因子图中进行图优化得到精确的实时位姿。
[0013]进一步的，步骤S6通过深度分层获得相机前方区域物体轮廓大小与距离，并反馈到地图部分的过程具体包括：a、通过ORB算法获取图像特征点；b、设置像素点间距阈值k，遍历所有特征点，将两点间距小于k的点归于同一类中，当类中的特征点数量大于阈值时，将其归类障碍物；c、设置深度阈值h0，获取记为障碍物的特征点的深度值，遍历所有点，计算两点间深度差h，当h<h0时认为两点深度连续；将满足深度连续的点分集合存放；
d、遍历各障碍物集合，取其边缘值构建三维轮廓，并将边缘轮廓与机体的深度距离结合计算其在地图坐标系中的位置，加入地图的临时障碍集。
[0014]与现有技术相比，本专利技术的有益效果是：1、可折叠握把设计：通过驱动电机带动实现上臂、下臂以及握把折叠，解决待机状态下的空间占用问题；2、自主定位与多传感器融合位姿估算：通过深度相机、单目相机与IMU数据的结合，实现较高精度的自身定位与路径跟踪，解决复杂室内环境下的导航问题，提高复现预定路径的能力；3、目标检测与动态避障：根据单双目视觉融合获取环境信息，提高障碍检测速度与准确度，帧间变化计算障碍动向，实现预知性路径规划。
附图说明
[0015]图1是本专利技术室内导盲车的结构示意图；图2是限位结构的示意图；图3是本专利技术室内导盲方法的流程示意图；图4是实施例中提供的基于单目、深度相机、IMU耦合的行走位姿计算流程示意图；图5是实施例中提供的通过深度分层获得相机前方区域物体轮廓大小与距离，并反馈到地图部分的过程具体包括的流程示意图；图6是实施例中提供的动静态检测与避障逻辑示意图；图中标记：1、握把，2、深度相机，3、红外光发射器，4、单目相机，5、上臂，6、下臂，7、载人平台，8、车轮机构，9、机械限位结构，10、可变向棘轮拨片。
具体实施方式
[0016]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]本专利技术的室内导盲车，如图1所示，包括上臂5、下臂6以及载人平台7，载人平台7的底部设置有用于驱动该室内导盲车行走的车轮机构8，下臂6与载人平台7之间以及下臂6与上臂5之间均通过转轴连接，且下臂和上臂均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.室内导盲车，包括上臂、下臂以及载人平台，载人平台的底部设置有用于驱动该室内导盲车行走的车轮机构，其特征在于，下臂与载人平台之间以及下臂与上臂之间均通过转轴连接，且下臂和上臂均通过驱动电机驱动旋转，上臂的自由端设置有握把；上臂的顶端外侧设置有深度相机、红外光发射器以及单目相机，且该室内导盲车内还集成有控制器和用于接收指令的集成模块，集成模块、深度相机、红外光发射器以及单目相机均连接至控制器的输入端，控制器的输出端分别连接所述的驱动电机和车轮机构。2.根据权利要求1所述的室内导盲车，其特征在于，载人平台的上端面上开设有与下臂相匹配的收纳槽。3.根据权利要求2所述的室内导盲车，其特征在于，所述下臂的底端为方形结构，当下臂向上旋转到一定角度时，该方形结构与收纳槽抵接，实现下壁的限位。4.根据权利要求1所述的室内导盲车，其特征在于，所述下臂与上臂之间设置有相互配合的机械限位结构，当下臂与上臂平行时，通过机械限位结构实现上臂的限位。5.根据权利要求4所述的室内导盲车，其特征在于，所述下臂与上臂之间的连接处还设置有可变向棘轮拨片，通过可变向棘轮拨片来限制上臂的旋转方向。6.根据权利要求1
‑
5任一项所述的室内导盲车，其特征在于，所述集成模块包括语音模块、蓝牙模块和红外接收器。7.一种室内导盲方法，其特征在于，包括以下步骤：S1、预备工作，包括：S11、视觉slam建图：由人工牵引完成地图收集工作，并将三维地图转化为二维栅格地图；S12、深度学习训练：将长宽高大于阈值的物体认定为固定物体，对固定物体进行名称联合训练，使物体信息与栅格地图位置相关联；S13、单目与深度相机标定：使用标定板获取单目与双目相机的内参和外参，根据内参和外参将深度图数据从深度相机坐标系转化为世界坐标系，再从世界坐标系转化为单目相机坐标系完成深度图与彩色图像的配准工作；S2、呼叫启动：由呼叫器发射电磁波，小车接收后启动；S3、定位：小车启动后，自转一周收集图像信息，依据固定物体获取自身定位，并根据呼叫信号判断呼叫器在地图中的定位；S4、路劲规划：以当前点为起点，目标点为终点使用D*算法生成静态路径；S5、行走：通过帧间视觉特征点互补，获得平移位置，通过IMU的预积分获得旋转位置，两者通过紧耦合，获取机器人移动方向与距离；S6、避障：行走过程中，...

【专利技术属性】
技术研发人员：刘春阳，谢赛宝，陈帆，黄艳，隋新，班宇煊，马琳，李红钰，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：