基于边缘视觉感知的矿井机器人同步定位建图系统及方法技术方案

本发明专利技术公开了一种基于边缘视觉感知的矿井机器人同步定位建图系统，包括移动端，服务端以及显示器，服务端使用边缘视觉感知服务器，移动端选用开发板，通过边缘视觉感知迁移，使得内存较小的设备可以在较低资源开销下长时间运行视觉同步定位与建图算法，通过目标检测辅助剔除动态特征点，使得系统能够适应矿井下复杂动态环境，在动态环境中具有较强的鲁棒性与准确性，在边缘服务器上运行YOLOv5，其目标检测时间远小于在移动端运行，能够实现矿井下机器人智能化自动导航与定位，建立井下环境三维地图，较于采用激光雷达等方式成本更低，且能保持较高的运行速度与鲁棒性，对保障煤炭安全开采与提高生产效率有重大意义。安全开采与提高生产效率有重大意义。安全开采与提高生产效率有重大意义。

【技术实现步骤摘要】
基于边缘视觉感知的矿井机器人同步定位建图系统及方法


[0001]本专利技术涉及机器人定位建图
，尤其涉及一种基于边缘视觉感知的矿井机器人同步定位建图系统及方法。

技术介绍

[0002]智慧矿山的建设中，实现井下采掘装备及人员的智能化自动导航与定位，建立井下环境三维地图，对保障煤炭安全开采与提高生产效率有重大意义。然而，由于信号干扰，矿井下无法使用GPS。人工架站进行三维激光扫描构建矿井地图、位置数据收集，对于设备、场地要求较高，时间、人力成本较大，难以适应矿井下复杂的动态环境。
[0003]现有的相关定位与建图技术主要有基于激光雷达的辅助机器人同步定位建图技术、基于机器视觉的辅助机器人同步定位建图技术、基于惯性导航系统的辅助机器人同步定位建图技术，但上述方法存在以下不足：
[0004]基于激光雷达的辅助机器人同步定位建图技术，根据激光雷达与里程计的信息，构建环境信息并估计自身位置状态，但是设备成本高且系统复杂，丢失语义环境信息，不适合矿井动态复杂环境下的定位与地图构建。
[0005]基于机器视觉的辅助机器人同步定位建图技术，通过处理摄像头采集的图像信息进行定位与地图构建，但井下人员、设备移动会极大影响视觉处理，在矿井动态环境中定位精度差。
[0006]基于惯性导航系统的辅助机器人同步定位建图技术，利用惯性测量单元测量加速度，通过积分获取位置信息，但是测量误差随时间累计，仍需借助视觉摄像头进行地图构建，在内存小的移动设备上难以长时间实时运行。
[0007]上述技术存在丢失语义信息、无法适应动态环境、占用内存大的缺点，从而严重影响系统的鲁棒性、准确性、实时性，在矿井动态复杂环境中定位精度低、建图效果差。

技术实现思路

[0008]鉴于目前存在的失语义信息、无法适应动态环境、占用内存大的缺点，本专利技术提供一种基于边缘视觉感知的矿井机器人同步定位建图系统及方法，通过边缘视觉感知服务器辅助，有效减少定位家奴算法在移动设备上的资源消耗，适应矿井动态复杂环境，运行速度快，精度高。
[0009]为达到上述目的，本专利技术的实施例采用如下技术方案：
[0010]一种基于边缘视觉感知的矿井机器人同步定位建图系统，包括：
[0011]移动端，包括井下机器人，安装于井下机器人上的摄像头，连接所述摄像头与井下机器人的开发板，以及为井下机器人、摄像头和开发板供电的供电设备；
[0012]服务端，包括边缘服务器和路由器，所述边缘服务器设有局部建图、闭环、YOLOv5目标检测、稠密建图共四个线程，所述路由器为所述边缘视觉感知服务器以及所述开发板提供网络连接；
[0013]显示器，连接所述服务端，用于显示稠密地图与井下机器人工作时的位姿。
[0014]依照本专利技术的一个方面，所述摄像头为RGB
‑
D摄像头，用于采集一系列连续帧，所述连续帧包括彩色图像流与深度图像流，所述开发板为嵌入式开发板，负责承载移动端的算法运行，对输入的帧进行特征点提取匹配，维护局部地图跟踪估算当前位姿并选取关键帧传送至服务端。
[0015]依照本专利技术的一个方面，所述边缘服务器包括：
[0016]局部建图线程，负责根据关键帧特征点匹配生成三维地图点，进行非线性优化同时剔除冗余地图点与关键帧；
[0017]回环线程包括回环检测与回环矫正；
[0018]YOLOv5目标检测线程，独立线程，通过预先设置模型对关键帧进行目标检测，将检测结果传回移动端；
[0019]稠密建图线程，生成关键帧在摄像头坐标系下的点云，将点云转换保存为全局点云地图，在全局地图优化后根据新的位姿调整全局点云地图。
[0020]一种基于边缘视觉感知的矿井机器人同步定位建图方法，所述矿井机器人为移动端，通过网络连接边缘视觉感知服务端，所述基于边缘视觉感知的矿井机器人同步定位建图方法包括以下步骤：
[0021]初始化移动端、服务端；
[0022]通过移动端获取图像，选取关键帧上传至服务端；
[0023]使用YOLOv5算法进行动态对象目标检测，将关键帧插入关键帧序列；
[0024]结合全局地图处理关键帧序列，完成回环检测；
[0025]将关键帧插入稠密地图，根据关键帧信息变换生成全局地图；
[0026]优化全局地图，剔除冗余关键帧。
[0027]依照本专利技术的一个方面，所述初始化移动端、服务端包括：初始化移动端局部地图、动态目标检测框以及静态目标检测框，初始化服务端全局地图。
[0028]依照本专利技术的一个方面，所述通过移动端获取图像，选取关键帧上传至服务端包括：通过移动端的视觉传感器连续输入图像，对图像提取特征点，同时剔除处于动态目标检测框内且不处于静态目标检测框内的特征点，结合局部地图计算当前帧位姿并从连续普通帧中选取关键帧，将关键帧的全部信息上传至服务端。
[0029]依照本专利技术的一个方面，所述使用YOLOv5算法进行动态对象目标检测，将关键帧插入关键帧序列包括：使用YOLOv5算法对关键帧进行动态对象目标检测，并将检测结果发送至移动端更新目标检测框，同时将接收到的关键帧插入关键帧序列。
[0030]依照本专利技术的一个方面，所述结合全局地图处理关键帧序列，完成回环检测包括：结合全局地图对关键帧序列进行筛选并剔除冗余地图点，根据新插入的关键帧匹配产生新地图点并进行局部非线性优化估算当前位姿结果，将优化后的位姿结果显示在显示器上，同时利用提前训练好的视觉词袋字典计算关键帧之间图像相似性，完成回环检测，再进行回环矫正以消除累计漂移。
[0031]依照本专利技术的一个方面，所述将关键帧插入稠密地图，根据关键帧信息变换生成全局地图包括：将最新关键帧插入稠密地图中，根据关键帧的图像信息生成关键帧在相机坐标系下的点云，再将此点云变换到世界坐标系保存为全局点云地图，将更新后的稠密地
图在显示器上显示。
[0032]依照本专利技术的一个方面，所述优化全局地图，剔除冗余关键帧包括：对服务器中所有关键帧与地图点进行全局非线性优化，剔除冗余关键帧并将最新的6张关键帧及其关联的地图点信息传回移动端以更新移动端局部地图。
[0033]本专利技术实施的优点：本专利技术所述的基于边缘视觉感知的矿井机器人同步定位建图系统，包括移动端，服务端以及显示器，服务端使用边缘视觉感知服务器，移动端选用开发板，通过边缘视觉感知迁移，使得内存较小的设备可以在较低资源开销下长时间运行视觉同步定位与建图算法，本专利技术所述的基于边缘视觉感知的矿井机器人同步定位建图方法，通过目标检测辅助剔除动态特征点，使得系统能够适应矿井下复杂动态环境，在动态环境中具有较强的鲁棒性与准确性，在边缘服务器上运行YOLOv5，其目标检测时间远小于在移动端运行，通过基于边缘视觉感知的矿井机器人同步定位系统及方法，实现矿井下机器人智能化自动导航与定位，建立井下环境三维地图，较于采用激光雷达等方式成本更低，且能保持较高的运行速度与鲁棒性，对保障煤炭安全开采与提高生产效率有重大意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于边缘视觉感知的矿井机器人同步定位建图系统，其特征在于，所述基于边缘视觉感知的矿井机器人同步定位建图系统包括：移动端，包括井下机器人，安装于井下机器人上的摄像头，连接所述摄像头与井下机器人的开发板，以及为井下机器人、摄像头和开发板供电的供电设备；服务端，包括边缘服务器和路由器，所述边缘服务器设有局部建图、闭环、YOLOv5目标检测、稠密建图共四个线程，所述路由器为所述边缘视觉感知服务器以及所述开发板提供网络连接；显示器，连接所述服务端，用于显示稠密地图与井下机器人工作时的位姿。2.根据权利要求1所述的一种基于边缘视觉感知的矿井机器人同步定位建图系统，其特征在于，所述摄像头为RGB
‑
D摄像头，用于采集一系列连续帧，所述连续帧包括彩色图像流与深度图像流，所述开发板为嵌入式开发板，负责承载移动端的算法运行，对输入的帧进行特征点提取匹配，维护局部地图跟踪估算当前位姿并选取关键帧传送至服务端。3.根据权利要求2所述的一种基于边缘视觉感知的矿井机器人同步定位建图系统，其特征在于，所述边缘服务器包括：局部建图线程，负责根据关键帧特征点匹配生成三维地图点，进行非线性优化同时剔除冗余地图点与关键帧；回环线程包括回环检测与回环矫正；YOLOv5目标检测线程，独立线程，通过预先设置模型对关键帧进行目标检测，将检测结果传回移动端；稠密建图线程，生成关键帧在摄像头坐标系下的点云，将点云转换保存为全局点云地图，在全局地图优化后根据新的位姿调整全局点云地图。4.一种基于边缘视觉感知的矿井机器人同步定位建图方法，所述矿井机器人为移动端，通过网络连接边缘视觉感知服务端，其特征在于，所述基于边缘视觉感知的矿井机器人同步定位建图方法包括以下步骤：初始化移动端、服务端；通过移动端获取图像，选取关键帧上传至服务端；使用YOLOv5算法进行动态对象目标检测，将关键帧插入关键帧序列；结合全局地图处理关键帧序列，完成回环检测；将关键帧插入稠密地图，根据关键帧信息变换生成全局地图；优化全局地图，剔除冗余关键帧。5.根据权利要求4所述的一种基于边缘视觉感知的矿...

【专利技术属性】
技术研发人员：陈朋朋，王子元，孙浩博，朱泽奇，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：