一种多传感器融合的煤矿井下数字化定位及地图构建系统技术方案

本申请公开了一种多传感器融合的煤矿井下数字化定位及地图构建系统，该系统包括：处理组件和隔爆组件；其中，所述处理组件，包括空间数据采集单元、设置于所述空间数据采集单元下方的视觉图像采集单元和设置于所述视觉图像采集单元下方的数据处理终端；所述隔爆组件，包括隔爆罩和隔爆壳体，其中，所述空间数据采集单元处于所述隔爆罩覆盖范围内；所述隔爆壳体包括透光区域和不透光区域，所述透光区域与所述空间数据采集单元和视觉图像采集单元的视角所对应。由此，本申请通过多传感器进行感知能力互补，提高系统的稳定性，保证系统的鲁棒性。

【技术实现步骤摘要】
一种多传感器融合的煤矿井下数字化定位及地图构建系统
本申请涉及煤矿开采
，尤其涉及一种煤矿井下数字化定位及地图构建系统。
技术介绍
煤炭是我国的主体能源，在推动全国工业发展和国民经济进步等方面发挥了重要作用。近年来，随着采掘设备智能化水平的快速提高，我国煤矿煤炭产量大幅度提高。然而在煤矿采掘过程中，由于煤矿井下场景环境恶劣，且作业设备与相关联目标对象错综复杂，作业人员长时间处于危险系数较高的空间环境中进行作业。由此，为了保障井下人员的生命安全，实现煤矿智能化无人、绿色、高效开采，煤矿井下空间数字化定位与场景重建已经成为重要的技术发展发展方向之一。相关技术中，通常采用基于信号的通信方式进行定位，然而由于极度依赖信号强度，通常需要在井下设置大量基站，存在操作复杂、成本高的技术问题；同时，基于煤矿井下作业的特点，由于相关信号受井下特殊场景环境的作用问题(例如煤壁吸收)，定位精度也较低。因此，如何生成高精度的煤矿井下全局空间地图，从而实现更加准确地定位，消除安全隐患，确保人员安全，已成为了亟待解决的问题。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种多传感器信息融合的煤矿井下空间定位及建图方法，用于解决现有技术中存在的煤矿井下全局空间建图精度低，导致定位准确性差、存在安全隐患的技术问题。为了实现上述目的，本申请第一方面实施例提供了一种多传感器信息融合的煤矿井下空间定位及建图方法，该方法包括：获取传感器依次采集的第1至第N帧视觉图像以及所述视觉图像对应的点云数据，其中，所述N为正整数；根据所述视觉图像，获取视觉位姿信息；获取惯性测量单元IMU的IMU数据，以根据所述IMU数据获取IMU位姿信息；根据所述视觉位姿信息和所述IMU位姿信息，获取目标融合位姿信息；根据所述点云数据，对所述目标融合位姿信息进行修正，以得到最终目标位姿信息；根据所述最终目标位姿信息，生成全局空间语义地图。另外，根据本申请上述实施例的一种多传感器信息融合的煤矿井下空间定位及建图方法，还可以具有如下附加的技术特征：根据本申请的一个实施例，所述根据所述视觉图像，获取视觉位姿信息，包括：根据所述视觉图像，提取所述视觉图像的视觉特征；在提取所述视觉图像的所述视觉特征之后，进行相机初始化，并判断相机初始化是否成功；响应于相机初始化成功，则进行视觉特征匹配与跟踪，以得到视觉位姿信息。根据本申请的一个实施例，所述根据所述视觉位姿信息和所述IMU位姿信息，获取目标融合位姿信息，包括：进行IMU初始化，并判断IMU初始化是否成功；响应于IMU初始化成功，则根据所述视觉位姿信息和所述IMU位姿信息，获取融合位姿信息；基于滑动窗口的非线性优化算法对所述融合位姿信息进行优化，以得到所述目标融合位姿信息。根据本申请的一个实施例，所述响应于相机初始化成功，则进行视觉特征匹配与跟踪，以得到视觉位姿信息，包括：分别确定所述第1至第N帧视觉图像中的匹配特征点以及所述匹配特征点的数量，并判断视觉特征匹配与跟踪是否成功；响应于所述匹配特征点的数量达到第一预设数量阈值，则确认视觉特征匹配与跟踪成功，以得到视觉特征匹配与跟踪信息；根据所述视觉特征匹配与跟踪信息，获取所述视觉位姿信息。根据本申请的一个实施例，所述响应于相机初始化成功，则进行视觉特征匹配与跟踪，以得到视觉位姿信息之后，还包括：获取相邻帧所述视觉位姿信息；根据所述相邻帧所述视觉位姿信息，选取视觉关键帧图像。根据本申请的一个实施例，所述基于滑动窗口的非线性优化算法对所述融合位姿信息进行优化，以得到所述目标融合位姿信息，包括：基于滑动窗口的非线性优化算法对所述融合位姿信息进行优化，以得到优化后的所述融合位姿信息；根据所述视觉关键帧图像，获取当前视觉关键帧图像与历史视觉关键帧图像的特征相似度；根据所述特征相似度，判断是否存在闭环状态；响应于存在所述闭环状态，则获取闭环视觉关键帧图像，并对所有所述视觉关键帧图像对应的所述融合位姿信息进行全局闭环非线性优化，以得到所述目标融合位姿信息。根据本申请的一个实施例，所述根据所述点云数据，对所述目标融合位姿信息进行修正，以得到最终目标位姿信息，包括：根据所述目标融合位姿信息，对所述点云数据进行畸变去除操作，以得到精准点云数据；根据所述精准点云数据，提取目标点云特征；以所述目标融合位姿信息为初始值，通过非线性优化方式对所述目标点云特征进行匹配与跟踪，以得到所述最终目标位姿信息。根据本申请的一个实施例，所述根据所述最终目标位姿信息，生成全局空间语义地图，包括：根据所述最终目标位姿信息，生成全局空间地图；对所述全局空间地图进行点云着色处理，以生成所述全局空间语义地图。本申请第一方面实施例提供的一种多传感器信息融合的煤矿井下空间定位及建图方法，能够基于对多种传感器信息进行融合处理，实现了具有场景丰富语义信息的全局空间地图的生成，实现了煤矿井下场景的实时数字化定位与三维空间构建，提升了井下空间定位与三维构建的精度。为了实现上述目的，本申请第二方面实施例提供了一种多传感器信息融合的煤矿井下空间定位及建图装置，该装置包括：第一获取模块，用于获取传感器依次采集的第1至第N帧视觉图像以及所述视觉图像对应的点云数据，其中，所述N为正整数；第二获取模块，用于根据所述视觉图像，获取视觉位姿信息；第三获取模块，用于获取惯性测量单元IMU的IMU数据，以根据所述IMU数据获取IMU位姿信息；第四获取模块，用于根据所述视觉位姿信息和所述IMU位姿信息，获取目标融合位姿信息；确定模块，用于根据所述点云数据，对所述目标融合位姿信息进行修正，以得到最终目标位姿信息；生成模块，用于根据所述最终目标位姿信息，生成全局空间语义地图。另外，根据本申请上述实施例的一种多传感器信息融合的煤矿井下空间定位及建图装置，还可以具有如下附加的技术特征：根据本申请的一个实施例，所述第二获取模块，还用于：根据所述视觉图像，提取所述视觉图像的视觉特征；在提取所述视觉图像的所述视觉特征之后，进行相机初始化，并判断相机初始化是否成功；响应于相机初始化成功，则进行视觉特征匹配与跟踪，以得到视觉位姿信息。根据本申请的一个实施例，所述第四获取模块，还用于：进行IMU初始化，并判断IMU初始化是否成功；响应于IMU初始化成功，则根据所述视觉位姿信息和所述IMU位姿信息，获取融合位姿信息；基于滑动窗口的非线性优化算法对所述融合位姿信息进行优化，以得到所述目标融合位姿信息。根据本申请的一个实施例，所述第四获取模块，还用于：分别确定所述第1至第N帧视觉图像中的匹配特征点以及所述匹配特征点的数量，并判断视觉特征匹配与跟踪是否成功；响应于所述匹配特征点的数量达到第一预设数量阈值，则确认视觉特征匹配与跟踪成功，以得到视觉特征匹配与跟踪信息；根据所述视觉特征匹配与跟踪信息，获取所述视觉位姿信息。根据本申请的一个实施例，所述第四获取模块，还用于：获取相邻帧所述视觉位姿信息；根据所述相邻帧所述视觉位本文档来自技高网...

【技术保护点】
1.一种多传感器融合的煤矿井下数字化定位及地图构建系统，其特征在于，包括：处理组件和隔爆组件；其中，/n所述处理组件，包括空间数据采集单元、设置于所述空间数据采集单元下方的视觉图像采集单元和设置于所述视觉图像采集单元下方的数据处理终端；/n所述隔爆组件，包括隔爆罩和隔爆壳体，其中，所述空间数据采集单元处于所述隔爆罩覆盖范围内；所述隔爆壳体包括透光区域和不透光区域，所述透光区域与所述空间数据采集单元和视觉图像采集单元的视角所对应。/n

【技术特征摘要】
1.一种多传感器融合的煤矿井下数字化定位及地图构建系统，其特征在于，包括：处理组件和隔爆组件；其中，
所述处理组件，包括空间数据采集单元、设置于所述空间数据采集单元下方的视觉图像采集单元和设置于所述视觉图像采集单元下方的数据处理终端；
所述隔爆组件，包括隔爆罩和隔爆壳体，其中，所述空间数据采集单元处于所述隔爆罩覆盖范围内；所述隔爆壳体包括透光区域和不透光区域，所述透光区域与所述空间数据采集单元和视觉图像采集单元的视角所对应。


2.根据权利要求1所述的煤矿井下数字化定位及地图构建系统，其特征在于，所述处理组件，还包括：
惯性测量单元IMU，所述IMU布置于所述空间数据采集单元下方。


3.根据权利要求1-2所述的煤矿井下数字化定位及地图构建系统，其特征在于，所述数据处理终端，包括：
参数标定单元，所述参数标定单元用于对所述视觉图像采集单元进行参数标定、对所述视觉图像采集单元和所述IMU进行联合参数标定、对所述视觉图像采集单元和所述空间数据采集单元进行联合参数标定，对所述视觉图像采集单元、所述空间数据采集单元、所述IMU三者数据的时间戳进行配准，以及对三者数据进行相关智能分析和处理。


4.根据权利要求1所述的煤矿井下数字化定位及地图构建系统，其特征在于，所述视觉图像采集单元为单目或...

【专利技术属性】
技术研发人员：南柄飞，叶晨曦，郭志杰，王凯，荣耀，李森，李首滨，
申请(专利权)人：北京天地玛珂电液控制系统有限公司，北京煤科天玛自动化科技有限公司，
类型：发明
国别省市：北京;11