本发明专利技术属于无人驾驶技术领域，具体公开了一种基于异构多模态数据融合的同步定位与建图方法。本发明专利技术通过毫米波雷达与激光雷达的数据融合、动态物体的过滤、回环检测的增强以及全局一致性优化等手段，解决了传统的定位与建图方法在应用于隧道等复杂环境中时存在的问题，提供了一种更加精准、稳定、适应性强的定位与建图方法。本发明专利技术方法能够应用于无人机、机器人等自主移动设备在隧道等动态环境中的定位与建图，可以在存在动态障碍物（如施工设备、交通工具等）和低光照条件下提供稳定的定位和地图构建能力，显著提高了无人机或机器人在复杂动态环境中的定位精度、地图构建能力与系统稳定性。
【技术实现步骤摘要】
本专利技术属于无人驾驶，特别涉及一种基于异构多模态数据融合的同步定位与建图方法，尤其适用于诸如隧道、地下矿井等复杂环境中的导航和定位应用场景。
技术介绍
1、随着自动化和自主移动设备技术的不断发展，无人机、机器人等自主移动设备在各种应用场景中的使用逐渐普及，尤其是在隧道、地下矿井等复杂环境中，使得定位与建图技术在上述环境中也得到了广泛的应用。在同步定位与建图（slam）的领域中，“异构”一词指的是集成了不同类型的传感器数据，这些传感器在数据类型、测量原理、精度、覆盖范围等方面存在差异。异构传感器数据融合在slam中的目标是利用这些不同传感器的优势，克服各自的局限性，以实现更准确、更鲁棒的定位和建图。
2、传统的定位和建图技术包括基于传感器多模态数据的定位与建图、激光雷达与imu同步定位与建图，激光雷达与毫米波雷达的数据融合方法、动态物体检测与过滤技术等。
3、在基于传感器多模态数据的定位与建图方面，目前，许多基于多传感器数据融合的方法已经应用于无人机和自动驾驶车辆的定位与建图系统，特别是通过传感器，如激光雷达、imu、毫米波雷达以及视觉系统的融合。然而，这些方法在隧道等复杂环境中的应用仍存在许多挑战，例如动态物体的干扰、传感器精度的差异和数据融合的复杂性。
4、在激光雷达与imu同步定位与建图方面，激光雷达与imu同步定位与建图是通过优化因子图来同步估计无人机的位姿和构建环境地图。该方法在静态环境下表现较为优秀，但由于缺乏对动态物体的有效过滤与处理，在复杂动态环境下的稳定性和精度较差。
5、在激光雷达与毫米波雷达的数据融合方面，一些研究提出将激光雷达与毫米波雷达的数据进行融合，以弥补各自的不足。如某些方案通过将毫米波雷达的速度信息与激光雷达点云数据进行匹配，以增强动态物体的识别能力。然而这些方法未能充分利用毫米波雷达的速度信息来优化定位精度，且缺乏有效的回环检测机制，导致整体定位精度仍然不够高。
6、在动态物体检测与过滤技术方面，现有的动态物体检测方法通常依赖于传统的速度阈值过滤或基于运动分析的算法（如卡尔曼滤波、粒子滤波等）。这些动态物体检测方法能够对动态物体进行初步过滤，但对于高精度定位和地图构建仍然存在较大挑战，特别是在隧道等特定环境中，目前的动态物体检测方法的精度往往难以满足需求。
7、综上，目前在隧道、地下矿井等复杂环境中，由于存在动态障碍物、恶劣的光照条件、以及复杂的地形结构，使得传统的定位和建图技术难以满足高精度和高稳定性的要求。归结起来，传统的定位与建图方法在应用于上述复杂环境中时，往往存在如下几方面问题：
8、1. 传感器数据缺乏有效融合： 传统的激光雷达与imu数据融合方法，虽然能够提供一定的定位精度，但往往忽略了外部环境中动态物体的影响。毫米波雷达作为一种补充传感器，其能够提供物体的速度信息，并在动态物体识别和去除静态点云方面发挥关键作用，然而现有技术尚未充分利用毫米波雷达与激光雷达的优势进行高效的融合。
9、2. 动态物体干扰：在隧道等复杂环境中，动态物体（如施工设备、行驶车辆等）经常出现在激光雷达和imu的感知范围内，导致位姿估计和地图构建的精度下降。现有方法大多数依赖于简单的静态与动态点云分类方法，无法有效过滤动态障碍物，导致系统稳定性较差。
10、3. 回环检测的挑战：隧道等封闭环境中的回环检测尤为重要，传统的回环检测方法多依赖于激光雷达或视觉传感器，通常存在对特征的过度依赖或对动态环境的适应性差等问题，导致回环检测的失败或不准确。
11、4. 传感器精度差异：激光雷达与毫米波雷达在分辨率、测量方式和数据更新频率上存在差异，如何将这两类传感器的数据进行有效融合，是当前技术面临的主要挑战。
技术实现思路
1、本专利技术的目的在于提出一种基于异构多模态数据融合的同步定位与建图方法，该方法通过结合毫米波雷达与激光雷达的数据融合、动态物体的过滤、回环检测的增强以及全局一致性优化等，提供了一种更加精准、稳定、适应性强的定位与建图方法，显著提高了无人机或机器人等自主移动设备在复杂动态环境中的定位精度、地图构建能力与系统稳定性。
2、本专利技术为了实现上述目的，采用如下技术方案：
3、基于异构多模态数据融合的同步定位与建图方法，包括如下步骤：
4、步骤1. 通过时间同步和外参标定实现毫米波雷达与激光雷达的点云对齐，并标定imu与毫米波雷达、激光雷达的相对位姿；其中，毫米波雷达采用4d毫米波雷达；
5、步骤2. 采用激光雷达、毫米波雷达分别对环境进行三维感知，得到感知3d点云；
6、步骤3. 对毫米波雷达数据进行预处理，过滤动态物体；
7、步骤4. 将激光雷达获取的高分辨率点云及毫米波雷达获取并经过预处理后的低分辨率静态点云，使用基于距离的插值法，实现激光雷达和毫米波雷达数据的融合与匹配；
8、计算激光雷达点转换到毫米波雷达点的差异，并作为误差项引入lio-sam的因子图中，该误差项即毫米波雷达的融合误差；
9、步骤5. 提取毫米波雷达的速度信息，并计算imu的速度；通过构建误差函数，计算毫米波雷达速度与imu速度之间的差异，为lio-sam因子图提供额外的速度约束；
10、步骤6. 使用毫米波雷达点云为lio-sam因子图提供静态点云约束；
11、步骤7. 使用毫米波雷达补充回环约束，使用加权投票机制，对毫米波雷达的回环检测结果与激光雷达的回环检测结果进行融合，确定回环检测最终结果；
12、步骤8. 基于回环检测最终结果，构建激光雷达与毫米波雷达的联合回环约束；
13、步骤9. 将步骤4的融合误差、步骤5的速度约束、步骤6的静态点云约束以及步骤8的联合回环约束作为约束因子，并添加到lio-sam的因子图中，从而构建因子图；对因子图进行优化，获得系统的位姿估计和地图特征点分布，实现slam的同步定位与建图。
14、本专利技术具有如下优点：
15、如上所述，本专利技术述及了一种基于异构多模态数据融合的同步定位与建图方法，该方法通过结合毫米波雷达与激光雷达的数据融合、动态物体的过滤、回环检测的增强以及全局一致性优化等，解决了现有技术中存在的关键问题，提供了一种更加精准、稳定、适应性强的定位与建图方法，显著提高了无人机或机器人等在复杂动态环境中的定位精度、地图构建能力与系统稳定性，特别适用于隧道等封闭环境中的无人机和机器人导航。具体而言，在毫米波雷达与激光雷达数据融合方面，本专利技术通过精确的外参标定，解决了毫米波雷达和激光雷达坐标系的差异，实现两者点云数据的对齐和融合，使得两种传感器的数据能够互补，充分发挥各自的优势。由于激光雷达和毫米波雷达在分辨率上的差异，本专利技术采用基于距离的插值法，对激光雷达的高分辨率点云和毫米波雷达的低分辨率点云进行匹配，解决了两种传感器数据不一致的问题。在动态物体检测与静态点云分离方面，本专利技术通过毫米波雷达的多普勒本文档来自技高网
...
【技术保护点】
1.基于异构多模态数据融合的同步定位与建图方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤1中，激光雷达和毫米波雷达处于不同的坐标系；
3.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤3具体为：
4.根据权利要求2所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤4具体为：
5.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤5具体为：
6.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤6中，使用步骤3预处理后的毫米波雷达静态点云，构建如下误差函数：
7.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤7具体为：
8.根据权利要求7所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤7.2中，采用加权投票机制确定回环检测结果的具体过程如下：
9.根据权利要求8所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤8具体为：
10.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤9具体为：
...
【技术特征摘要】
1.基于异构多模态数据融合的同步定位与建图方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤1中，激光雷达和毫米波雷达处于不同的坐标系；
3.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤3具体为：
4.根据权利要求2所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤4具体为：
5.根据权利要求1所述的基于异构多模态数据融合的同步定位与建图方法，其特征在于，所述步骤5具体为：
6.根据权利要求1所述的基于异构多模态数...
【专利技术属性】
技术研发人员：董海荣，路东鹏，孔栋，辛嵩，周敏，刘泰，刘岭，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。