【技术实现步骤摘要】
本专利技术涉及同步定位与地图构建领域，具体涉及一种基于线特征且通过rgbd相机和imu融合的slam系统pl-rgbd-vins。
技术介绍
1、同步定位与地图构建slam(simultaneous localization and mapping)是指在未知环境下，通过对环境特征的连续观测，完成自身定位，并同步构建周围环境地图的过程。近年来，slam技术在机器人、无人机以及目前流行的汽车无人驾驶等领域发挥了重要作用。随着中国新能源智能汽车的制造以及智驾方案的迅速推进，关于研究和改进slam技术显得尤为重要。然而，仅用单一的传感器都有其各自的缺点：gnss只有在天气晴朗的时候才能提供可靠的定位信息；激光雷达对于玻璃表面的物体存在反射问题且无法应对退化环境；imu测量结果都是有噪声的，因此惯性导航系统可能由于误差积累而快速漂移；单目相机对光源敏感，单目slam只能恢复到一定比例的运动轨迹，在摄像机快速移动或光照剧烈变化时容易丢失。因此，多传感器融合slam技术通过融合不同传感器的优势，取得了更鲁棒的效果，成为主导的研究方向，特别是视觉惯性导航系统的传感器融合方法受到了广泛关注。
2、单目视觉惯性导航系统(vins-mono)通过因子图优化紧耦合单目相机和imu数据，结合重定位，闭环检测以及全局位姿图优化功能，能够在室内复杂环境和室外复杂且大尺度环境下稳定工作。然而，单目相机不能提供深度信息，需要花费大量计算资源，通过三角测量来估计特征点空间位置。而rgb-d相机可以提供图像像素深度的直接测量，同时支持构建稠密的3d地图
技术实现思路
1、本专利技术的目的在于提供了一种适配rgb-d相机的点、线特征融合视觉-惯性slam系统pl-rgbd-vins。整个系统基于vins-mono和eplf-vins开发，主要由数据预处理、局部视觉里程计、全局回环优化三个模块组成。
2、数据预处理包括图像中单帧视觉特征的提取和帧间视觉特征跟踪，以及imu数据的预积分；
3、在单帧图像特征提取过程中，针对每一帧图像，采用自适应均匀分布的shi-tomasi角点检测算法，结合edlines算法用于边缘线特征的提取。这种方法有效地保证了所提取特征在图像中的均匀分布，从而提高了特征的可用性与稳定性，有助于后续的特征匹配和跟踪。
4、帧间图像特征追踪采用lk点光流法来追踪图像特征，并应用线光流法对线特征进行追踪。通过这种双重追踪策略，系统能够实现图像间特征的精准关联。利用反向光流法剔除错误的追踪和关联，进一步增强了系统在动态场景中的鲁棒性和准确性。
5、同时，对imu数据进行预积分处理，以便于在后续步骤中提供连续、稳定的运动信息，显著增强了系统的位姿估计精度和实时性。
6、局部视觉里程计包括图像特征与imu数据的对齐、视觉特征的三角化、局部滑窗优化以及关键帧的筛选；
7、对连续两帧图像之间的特征关联及imu预积分结果，依据时间戳进行严格对齐。此过程确保了数据在时间维度上的一致性，显著提升了位姿估计的精确性和可靠性。
8、接着，将新的图像点和线特征根据深度图信息恢复其三维空间坐标，作为特征的初始位姿值。这一恢复过程利用了rgb-d相机提供的深度信息，提高了特征重建的准确度和空间信息的丰富性。
9、将新的图像特征和imu预积分结果纳入滑窗中，分别构建图像点特征、线特征、imu预积分以及回环位姿的残差约束，进行滑窗内的非线性优化。该优化过程旨在通过最小化残差，提升整体状态估计的精度和系统的稳定性。
10、优化后，对位姿进行视差和描述子的计算，以判断是否生成新的关键帧。新关键帧的生成不仅有助于增强系统对环境的理解，也促进了地图的实时更新与扩展。
11、全局回环优化包括回环检测和全局因子图优化；
12、在全局优化过程中，对局部视觉里程计生成的关键帧在bag ofwords(bow)数据库和关键帧数据库中进行回环帧的搜索，并通过特征匹配来判断是否存在回环。回环检测是提高长期定位精度和鲁棒性的关键技术之一。
13、如果检测到回环，系统将计算回环位姿，并通过因子图优化技术对关键帧的位姿进行全局优化。这一全局优化过程能够有效消除累积的轨迹误差，提升整个系统的定位精度和一致性。
14、若未检测到回环，则将新生成的关键帧加入关键帧数据库，确保系统能够在不断变化的环境中持续适应并扩展其地图。
15、在全局优化的过程中，系统还引入了稠密彩色地图重建的技术。通过融合多帧图像的深度信息和颜色信息，系统能够生成稠密的彩色三维地图。该重建过程利用恢复的三维点与相应的rgb值相结合，确保所生成地图具有真实的颜色信息和细节丰富度，从而提升环境重建的真实感。这种稠密地图不仅为导航提供了更加丰富的视觉信息，也为后续的任务如物体识别和场景理解奠定了坚实基础。
16、本专利技术的创新之处在于通过点、线特征的有效融合，显著提高了slam系统在复杂环境下的表现，尤其是在特征稀疏或动态场景下的鲁棒性和准确性。此外，系统通过高效的数据预处理和滑窗优化方法，确保在动态和变化环境中的高效性与稳定性。全局回环优化技术的引入，使得系统能够有效校正轨迹漂移，确保在长时间运行和大范围环境中，依然维持高精度的定位与建图能力。
本文档来自技高网...【技术保护点】
1.一种适配RGB-D相机的点、线特征融合视觉-惯性SLAM系统(PL-RGBD-VINS)，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其中，数据预处理模块具体用于：
3.根据权利要求2所述的系统，其中，所述帧间特征追踪通过反向光流法剔除错误的追踪结果，进一步提高系统在动态环境下的鲁棒性和准确性。
4.根据权利要求1所述的系统，其中，局部视觉里程计模块包括：
5.根据权利要求4所述的系统，其中，所述三角化步骤通过利用RGB-D相机提供的深度信息，精确计算图像特征在三维空间中的位置，从而提高位姿估计的准确性。
6.根据权利要求1所述的系统，其中，全局回环优化模块包括：
7.根据权利要求6所述的系统，其中，所述全局优化过程包括重新计算所有关键帧的姿态，以最小化整个图的重投影误差，从而提高系统的全局定位精度。
8.根据权利要求1所述的系统，其中，所述系统还包括基于深度信息的彩色地图稠密重建模块，该模块通过融合多帧图像的深度信息和颜色信息，生成稠密的彩色三维地图。
9.根据权利
10.根据权利要求1至9任一项所述的系统，其特征在于，所述系统通过点、线特征的有效融合，在复杂环境中显著提高SLAM系统的鲁棒性和精度，尤其是在特征稀疏或动态变化的场景下。
11.根据权利要求1至10任一项所述的系统，其特征在于，所述系统能够在长时间运行和大范围环境中维持高精度的定位与建图能力，确保在复杂和动态环境下的持续适应性。
12.根据权利要求1至11任一项所述的系统，其中，所述系统的架构设计支持多种传感器的融合，提高系统在不同应用场景中的灵活性和扩展性。
...【技术特征摘要】
1.一种适配rgb-d相机的点、线特征融合视觉-惯性slam系统(pl-rgbd-vins)，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其中，数据预处理模块具体用于：
3.根据权利要求2所述的系统，其中，所述帧间特征追踪通过反向光流法剔除错误的追踪结果，进一步提高系统在动态环境下的鲁棒性和准确性。
4.根据权利要求1所述的系统，其中，局部视觉里程计模块包括：
5.根据权利要求4所述的系统，其中，所述三角化步骤通过利用rgb-d相机提供的深度信息，精确计算图像特征在三维空间中的位置，从而提高位姿估计的准确性。
6.根据权利要求1所述的系统，其中，全局回环优化模块包括：
7.根据权利要求6所述的系统，其中，所述全局优化过程包括重新计算所有关键帧的姿态，以最小化整个图的重投影误差，从而提高系统的全局定位精度。
8.根据权利要求...
【专利技术属性】
技术研发人员：胡祺，李智，张绍荣，杨绍江，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。