视觉激光双重校验的回环检测方法技术

本发明专利技术公开了视觉激光双重校验的回环检测方法

【技术实现步骤摘要】
视觉激光双重校验的回环检测方法、系统、设备及介质


[0001]本专利技术涉及机器人即时定位与地图构建
，具体地说是一种视觉激光双重校验的回环检测方法
、
系统
、
设备及介质
。

技术介绍

[0002]使移动机器人能够在现实世界中执行任务并与人互动一直是推动科学家和工程师向前发展的长期目标
。
要解决的基本任务之一是赋予机器人位置感和环境感
。
即时定位与建图
(SLAM
，
Simultaneous Localization and Mapping
即时定位与建图
)
算法就是为了解决这一问题而设计的
。SLAM
方法根据所依赖的传感器类型的不同，可划分成激光
、
视觉及雷视融合的
SLAM
三种
。
视觉
SLAM
通过相机获取的图像进行建图定位，主要的视觉
SLAM
算法有
ORB
‑
SLAM3、VINS
‑
Mono、VINS
‑
Fusion
等
。
视觉
SLAM
其易受到光照变化及场景纹理信息的影响，当周围环境光线发生变化或运行到某些无纹理的区域工作时，时常建图丢失
。
激光
SLAM
在实际应用中更为广泛，如
Cartographer、LIO/>‑
SAM(Tightly
‑
coupled Lidar Inertial Odometry via Smoothing and Mapping)
等
。
激光
SLAM
搭载的激光雷达成本较高且在长走廊及空旷地带易发生退化
。
而基于雷视融合的
SLAM
结合了视觉
SLAM
及激光
SLAM
的优点并避免了各自的不足，逐渐成为主流的
SLAM
方法
。
主要的雷视融合
SLAM
算法有
RTAB
‑
Map
及
LVI
‑
SAM
等
。
[0003]回环检测作为
SLAM
中的重要一环，通过识别智能体曾经到达某场景，使得地图闭环，有效消除在建图过程中产生的累积误差，帮助智能体更精准
、
快速的进行避障导航工作
。
作为主流的激光
SLAM
和雷视融合
SLAM
的回环检测方法仅仅通过激光配准的方式判定是否接受此次回环检测，如
LIO
‑
SAM
和
LVI
‑
SAM(Tightly
‑
coupled Lidar
‑
Visual
‑
Inertial Odometry via Smoothing and Mapping)
等，而随着建图规模的增大，建图过程中的累积误差也随之增大，错误回环的现象时有发生，使地图变得很糟糕，导致智能体无法进行正常的导航控制
。

技术实现思路

[0004]本专利技术的技术任务是提供一种视觉激光双重校验的回环检测方法
、
系统
、
设备及介质，来解决
LVI
‑
SAM
和
LIO
‑
SAM
等建图框架时常出现错误回环的情况，使得建图发生畸变，导致智能体无法进行正常的导航控制的问题
。
[0005]本专利技术的技术任务是按以下方式实现的，一种视觉激光双重校验的回环检测方法，该方法具体如下：
[0006]将相机获取的图像进行帧间跟踪，构建视觉里程计；
[0007]对相机实时获取的当前帧与视觉关键帧组中的关键帧进行回环检测；
[0008]当达到视觉回环阈值时，发送当前帧与对应回环帧的时间戳到激光里程计进行激光回环校验；
[0009]通过视觉当前帧与回环帧的时间戳信息，在激光点云数据库中找到对应的激光当
前点云与回环点云并对二者进行点云配准：
[0010]若达到激光回环阈值时，
SLAM
系统认定发生回环；
[0011]同时激光雷达扫描场景获取原始点云数据，对原始点云数据进行处理，从而构建激光里程计和
KD
‑
Tree
；
[0012]基于激光雷达实时扫描的当前帧点云，在激光点云数据库中进行设定区域内的
KD
‑
Tree
搜索获取回环点云；
[0013]通过点云配准达到激光回环阈值，进行视觉回环校验，并将当前点云与回环点云的时间戳发送给视觉里程计，基于时间戳在视觉关键帧数据库中找到与该时间戳对应的视觉当前帧及回环帧；
[0014]通过特征匹配确定是否达到视觉的回环阈值：
[0015]若满足视觉回环阈值，则
SLAM
系统认定发生回环
。
[0016]作为优选，构建视觉里程计具体如下：
[0017]将相机获取的图像进行特征提取；
[0018]基于词袋向量进行特征匹配；
[0019]通过帧间跟踪计算智能体的位姿信息，从而构建视觉里程计
。
[0020]更优地，关键帧判定具体如下：
[0021]对获取的视觉图像经帧间距离及帧间相似度判定是否为关键帧，并将带有时间戳信息的关键帧逐一添加到视觉关键帧组中
。
[0022]更优地，构建激光里程计和
KD
‑
Tree
具体如下：
[0023]对原始点云数据经下采样及去畸变处理得到去畸变点云；
[0024]通过特征提取获取角点特征及面特征用于特征匹配并构建激光里程计和
KD
‑
Tree。
[0025]更优地，激光点云数据库具体如下：
[0026]激光的每帧点云经关键帧判定后，将带有时间戳信息的关键帧逐一添加到激光点云数据库中
。
[0027]一种视觉激光双重校验的回环检测系统，该系统包括：
[0028]构建单元一，用于将相机获取的图像进行帧间跟踪，构建视觉里程计；
[0029]回环检测单元，用于对相机实时获取的当前帧与视觉关键帧组中的关键帧进行回环检测；
[0030]激光回环校验单元，用于在达到视觉回环阈值时，发送当前帧与对应回环帧的时间戳到激光里程计进行激光回环校验；
[0031]点云配准单元，用于通过视觉当前帧与回环帧的时间戳信息，在激光点云数据库中找到对应的激光当前点云与回环点云并对二者进行点云配准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种视觉激光双重校验的回环检测方法，其特征在于，该方法具体如下：将相机获取的图像进行帧间跟踪，构建视觉里程计；对相机实时获取的当前帧与视觉关键帧组中的关键帧进行回环检测；当达到视觉回环阈值时，发送当前帧与对应回环帧的时间戳到激光里程计进行激光回环校验；通过视觉当前帧与回环帧的时间戳信息，在激光点云数据库中找到对应的激光当前点云与回环点云并对二者进行点云配准：若达到激光回环阈值时，
SLAM
系统认定发生回环；同时激光雷达扫描场景获取原始点云数据，对原始点云数据进行处理，从而构建激光里程计和
KD
‑
Tree
；基于激光雷达实时扫描的当前帧点云，在激光点云数据库中进行设定区域内的
KD
‑
Tree
搜索获取回环点云；通过点云配准达到激光回环阈值，进行视觉回环校验，并将当前点云与回环点云的时间戳发送给视觉里程计，基于时间戳在视觉关键帧数据库中找到与该时间戳对应的视觉当前帧及回环帧；通过特征匹配确定是否达到视觉的回环阈值：若满足视觉回环阈值，则
SLAM
系统认定发生回环
。2.
根据权利要求1所述的视觉激光双重校验的回环检测方法，其特征在于，构建视觉里程计具体如下：将相机获取的图像进行特征提取；基于词袋向量进行特征匹配；通过帧间跟踪计算智能体的位姿信息，从而构建视觉里程计
。3.
根据权利要求1或2所述的视觉激光双重校验的回环检测方法，其特征在于，关键帧判定具体如下：对获取的视觉图像经帧间距离及帧间相似度判定是否为关键帧，并将带有时间戳信息的关键帧逐一添加到视觉关键帧组中
。4.
根据权利要求3所述的视觉激光双重校验的回环检测方法，其特征在于，构建激光里程计和
KD
‑
Tree
具体如下：对原始点云数据经下采样及去畸变处理得到去畸变点云；通过特征提取获取角点特征及面特征用于特征匹配并构建激光里程计和
KD
‑
Tree。5.
根据权利要求4所述的视觉激光双重校验的回环检测方法，其特征在于，激光点云数据库具体如下：激光的每帧点云经关键帧判定后，将带有时间戳信息的关键帧逐一添加到激光点云数据库中
。6.
一种视觉激光双重校验的回环检测系统，其特征在于，该系统包括：构建单元一，用于将相机获取的图像进行...

【专利技术属性】
技术研发人员：蒋风洋，程瑶，韩哲，黄洋，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：