System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于结构化场景的视觉SLAM回环检测方法、系统、设备及介质技术方案_技高网
当前位置: 首页 > 专利查询>中山大学专利>正文

一种基于结构化场景的视觉SLAM回环检测方法、系统、设备及介质技术方案

技术编号:43611913 阅读:4 留言:0更新日期:2024-12-11 14:56
本发明专利技术公开了一种基于结构化场景的视觉SLAM回环检测方法、系统、设备及介质,其通过ORB‑SLAM2的双目视觉里程计对采集到的图像信息进行处理,获取图像关键帧和初始位姿数据;通过卷积神经网络对图像关键帧进行识别,构建目标图像视觉模板库;将初始位姿数据发送至RTAB‑MAP中进行位姿节点的创建和转移,以对图像视觉模板库进行优化;通过计算得到的机器人移动路径相对起始点的偏转角度和基于双目视觉里程计获取得到的机器人移动的距离半径,对待回环检测图像视觉模板库中的图像模板进行选择,以实现回环检测。本发明专利技术能够有效减少参与回环检测的视觉模板数量,提高回环检测效率和准确性。

【技术实现步骤摘要】

本专利技术涉及输电系统,尤其是涉及一种基于结构化场景的视觉slam回环检测方法、系统、设备及介质。


技术介绍

1、结构化场景一般是指环境中具有明显的标志,具有大量的几何线面特征,周围环境类别较为简单。在结构化场景中,视觉slam算法可以更加高效地处理图像数据,减少不必要的计算资源消耗。

2、但针对城市道路等道路特征明显的环境下大尺度视觉slam回环检测的效率问题也逐渐浮出水面。随着机器人长航时大尺度运动时,传统视觉slam的回环检测,会导致存储的视觉模板越来越多,占用的存储空间越来越大,进行回环检测的计算时间也越来越长;slam回环检测所需的视觉模板随着移动范围的扩大而逐渐扩大,回环检测暴力匹配的计算效率指数下降;且高性能的视觉里程计方法与slam的内存管理方法没有实现结合,从而导致结构化场景下视觉slam回环检测存在空间存储与检测效率的低下。

3、由此可见,如何对结构化场景进行视觉slam回环检测,以提高检测效率,已经成为本领域技术人员所要亟待解决的技术问题。


技术实现思路

1、本专利技术提供一种基于结构化场景的视觉slam回环检测方法、系统、设备及介质,以解决结构化场景下视觉slam回环检测存在空间存储与计算效率的低下的问题。

2、为了解决上述技术问题,本专利技术实施例提供了一种基于结构化场景的视觉slam回环检测方法,包括:

3、通过机器人的双目相机实时采集目标道路的图像信息,通过orb-slam2的双目视觉里程计对所述图像信息进行处理,获取图像关键帧和初始位姿数据;

4、通过训练好的卷积神经网络模型对所述图像关键帧进行识别处理,构建得到目标图像视觉模板库;

5、将所述初始位姿数据发送至rtab-map中进行图像位姿节点的创建和转移,以对所述目标图像视觉模板库进行优化,得到待回环检测图像视觉模板库;

6、计算所述双目相机获取到的位置图像对应的机器人移动路径相对于起始点的偏转角度,并在第一预设条件下,基于所述双目视觉里程计获取所述机器人移动的距离半径;

7、根据所述偏转角度和所述距离半径,选择符合第二预设条件的所述待回环检测图像视觉模板库中的图像模板,以进行回环检测。

8、进一步地,所述通过训练好的卷积神经网络模型对所述图像关键帧进行识别处理,构建得到目标图像视觉模板库,包括:

9、通过训练好的卷积神经网络模型对所述图像关键帧中图像的道路口属性进行识别和分类,得到目标道路口属性图像;

10、基于所述目标道路口属性图像,构建目标图像视觉模板库。

11、进一步地,所述将所述初始位姿数据发送至rtab-map中进行图像位姿节点的创建和转移,以对所述目标图像视觉模板库进行优化,包括:

12、将所述初始位姿数据发送至所述rtab-map的短期记忆模块,以创建相应的图像的位姿节点;

13、根据所述位姿节点分配相应的节点权重,并根据所述节点权重进行图像节点的选择和转移,得到所述目标图像视觉模板库中符合回环条件的图像模板,以进行所述目标图像视觉模板库的优化。

14、进一步地,所述根据所述位姿节点分配相应的节点权重,并根据所述节点权重进行图像节点的选择和转移,得到所述目标图像视觉模板库中符合回环条件的图像模板,包括:

15、根据所述节点权重选择目标权重值对应的目标位姿节点,并将所述目标位姿节点与所述当前位置图像的位姿数据进行比较,以进行节点权重的更新;

16、根据更新后的节点权重,进行所述位姿节点的筛选和转移,将筛选和转移后的位姿节点对应的图像作为待回环检测图像视觉模板。

17、进一步地,还包括:

18、所述rtab-map通过离散贝叶斯滤波器进行对所述位姿节点进行环路闭合的检测,得到回环概率和检测时间;

19、分别判断所述回环概率和所述检测时间是否超过预设的对应的阈值,得到判断结果;

20、根据所述判断结果进行所述位姿节点的转移,以优化所述目标图像视觉模板库。

21、进一步地,所述计算所述双目相机获取到的位置图像对应的机器人移动路径相对于起始点的偏转角度,并在第一预设条件下,基于所述双目视觉里程计获取所述机器人移动的距离半径,包括:

22、当所述机器人进行移动时,根据所述移动路径的起始节点到所述双目相机获取的当前位置图像的位姿节点之间的偏转角度,并判断所述偏转角度是否超过所述角度阈值;

23、在第一预设条件下,通过所述orb-slam2的双目视觉里程计计算所述机器人移动距离的ate误差,根据所述ate误差计算得到所述距离半径。

24、进一步地,所述根据所述偏转角度和所述距离半径,选择符合第二预设条件的所述待回环检测图像视觉模板库中的图像模板,以进行回环检测,包括:

25、在第一轮筛选过程中,当所述偏转角度超过所述角度阈值时,将其对应的图像以进行回环检测;

26、在第二轮筛选过程中,在启动回环检测时,选择所述待回环检测图像视觉模板库中所述距离半径内的图像视觉模板作为所述回环检测的模板,以进行回环检测。

27、本专利技术另一实施例提供了一种基于结构化场景的视觉slam回环检测系统,包括:

28、初始数据获取模块,用于通过机器人的双目相机实时采集目标道路的图像信息,通过orb-slam2的双目视觉里程计对所述图像信息进行处理,获取图像关键帧和初始位姿数据;

29、图像模板库构建模块,用于通过训练好的卷积神经网络模型对所述图像关键帧进行识别处理,构建得到目标图像视觉模板库;

30、图像模板库优化模块,用于将所述初始位姿数据发送至rtab-map中进行图像位姿节点的创建和转移,以对所述目标图像视觉模板库进行优化,得到待回环检测图像视觉模板库;

31、计算模块,用于计算所述双目相机获取到的位置图像对应的机器人移动路径相对于起始点的偏转角度,并在第一预设条件下,基于所述双目视觉里程计获取所述机器人移动的距离半径;

32、回环检测模块,用于根据所述偏转角度和所述距离半径,选择符合第二预设条件的所述待回环检测图像视觉模板库中的图像模板,以进行回环检测,当检测到回环时,进行全局优化得到全局一致的地图。

33、本专利技术又一实施例提供了一种计算机设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的基于结构化场景的视觉slam回环检测方法。

34、本专利技术再一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机可读存储介质所在设备执行所述计算机程序时,实现如上所述的基于结构化场景的视觉slam回环检测方法。

35、相比于现有技术,本专利技术实施例的有益效果在于以下所述中的至少一点:

36、(1)采用orb-slam2的本文档来自技高网...

【技术保护点】

1.一种基于结构化场景的视觉SLAM回环检测方法,其特征在于,包括:

2.如权利要求1所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,所述通过训练好的卷积神经网络模型对所述图像关键帧进行识别处理,构建得到目标图像视觉模板库,包括:

3.如权利要求1所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,所述将所述初始位姿数据发送至RTAB-MAP中进行图像位姿节点的创建和转移,以对所述目标图像视觉模板库进行优化,包括:

4.如权利要求3所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,所述根据所述位姿节点分配相应的节点权重,并根据所述节点权重进行图像节点的选择和转移,得到所述目标图像视觉模板库中符合回环条件的图像模板,包括:

5.如权利要求3所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,还包括:

6.如权利要求1所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,所述计算所述双目相机获取到的位置图像对应的机器人移动路径相对于起始点的偏转角度,并在第一预设条件下,基于所述双目视觉里程计获取所述机器人移动的距离半径,包括:

7.如权利要求6所述的基于结构化场景的视觉SLAM回环检测方法,其特征在于,所述根据所述偏转角度和所述距离半径,选择符合第二预设条件的所述待回环检测图像视觉模板库中的图像模板,以进行回环检测,包括:

8.一种基于结构化场景的视觉SLAM回环检测系统,其特征在于,包括:

9.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于结构化场景的视觉SLAM回环检测方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,所述计算机可读存储介质所在设备执行所述计算机程序时,实现如权利要求1至7中任意一项所述的基于结构化场景的视觉SLAM回环检测方法。

...

【技术特征摘要】

1.一种基于结构化场景的视觉slam回环检测方法,其特征在于,包括:

2.如权利要求1所述的基于结构化场景的视觉slam回环检测方法,其特征在于,所述通过训练好的卷积神经网络模型对所述图像关键帧进行识别处理,构建得到目标图像视觉模板库,包括:

3.如权利要求1所述的基于结构化场景的视觉slam回环检测方法,其特征在于,所述将所述初始位姿数据发送至rtab-map中进行图像位姿节点的创建和转移,以对所述目标图像视觉模板库进行优化,包括:

4.如权利要求3所述的基于结构化场景的视觉slam回环检测方法,其特征在于,所述根据所述位姿节点分配相应的节点权重,并根据所述节点权重进行图像节点的选择和转移,得到所述目标图像视觉模板库中符合回环条件的图像模板,包括:

5.如权利要求3所述的基于结构化场景的视觉slam回环检测方法,其特征在于,还包括:

6.如权利要求1所述的基于结构化场景的视觉slam回环检测方法,其特征在于,所述计算所述双目相...

【专利技术属性】
技术研发人员:朱祥维沈丹周泽豪刘格陆翁淇臻
申请(专利权)人:中山大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1