【技术实现步骤摘要】
本专利技术属于移动机器人定位领域，具体是一种基于语义拓扑结构的视觉slam相似度方法。
技术介绍
1、移动机器人的研究始于60年代末期。斯坦福研究院(sri)的nils nilssen和charles rosen等人，在1966年至1972年中制造出了取名shakey的自主移动机器人。目的是研究应用人工智能技术，在复杂环境下机器人系统的自主推理、规划和控制。移动机器人主要包括自动引导车(agv)、自主移动机器人(amr)等，其中agv指自动导引运输车，基于导航技术的自动驾驶运输车量；amr指自动运输机器人，目前最先进的amr机器人可以自主识别周围环境，并可根据传感器进行定位，绕开障碍物，达到终点。移动机器人已经成为现化化制造业的一个重要组成部分，在未来的工业4.0体系中，移动机器人将起到不可替代的作用。未来高效、迅捷；智能、灵活；方便、实用；安全、可靠将成为移动机器人的发展趋势。
2、slam是simultaneous localization and mapping的缩写，称为“同时定位与地图构建”。它是指搭载特定传感器的主体，在没有环境先验信息的情况下，于运动过程中建立环境的模型，同时估计自己的运动。这项技术也成为移动机器人定位与导航的主流技术。根据搭载传感器的不同，目前实现slam的方案分为两种，即激光slam和视觉slam两类。视觉slam主要通过摄像机获得环境中的图像信息，利用两帧相邻图像的关系推测出自身的相对位姿。由于摄像机相比于激光雷达而言更加轻便，价格便宜，因此受到各国科研工作者的青睐。一些优秀的开源
3、在真实的动态场景中，特征信息较少会导致再定位和闭环检测失败。因此，移动机器人经常需要回到之前的位置提取更多的特征信息，从而完成特征信息匹配，实现重新定位和闭环检测。visual slam与深度学习的结合比传统方法更能解决这一问题。深度学习的主要思想是利用事先训练好的网络提取图像特征。然而，深度学习的缺点是计算量大，需要很高的计算设备。对于高维特征向量，很难建立合适的模型来存储。因此，近年来有研究者尝试在visual slam中引入语义信息。利用语义信息对环境进行描述，可以有效地简化环境信息的保存和比较过程。
4、orb-slam2是使用最广泛的可视化slam框架。orb-slam2框架的再定位和闭环检测主要通过当前帧与候选关键帧匹配特征点来完成。因此，提取的特征点的数量决定了重定位和闭环检测的精度和匹配速度。提取的特征点越多，定位越准确，相应的速度也越快。然而，如果动态目标在动态环境中快速运动，则会影响特征点的提取，从而影响再定位和闭环检测的准确性。而在动态环境中，静态物体的相对位置和距离不随动态物体的运动而变化。因此，我们可以利用静态对象的相对位置来构建语义拓扑图，以辅助重新定位和闭环检测，而不是仅仅依赖于静态特征点。
技术实现思路
1、针对上述问题，本专利技术提出了一种基于orb-slam2的语义拓扑结构的视觉slam方法。该方法改善了动态环境下由于特征信息较少而导致的再定位和闭环检测失败的问题。
2、本专利技术采用的技术方案是：一种基于语义拓扑结构的视觉slam相似度方法，包括跟踪线程、语义拓扑图线程、局部建图线程、回环检测线程和全局ba线程，所述语义拓扑图线程利用静态物体空间位置来构造拓扑图，通过判断空间拓扑图的相似性来寻找相似的关键帧，具体包括以下步骤：
3、(1)对输入的原始图片i1用yolov5目标检测方法获取目标检测结果i2；
4、(2)根据目标检测结果区分动态区域，得到动态区域结果图i3；
5、(3)根据目标检测结果保留静态区域，得到静态区域结果图i4；
6、(4)根据静态区域的矩形框得到每个区域的中心点，得到图i5；
7、(5)将静态区域的中心点作为拓扑结构的语义节点o，并表示为一个矩阵：其中n表示图i5中的节点个数；(xn，yn)表示第n个语义节点的坐标；
8、(6)利用delaunay三角剖分法得到图i5中节点间的边，得到最终的拓扑图i6；
9、(7)计算图i1的拓扑结构的权重值wi矩阵，
10、
11、其中，di表示拓扑图中边的距离矩阵(其中，d12表示第1个节点和第2个节点之间边的距离，d1n表示第1个节点和第n个节点之间边的距离，依次类推)，oi表示拓扑图中节点的坐标矩阵，wi表示计算得到的权重值；
12、(8)计算相邻关键帧图片i和图片q的相似度s，其中，n表示拓扑图中节点的个数，wi和wq分别表示图片i和图片q的权重值。
13、一种电子设备，包括：
14、存储器，用于存储可执行指令；
15、处理器，用于执行所述存储器中存储的可执行指令时，实现上述基于语义拓扑结构的视觉slam相似度方法。
16、一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现上述基于语义拓扑结构的视觉slam相似度方法。
17、本专利技术针对特征点较少的情况下，结合语义分割的方法对拓扑结构进行相似度判断，进而判断两幅图像的相似度。利用delaunay三角剖分法建立拓扑结构的边。本专利技术采用轻量级的语义分割网络结合delaunay三角剖分法不仅可以保证拓扑结构的唯一性，而且对计算机的计算力和存储空间要求较低。同时，本专利技术提出了“权重”计算方法，也提高了图片相似度的判断率。
18、动态物体遮挡可能导致特征信息减少，帧丢失。因此，本专利技术提出利用静态物体空间位置不变的性质来构造拓扑图结合delaunay三角剖分法保证拓扑结构的唯一性。通过判断空间拓扑图的相似性来寻找相似的关键帧。解决了动态环境下由于特征信息较少而导致的再定位和闭环检测失败的问题。
本文档来自技高网...【技术保护点】
1.一种基于语义拓扑结构的视觉SLAM相似度方法，包括跟踪线程、语义拓扑图线程、局部建图线程、回环检测线程和全局BA线程，其特征在于：所述语义拓扑图线程利用静态物体空间位置来构造拓扑图，通过判断空间拓扑图的相似性来寻找相似的关键帧，具体包括以下步骤：
2.根据权利要求1所述一种基于语义拓扑结构的视觉SLAM相似度方法，其特征在于：所述静态区域的中心点的坐标表示为oi＝(xi，yi)，其中x1，y1表示矩形框的左上角坐标和x2，y2表示矩形框的右下角坐标。
3.根据权利要求1所述一种基于语义拓扑结构的视觉SLAM相似度方法，其特征在于：利用欧式距离计算节点之间边的距离dij，定义如下：
4.根据权利要求1或2或3所述一种基于语义拓扑结构的视觉SLAM相似度方法，其特征在于：所述跟踪线程首先提取ORB特征点，然后等待通过目标检测对动态属性进行分类的图像结果，在动态属性分类的基础上，判断并去除ORB特征点异常点；去除异常值后跟踪线程根据剩余的保留的特征点进行局部跟踪和关键帧判断；根据确定的关键帧完成局部建图线程，回环检测线程和全局BA线程，语义拓扑图
5.根据权利要求4所述一种基于语义拓扑结构的视觉SLAM相似度方法，其特征在于：所述语义拓扑图被保存为一个拓扑图包，便于线程关闭循环和重新定位。
6.根据权利要求4所述一种基于语义拓扑结构的视觉SLAM相似度方法，其特征在于：所述跟踪线程和所述语义拓扑图线程同时处理原始RGB图像。
7.一种电子设备，其特征在于，包括：
8.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至6任一项所述基于语义拓扑结构的视觉SLAM相似度方法。
...【技术特征摘要】
1.一种基于语义拓扑结构的视觉slam相似度方法，包括跟踪线程、语义拓扑图线程、局部建图线程、回环检测线程和全局ba线程，其特征在于：所述语义拓扑图线程利用静态物体空间位置来构造拓扑图，通过判断空间拓扑图的相似性来寻找相似的关键帧，具体包括以下步骤：
2.根据权利要求1所述一种基于语义拓扑结构的视觉slam相似度方法，其特征在于：所述静态区域的中心点的坐标表示为oi＝(xi，yi)，其中x1，y1表示矩形框的左上角坐标和x2，y2表示矩形框的右下角坐标。
3.根据权利要求1所述一种基于语义拓扑结构的视觉slam相似度方法，其特征在于：利用欧式距离计算节点之间边的距离dij，定义如下：
4.根据权利要求1或2或3所述一种基于语义拓扑结构的视觉slam相似度方法，其特征在于：所述跟踪线程首先提取orb特征点，然后等待通过目标检测对动态属性进行...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。