一种端边协同的视觉同步建图与定位系统及方法技术方案

本发明专利技术涉及计算机视觉领域，具体涉及一种端边协同的视觉同步建图与定位系统及方法，该系统通过一个边缘设备，同时服务于控制范围内的多个移动端设备，满足视觉SLAM应用在端边场景下的应用的算力需求，通过在移动端运行跟踪模块，完成图像帧的采集和预处理和图像的特征点的提取并筛选出关键帧，在边缘侧运行局部建图模块与回环检测模块，完成定位和局部建图。本发明专利技术选用ORBSLAM2作为基本框架，通过边缘计算技术中的端边协同技术与视觉同步建图定位技术相结合，提高了视觉同步建图与定位的精度、实时性和可靠性，并且能够有效拓宽其在移动设备中的应用范围。动设备中的应用范围。动设备中的应用范围。

【技术实现步骤摘要】
一种端边协同的视觉同步建图与定位系统及方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种端边协同的视觉同步建图与定位系统及方法。

技术介绍

[0002]近年来，随着视觉同步建图与定位技术在单一设备上的性能逐步提升，已经广泛应用于机器人、无人驾驶、AR等场景。Raul Mur
‑
Artal，J. M. M. Montiel和Juan D. Tardos等人提出了ORBSLAM的基于ORB特征的三维定位与地图构建方法。但视觉SLAM算法部分模块对计算资源相对要求较高，尤其是回环检测模块，随着地图的大小增加复杂度逐渐增加，在计算资源受限的移动设备中难以稳定运行。因此将现有SLAM技术与边缘计算技术相结合具有重要现实意义，逐渐成为关注热点。边缘设备通常具有一定的覆盖范围，因此建立以边缘设备为中心的多移动端
‑
边缘端的协同系统具有重要意义。
[0003]边缘计算技术计算卸载，将计算复杂的模块转移到资源充足的边缘侧，为算法在移动设备平稳运行提供了新的技术途径。

技术实现思路

[0004]为了解决现有技术中存在的上述技术问题，本专利技术通过将传统的视觉同步建图与定位技术，及边缘计算领域中的端边协同的计算架构相结合，提出了一种端边协同的视觉同步建图与定位系统及方法，易于部署在端侧和边侧，能够有效减少SLAM算法在移动设备上的计算和开销，满足SLAM应用程序在移动设备上的平稳运行，提高算法的运行速度和精度，为SLAM应用提供可行技术支持，其具体技术方案如下：一种端边协同的视觉同步建图与定位系统，基于ORBSLAM2框架，包括移动端和边缘端，在移动端和边缘端分别部署移动设备和边缘设备，所述移动设备中存储有包含本地地图数据的局部地图，边缘设备进行多移动设备的局部地图的融合，存储为全局地图，所述移动端和边缘端之间通过网络连接实现通信和数据交互；所述移动端和边缘端均部署有同步更新模块，用于同步更新并交互移动端和边缘端的地图更新信息，在移动端和边缘端同步得到实时的定位轨迹和全局地图数据；所述移动设备部署有跟踪模块，用于图像帧的采集、特征提取和关键帧筛选，并将提取的特征和关键帧结筛选果发送到边缘设备；所述边缘设备部署并运行局部建图模块和回环检测模块。
[0005]进一步的，移动端和边缘设备之间具有三个独立的网络连接，具体的，第一个连接用于特征和关键帧，第二个连接用于发生重定位时的普通帧的传递，第三个连接用于从边缘端将地图更新发送到移动设备。
[0006]一种端边协同的视觉同步建图与定位方法，包括如下步骤：步骤1：在移动端进行系统初始化，包括加载配置文件、视觉词典数据；步骤2：在移动端运行跟踪模块，完成图像的实时采集、特征提取和关键帧筛选，将提取的图像特征和关键帧的筛选结果实时发送到边缘端；
步骤3：在边缘端运行局部建图模块，与移动端发送过来的关键帧和地图中的其他关键帧建立对应关系，然后执行局部光流法约束调整，优化地图的精度，消除累计误差，并将地图更新信息发送给移动端；步骤4：在边缘端运行回环检测模块，判断是否发生闭环，如果发生闭环则进行闭环校正；步骤5：边缘端进行多移动端设备的局部地图的合并。
[0007]进一步的，所述步骤2，具体步骤如下：步骤2.1：接收相机采集的实时图像数据；步骤2.2：构造图像金字塔；步骤2.3：提取特征点并利用八叉树筛选特征点；步骤2.4：利用灰度质心法计算特征点方向并计算BRIEF描述子；步骤2.5：如果为初始状态，则进行初始位姿估计或重定位；步骤2.6：成功估计当前帧的初始位姿后，基于当前位姿更新局部地图并优化当前帧位姿；步骤2.7：进行关键帧判断；步骤2.8：如果添加该关键帧，则在局部地图中创建一个新的关键帧，同时给边缘设备发送一个副本。
[0008]进一步的，所述步骤3，具体步骤如下：步骤3.1：边缘端接收移动端发送的关键帧并插入到局部地图；步骤3.2：去除冗余地图点，其中，所述冗余地图点的标准包括：a.召回率=（实际观测到该地图点的帧数/理论上应该观测到该地图点的帧数）<0.25；b.在创建的3帧内观测数目少于2；所述标准满足其一则是冗余地图点，若地图点经过了连续3个关键帧仍未被剔除,则被认为是好的地图点；步骤3.3：创建新的地图点，具体为将当前关键帧分别与共视程度最高的前2n个共视关键帧两两进行特征匹配，生成地图点；步骤3.4：融合当前关键帧与共视关键帧的地图点并进行局部BA优化；步骤3.5：去除冗余的关键帧，将90%以上的地图点能被其他共视关键帧观测到的关键帧去除。
[0009]进一步的，所述步骤4，具体步骤如下：步骤4.1：从队列中取出关键帧，判断距离上一次闭环检测是否超过10帧；步骤4.2：计算当前帧与相连关键帧的Bow最低得分，检测得到闭环候选帧；步骤4.3：将闭环候选帧和其共视关键帧组成为关键帧组，在当前关键帧组之前的连续关键帧组之间寻找连续性，如果某关键帧组的连续长度达到3，则认为实现闭环；步骤4.4：执行Sim3优化操作和闭环校正操作。
[0010]本专利技术通过边缘计算技术中的端边协同技术与视觉同步建图定位技术相结合，提高了视觉同步建图与定位的精度、实时性和可靠性，并且能够有效拓宽其在移动设备中的应用范围。
附图说明
[0011]图1是本专利技术的系统结构图；图2是本专利技术的方法流程图。
具体实施方式
[0012]为了使本专利技术的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本专利技术作进一步详细说明。
[0013]选用ORB
‑
SLAM2作为基本框架，ORB
‑
SLAM2是最先进的基于图形的视觉SLAM方法之一，可以使用单目RGB摄像机、双目摄像机或RGB
‑
D摄像机来构建稀疏的3D地图。ORB
‑
SLAM2通常包含地图跟踪、局部建图、回环检测三个模块，由于回环检测对计算资源需求较大，因此在一些资源受限的端侧设备上，存在难以稳定运行的问题。
[0014]端边协同的视觉SLAM方法将其采用的计算模块分别部署到端侧和边缘设备上，进行数据和信息的交互和地图信息的更新，最终得到完整的地图和定位信息并下发到移动端设备中。由于视觉同步建图和定位技术通常应用于机器人、无人驾驶等场景中，因此在环境中通常会存在多个移动设备。
[0015]本专利技术提供一种端边协同的视觉同步建图与定位系统及方法，利用一个边缘设备同时控制范围内的多个移动设备，完成多移动端与边缘端的数据交互、数据融合和地图更新，获得端边协同的全局地图数据，具体包括如下内容：如图1所示，选用ORBSLAM2作为基本框架，本专利技术的一种端边协同的视觉同步建图与定位系统，包括移动端和边缘端，在移动端和边缘端分别部署移动设备和边缘设备，所述移动设备中存储有名为局部地图的本地地图数据，边缘设备进行多移动设备的局部地图的融合，存储为全局地图，所述移动端和边缘端之间通过网络连接实现通信和数据交互，从而提高移动端
‑
边缘端的执行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端边协同的视觉同步建图与定位系统，基于ORBSLAM2框架，包括移动端和边缘端，在移动端和边缘端分别部署移动设备和边缘设备，其特征在于，所述移动设备中存储有包含本地地图数据的局部地图，边缘设备进行多移动设备的局部地图的融合，存储为全局地图，所述移动端和边缘端之间通过网络连接实现通信和数据交互；所述移动端和边缘端均部署有同步更新模块，用于同步更新并交互移动端和边缘端的地图更新信息，在移动端和边缘端同步得到实时的定位轨迹和全局地图数据；所述移动设备部署有跟踪模块，用于图像帧的采集、特征提取和关键帧筛选，并将提取的特征和关键帧结筛选果发送到边缘设备；所述边缘设备部署并运行局部建图模块和回环检测模块。2.如权利要求1所述的一种端边协同的视觉同步建图与定位系统，其特征在于，移动端和边缘设备之间具有三个独立的网络连接，具体的，第一个连接用于特征和关键帧，第二个连接用于发生重定位时的普通帧的传递，第三个连接用于从边缘端将地图更新发送到移动设备。3.一种端边协同的视觉同步建图与定位方法，其特征在于，包括如下步骤：步骤1：在移动端进行系统初始化，包括加载配置文件、视觉词典数据；步骤2：在移动端运行跟踪模块，完成图像的实时采集、特征提取和关键帧筛选，将提取的图像特征和关键帧的筛选结果实时发送到边缘端；步骤3：在边缘端运行局部建图模块，与移动端发送过来的关键帧和地图中的其他关键帧建立对应关系，然后执行局部光流法约束调整，优化地图的精度，消除累计误差，并将地图更新信息发送给移动端；步骤4：在边缘端运行回环检测模块，判断是否发生闭环，如果发生闭环则进行闭环校正；步骤5：边缘端进行多移动端设备的局部地图的合并。4.如权利要求3所述的一种端边协同的视觉同步建图与定位方法，其特征在于，所述步骤2，具体步骤如下：步骤2.1：接收相机采集的实时图像数据；步骤2.2...

【专利技术属性】
技术研发人员：汤志航，高丰，杨涛，郁善金，郑欢欢，王晓江，
申请(专利权)人：之江实验室，
类型：发明
国别省市：