一种基于序列图像分割的SLAM方法技术

本发明专利技术提出一种基于序列图像分割的SLAM方法，属于空间定位技术领域。本发明专利技术将序列图像分成多个子序列，对每个子序列中第一帧图像进行实例分割，得到该图像下的目标检测框，并根据该图像下目标检测框的位置信息确定下一帧或之后任意一帧图像中目标检测框的概略位置，以此得到每一帧图像中对应目标检测框内的图像，再对目标检测框内的图像进行实例分割，最后基于实例分割结果采用光流检测法剔除动态特征点，实现后续目标区的同步定位和建图。相比于现有技术中对整幅图像的分割处理，明显减少了分割图像的尺寸，有效提高了图像实例分割速度，提高了后续SLAM制图工作效率。提高了后续SLAM制图工作效率。提高了后续SLAM制图工作效率。

【技术实现步骤摘要】
一种基于序列图像分割的SLAM方法


[0001]本专利技术涉及一种基于序列图像分割的SLAM方法，属于空间定位


技术介绍

[0002]同步定位和建图(Simultaneous Localization and Mapping,SLAM)是近年来关注度非常高的研究方向，其目的主要是解决从多幅图像中检测到的一组特征对应，同时估计摄像机位置姿态和场景的三维结构的问题，通过检测动态目标，完成动态环境中的定位与建图任务。
[0003]目前，许多现有的通用框架和算法还存在一些问题：第一，许多算法专注于不同时空下图像的几何关系，而忽略了环境中关键目标的语义信息，这不利于环境的理解。第二，许多算法仅仅在静态环境下能取得优良的定位和建图结果，但当试验环境中出现未知数量、未知种类的动态目标时，定位和建图精度会大大降低。为了解决这两方面问题，即如何在动态环境下的SLAM中减少动态目标特征提取过程中带来影响，采用将分割算法融入到SLAM过程中。例如公布号 CN111797688A名为“一种基于光流和语义分割的视觉SLAM方法”的专利中，对输入的多帧图像采用Mask R
‑
CNN网络进行分割，通过分割结果进行动态特征提取，将去除动态影响后的特征点用于后续的SLAM系统中，可以很好地消除动态物体对SLAM定位和制图的影响。但该专利对每一帧图像都进行分割，得到每一帧图像的静态区域和预测动态区域，而SLAM主要是剔除动态区域的特征点，对每帧图像全部进行分割，导致分割数据量过大，使得图像分割速度也不高，严重影响了SLAM效率。

技术实现思路

[0004]本专利技术的目的是提供了一种基于序列图像分割的SLAM方法，以解决现有技术中序列图像分割数据量大导致SLAM效率低的问题。
[0005]本专利技术提出的一种基于序列图像分割的SLAM方法，该方法包括以下步骤：
[0006]1)利用深度相机获取目标区的序列图像、以及序列图像中每帧图像对应时刻下相机的位姿信息和每帧图像的ORB特征点；
[0007]2)将获取的序列图像分成多个子序列，对每个子序列中的第一帧图像分别进行实例分割，得到各子序列中第一帧图像中目标检测框信息；利用该图像中目标检测框信息、深度信息、对应时刻的相机位姿信息，计算所述第一帧图像中目标检测框的位置信息和尺寸；
[0008]3)根据第一帧图像中目标检测框的位置信息和尺寸、第一帧与第二帧相机的位姿信息，计算第二帧图像中目标检测框的概略位置；子序列中其他任一帧图像的目标检测框的位置均是利用当前帧的相机位姿信息与前若干帧中任意一帧的相机位姿信息、目标检测框的位置信息和尺寸确定；
[0009]4)根据每一帧图像中的目标检测框的概略位置，提取每一帧图像中目标检测框内的图像作为每一帧图像中的目标图像，将所述目标图像叠加放入设定尺寸的空白图像中，得到设定尺寸的目标图像；对设定尺寸的目标图像进行实例分割，将实例分割结果放入对
应帧的原始图像中，得到每一帧图像的实例分割目标；
[0010]5)利用光流检测法和每一帧图像的实例分割目标，判断获取的ORB特征点是否为动态特征点，并移除动态特征点，将剩余特征点用于跟踪与建图。
[0011]本专利技术将序列图像分成多个子序列，对每个子序列中第一帧图像进行实例分割，得到该图像下的目标检测框，并根据该图像下目标检测框的位置信息和尺寸及两帧图像下相机的对应位姿信息，确定下一帧或之后任意一帧图像中目标检测框的概略位置；每一帧图像的目标检测框的概略位置均是利用当前帧的相机位姿信息与前若干帧中任意一帧的相机位姿信息、目标检测框的位置信息和尺寸确定的；本专利技术采用这种方式，得到每一帧图像中目标检测框的概略位置，以此得到每一帧图像中对应目标检测框内的图像，即目标信息，再对目标检测框内的图像进行实例分割，相比于现有技术中对每一帧中整幅图像均进行分割处理，明显减少了分割图像的数据量，有效提高了图像实例分割速度，提高了工作效率；最后基于实例分割结果采用光流检测法剔除动态特征点，提高了后续目标区的同步定位和建图的效率。
[0012]进一步地，每一子序列中包含按时间顺序排列的若干帧图像，其中第一帧为各子序列中时间最早的图像。
[0013]每个子序列中的若干帧图像均是按照时间先后顺序排列的，利用图像之间时间的关联性，根据前面帧的目标检测框位置，能方便估计出后一帧中目标检测框的位置。
[0014]进一步地，对每一子序列中的第一帧图像采用Mask R
‑
CNN网络进行实例分割。
[0015]进一步地，所述步骤4)中将所提取的目标图像放置在设定尺寸空白图像的中心位置，生成设定尺寸的目标图像。
[0016]进一步地，每一子序列中的设定尺寸的目标图像均采用Mask R
‑
CNN网络进行实例分割，其中选择所述设定尺寸的目标图像的中心区域作为Mask R
‑
CNN网络中锚点的选择区域。
[0017]将所提取的目标图像均放置在设定尺寸空白图像的中心位置，方便后续图像实例分割时的锚点区域的选择，不再需要对整幅图像进行分割，将中心区域作为 Mask R
‑
CNN中锚点的选择区域，可以减少较少锚点的数量，同时减少生成锚框的数量，提高分割效率。
[0018]进一步地，所述步骤3)中是通过点位映射方法确定下一帧图像中目标检测框的位置。
[0019]通过点位映射可以快速确定当前帧图像中的点位在下一帧图像的位置。
[0020]进一步地，ORB动态特征点的确定方法如下：若检测特征点不包含在实例分割目标内，特征点为静态特征点；若特征点包含在实例分割目标内，且目标是静态的，特征点为静态特征点；若特征点包含在实例分割目标内，且目标是动态的，特征点为动态特征点。
[0021]通过上述过程确定ORB特征点与分割目标的关系，特征点不包含在目标内的为背景特征点，可用于跟踪与重建；特征点包含在目标内且目标是静态的，可用于跟踪和目标重建，不可用于场景重建；特征点包含在目标内且目标是动态的，不可用于跟踪和重建，将其剔除。
附图说明
[0022]图1是本专利技术基于序列图像分割的SLAM系统流程图；
[0023]图2是本专利技术序列图像分割方法流程图；
[0024]图3(a)是原始RPN锚点生成示意图；
[0025]图3(b)是本专利技术RPN锚点生成示意图；
[0026]图4(a)是本专利技术试验例中所采用的第一锚点生成策略示意图；
[0027]图4(b)是本专利技术试验例中所采用的第二锚点生成策略示意图；
[0028]图4(c)是本专利技术试验例中所采用的第三锚点生成策略示意图；
[0029]图4(d)是本专利技术试验例中所采用的第四锚点生成策略示意图。
具体实施方式
[0030]下面结合附图对本专利技术的具体实施方式作进一步地说明。
[0031]本专利技术提出一种基于序列图像分割的SLAM方法，具体如图1所示。本专利技术在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于序列图像分割的SLAM方法，其特征在于，该方法包括以下步骤:1)利用深度相机获取目标区的序列图像、以及序列图像中每帧图像对应时刻下相机的位姿信息和每帧图像的ORB特征点；2)将获取的序列图像分成多个子序列，对每个子序列中的第一帧图像分别进行实例分割，得到各子序列中第一帧图像中目标检测框信息；利用该图像中目标检测框信息、深度信息、对应时刻的相机位姿信息，计算所述第一帧图像中目标检测框的位置信息和尺寸；3)根据第一帧图像中目标检测框的位置信息和尺寸、第一帧与第二帧相机的位姿信息，计算第二帧图像中目标检测框的概略位置；子序列中其他任一帧图像的目标检测框的位置均是利用当前帧的相机位姿信息与前若干帧中任意一帧的相机位姿信息、目标检测框的位置信息和尺寸确定；4)根据每一帧图像中的目标检测框的概略位置，提取每一帧图像中目标检测框内的图像作为每一帧图像中的目标图像，将所述目标图像叠加放入设定尺寸的空白图像中，得到设定尺寸的目标图像；对设定尺寸的目标图像进行实例分割，将实例分割结果放入对应帧的原始图像中，得到每一帧图像的实例分割目标；5)利用光流检测法和每一帧图像的实例分割目标，判断获取的ORB特征点是否为动态特征点，并移除动态特征点，将剩余特征点用于跟踪与建图。2.根据权利要求1所述的基于序列图像分割的SLAM方法，其特...

【专利技术属性】
技术研发人员：张永生，吕可枫，戴晨光，纪松，于英，汪汉云，李力，李磊，张磊，王自全，闵杰，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：