一种基于语义分割的SLAM回环检测改进方法技术

本发明专利技术公开一种基于语义分割的SLAM回环检测改进方法，包括以下步骤：一、获取道路场景语义分割的通用数据集；二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；三、获取语义分割预测的各个像素的分类结果；四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量；五、构建包含语义信息的地点模型；六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，七、匹配待检测图像和图像库中图像的相似度；八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。

【技术实现步骤摘要】
一种基于语义分割的SLAM回环检测改进方法
本专利技术涉及语义分割及SLAM
，具体涉及一种基于深度学习的SLAM回环检测的改进方法。
技术介绍
即时定位与地图构建(simultaneouslocalizationandmapping，SLAM)是指车辆在无人操控的情况下在陌生环境中依靠自身携带的传感器估计自身的位置同时构建地图的过程。它是很多机器人应用场景如环境感知，避障导航等的先决条件，根据其使用的传感器不同分为激光SLAM和视觉SLAM。因为视觉SLAM成本较低，同时图片携带有丰富的纹理信息所以使用较广泛。通过对图片进行深度学习计算，可以得到环境中的语义信息。SLAM分为传感器获取数据，视觉里程计分析计算，后端优化同时对传感器采集信息判断是否是已检测的信息完成闭环检测防止导航偏移。并进行构图的过程。由于视觉传感器在感知周围环境的过程中，可能会出现累计漂移的问题。所以回环检测的主要作用就是判断车辆是否构成闭环，从而使用全局优化模块修正估计的位姿以及建立的地图。本专利技术主要讨论的就是闭环检测过程中如何提高检测精度的方法(仉新.移动机器人同时定位与地图构建系统的算法研究[D].沈阳工业大学,2020.)。在视觉SLAM技术使用的过程中，遇到的主要挑战就是由于环境的改变而造成回环检测的准确率下降，其中环境条件的改变包括环境光照条件的变化如四季更替和昼夜变化。环境的变化还体现在摄像机拍摄到的图片可能存在角度的变化。角度的微小改变都可能使得无人车的导航发生改变。如何提取到对光照和视角鲁棒性都很强的特征就成了研究的热门问题。传统方法是使用BoW(视觉词袋模型(BagofWords)。具体做法是将图片进行手工特征采集，然后将每一个局部特征描述子转换为一个单词，对整张图像的单词统计就得到相应的词袋向量。对比不同的词袋向量的差异就得到闭环检测的结果。通过k近邻算法聚类来构建的地点描述向量是对图片信息的抽象表示，一定程度上体现了图片的全局信息，但是这种方法不能表现聚类中心的类别信息，同时不能分辨聚类点是否是参照物。在实际环境中，有可能存在运动的物体如行人，运动的车辆等，把其作为聚类点明显会对场景的描述发生偏差。在图像规模比较大的情况下，由于视觉词汇表单词大小的限制，BoW算法对图像的表示会越来越粗糙，编码后损失的图像信息较多，检索精度也随之而降低(刘威.应用于移动机器人视觉SLAM的地点识别研究[D].杭州电子科技大学,2019.)。为了提高SLAM系统中闭环检测的鲁棒性，融合深度学习的检测方法逐渐成为国内外一个重要的研究内容。因此，如何利用深度学习提高视觉SLAM中闭环检测鲁棒性就成为亟待解决的技术问题。
技术实现思路
本专利技术要解决的技术问题是：如何通过深度学习最新研究成果构建地点模型用于提高闭环检测的鲁棒性。克服基于特征的方法只能建立视觉词袋向量，没有对象语义信息和相互关系信息的缺点。本专利技术至少通过如下技术方案之一实现。一种基于语义分割的SLAM回环检测改进方法，包括以下步骤：步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；步骤五、构建包含语义信息的地点模型；步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，步骤七、匹配待检测图像和图像库中图像的相似度；步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。优选的，所述语义分割网络为改进的DeepLabv3网络，所述改进的DeepLab网络是在原来DeepLab网络的空洞空间卷积池化金字塔(AtrousSpatialPyramidPooling，ASPP)模块上引入全局注意力模块，对特征进行提取，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取；改进的DeepLab网络得到每一个像素的标签作为语义分割的结果。优选的，所述改进的DeepLabv3网络的类别包括建筑物、树木、道路、交通指示牌、汽车，所述改进的DeepLabv3网络对物体类别进行颜色标记。优选的，所述改进的DeepLabv3网络使用全局注意力机制得到多尺度聚合特征图，从主干网络的卷积层中提取低层细节特征图，将多尺度聚合特征图和低层细节特征图作为共同送入解码器网络进行上采样，从而得到经过注意力筛选的语义分割图。优选的，步骤四包括以下步骤：5.1)、分析语义分割图中包含对应类别的对象，去除运动的对象对分割结果造成的干扰后，提取作为当前环境的模型特征的对象，从改进的DeepLab网络的卷积层结果中提取对象的特征向量，作为语义地点模型中表征对象属性的部分；5.2)、标记参照对象，计算各个对象相对于参照对象的位置向量，将语义结果图分块，计算对象中心相对于参照物中心的位置向量，将得到的位置向量作为语义地点模型的对象间位置关系的参数表示；5.3)、合并对象特征向量和各个对象相对于参照物的相对位置向量得到图像的语义建模结果，该结果作为闭环检测相似度判断的输入。优选的，所述地点模型包括两部分，一部分是语义分割图中对象特征向量的组合，另一部分是对象位置关系向量，将两部分进行合并得到包含语义信息的地点模型的向量；优选的，所述步骤五构建包含语义信息的地点模型具体如下：定义场景模型语义描述符L，表示环境语义模型中的物体特征分量：式中li是特征图中D维描述符xi在位置i处的语义标签，xi是D维的特征描述符，μs是标签类别的平均值，s为语义分割网络得到的分类信息，N是语义标签的位置集合；Ls表示得到的对象特征向量的具体组成，是来自特定语义类别的残差描述符所构成的集合，公式如下所示：得到的语义组合向量L是所有需要建模的语义描述符Ls按照从左到右，从上到下的顺序级联；对得到的级联描述向量进行L2范数归一化，具体计算公式如下所示：其中L′为归一化之后的结果；为得到建模地点的空间位置信息，将图像划分为n*n的网格，选取图像中的静态物体的中心点作为参照点，从左向右，从上向下遍历网格，如果网格中存在像素块，则求对应像素块中心点到参照点的向量：其中是语义分割图中B物体的中心坐标相对于原点的向量，是语义分割图中A物体的中心坐标相对于原点的向量，为B相对于参照物体A的向量差，表示A物体与B物体之间的空间位置关系。优选的，所述相似度判断是通过计算两个向量之间夹角的余弦值大小来测量差距，余弦值越接近单本文档来自技高网...

【技术保护点】
1.一种基于语义分割的SLAM回环检测改进方法，其特征在于，包括以下步骤：/n步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；/n步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；/n步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；/n步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；/n步骤五、构建包含语义信息的地点模型；/n步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，/n步骤七、匹配待检测图像和图像库中图像的相似度；/n步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。/n

【技术特征摘要】
1.一种基于语义分割的SLAM回环检测改进方法，其特征在于，包括以下步骤：
步骤一、获取道路场景语义分割的通用数据集，将该通用数据集按照划分为训练集、测试集、验证集；
步骤二、使用RGB摄像头获取环境图像，在不同种环境状况下采集道路环境图像；
步骤三、将训练集中的每张RGB图片送入语义分割网络进行语义分割处理，利用验证集验证效果后，获取语义分割预测的各个像素的分类结果；
步骤四、根据分类结果，获取语义分割图中包含对应类别的对象特征向量，计算各个对象相对于参照对象的位置向量，将得到的位置向量作为地点模型的对象间位置关系；
步骤五、构建包含语义信息的地点模型；
步骤六、通用数据集中的图像经过地点模型分析得到语义地点向量，创建地点的图像库，存入包含地点语义信息的向量，
步骤七、匹配待检测图像和图像库中图像的相似度；
步骤八、进行闭环检测，如果找到相似度超过阈值的向量，则代表当前图像是闭环节点，否则把当前图像加入到已有的图像库中。


2.根据权利要求1所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述语义分割网络为改进的DeepLabv3网络，所述改进的DeepLab网络是在原来DeepLab网络的空洞空间卷积池化金字塔(AtrousSpatialPyramidPooling，ASPP)模块上引入全局注意力模块，对特征进行提取，同时在原来空洞卷积的各个分支后面添加3*3的卷积，进一步对特征进行提取；改进的DeepLab网络得到每一个像素的标签作为语义分割的结果。


3.根据权利要求2所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLabv3网络的类别包括建筑物、树木、道路、交通指示牌、汽车，所述改进的DeepLabv3网络对物体类别进行颜色标记。


4.根据权利要求3所述的基于语义分割的SLAM回环检测改进方法，其特征在于，所述改进的DeepLabv3网络使用全局注意力机制得到多尺度聚合特征图，从主干网络的卷积层中提取低层细节特征图，将多尺度聚合特征图和低层细节特征图作为共同送入解码器网络进行上采样，从而得到经过注意力筛选的语义分割图。


5.根据权利要求4所述的基于语义分割的SLAM回环检测改进方法，其特征在于，步骤四包括以下步骤：
5.1)、分析语义分割图中包含对应类别的对象，去除运动的对象对分割结果造成的干扰后，提取作为当前环境的模型特征的对象，从改进的DeepLab网络的卷积层结果中提取对象的特征向量，作为语义地点模型中表征对象属性的部分；
5.2)、标记参照对象，计算各个对象相对于参照对象的位置向量，将语义结果图分块，计算对象中心相对于参...

【专利技术属性】
技术研发人员：王博，吴忻生，陈安，陈纯玉，杨璞光，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44