一种语义特征和词袋模型相结合的视觉SLAM回环检测方法技术

本发明专利技术属于视觉SLAM技术领域，公开了一种语义特征和词袋模型相结合的视觉SLAM回环检测方法方法：采集工厂的运动视频数据，从运动视频数据中获取每帧图片，判断任意两帧图片之间的相似值，基于相似值删除冗余图片得到训练数据，基于训练数据对U

【技术实现步骤摘要】
一种语义特征和词袋模型相结合的视觉SLAM回环检测方法


[0001]本专利技术属于视觉SLAM
，具体涉及一种语义特征和词袋模型相结合的视觉SLAM回环检测方法。

技术介绍

[0002]随着工业化进程的加快，消费市场不断扩大，传统生产制造业订单类型已由“单一品种大批大量”开始向“多品种、小批量、多批次、高时效”转变。制造企业原有的依靠人工完成订单处理、物料入库、搬运、拣货、出库等作业模式，难以及时准确地完成大量信息处理工作，且错误率也会随任务复杂度而升高，如此不仅会增加企业经营成本，还会影响物流运作效率和商品流转交易等其他环节。因此，制造企业需要通过运用信息技术和智能机器设备代替人力劳动，完成智能化转型升级，以满足现代仓储系统柔性、高效、快速反应的要求，工厂物流用无人车应运而生。
[0003]在这种背景下以工厂物流用无人车为载体进行工厂、物品等的定位与建图(SLAM)的准确度尤为重要，在这一过程中，前端提供特征点的提取和轨迹、地图的初值，后端负责对所有这些数据进行优化。然而，如果像视觉里程计那样仅考虑相邻时间上的关键帧，那么之前产生的误差将不可避免地累积到下一个时刻，使得整个SLAM出现累积误差，长期估计的结果将不可靠，或者说，我们无法构建全局一致的轨迹和地图。所以需要回环检测来提升SLAM系统的精度与稳定性。
[0004]回环检测需要通过对过程中的两幅图像进行特征匹配，判断其相似性来确定回环关系。传统的SLAM回环检测中用到词袋模型(BoW,Bag
‑
of
‑
>words)，通过确定一幅图像中出现了哪些在字典中定义的概念，用单词出现的情况(或直方图)来描述整幅图像，把一幅图像转换成了一个向量的描述，然后通过定义一对对描述向量的相似性来定义图像之间的相似程度，从而进行相似度的计算判断是否存在回环关系。例如，我们说某张照片中有一个人、一辆车；而另一张中有两个人、一个机器设备。其中“人”“车”“设备”等概念——对应词袋模型中的“单词”，许多单词放在一起组成了“字典”。
[0005]目前视觉SLAM回环检测主要方式有传统的词袋模型以及基于概率和词袋模型的一些改进算法，但是传统方式依然存在一些问题：在工厂物流场景下，工厂环境多为白色，缺乏纹理性、难以提取特征、环境、物品复杂多变，使用传统的SLAM词袋模型对像光照之类的变化不敏感，在工厂环境有变化的情况下容易造成较大的波动，因此提取特征会存在准确精度低的现象。

技术实现思路

[0006]为了解决以上问题，本专利技术克服现有技术不足，结合基于深度学习的语义特征技术，提出一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，解决了工厂物流场景下，传统的SLAM词袋模型对像光照之类的变化不敏感，在工厂环境有变化的情况下容易造成较大的波动，提取特征会存在准确精度低的问题。
[0007]为了达到上述的专利技术目的，本专利技术提供了一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，包括如下步骤：
[0008]步骤1，利用工厂物流用无人车采集工厂的运动视频数据，从该运动视频数据中获取每帧图片，获取每帧图片的特征向量，通过计算任意两帧图片的特征向量之间的差值来确定任意两帧图片之间的相似值；
[0009]若任意两帧图片的相似值小于门限值时，则确定任意两帧图片为相似的图片，删除冗余图片，其中，冗余图片为任意两帧图片中的任一帧；
[0010]若任意两帧图片的相似值大于或等于门限值，则确定任意两帧图片是不相似的图片，保留任意两帧图片；
[0011]从获取的每帧图片中删除所有的冗余图片得到训练数据，将训练数据输入U
‑
net网络对U
‑
net网络进行训练，得到训练U
‑
net网络。
[0012]具体地，从U
‑
net网络的降采样部分的第一个有效卷积的中间层获取每帧图片的特征向量。
[0013]具体地，通过计算任意两帧图片的特征向量的欧几里得距离来确定任意两帧图片的特征矢向量之间的差值。
[0014]步骤2，利用工厂物流用无人车在移动过程中采集工厂的图片，获取该图片的RGB图，并将该RGB图用训练U
‑
net网络进行图像语义分割，得到语义标签。
[0015]步骤3，对上述图片中的语义标签进行聚类。
[0016]具体地，通过K
‑
means算法对语义标签进行聚类。
[0017]步骤4，对聚类后的语义标签进行相似性比较，获取候选关键帧。
[0018]具体地，把整张图片的语义标签都列出来，直接比较任意两帧图片的重复的语义标签，获取重复的语义标签在任意两帧图片的语义标签中的比例，若上述比例超过预设的阈值，则将该帧图片列入候选关键帧列表。
[0019]步骤5，在检测到有关键帧插入后，进入回环检测。
[0020]具体地，进行闭环检测具体包括如下步骤：
[0021]步骤5.1，若距离上次闭环小于10帧,则直接退出；
[0022]步骤5.2，遍历关键帧的所有共视关键帧，基于词袋模型计算关键帧与每个共视关键帧的相似度，找出相似度中的最低分，删除最低分对应的共视关键帧；
[0023]步骤5.3，找出与关键帧相连的帧，遍历该帧的所有单词，提取出拥有上述所有单词的所有帧，存放在候选帧列表中；
[0024]步骤5.4，遍历候选帧列表，将候选帧列表中共有单词数较多且相似度高于上述最低分的帧存放在匹配列表中；
[0025]步骤5.5，将匹配列表中每一帧与该帧共视程度较高的帧每10帧组成一组，选出累计得分最高的一组,记录下累计最高分，将累计得分大于0.75倍该累计最高分的组里的得分最高的帧都存放在闭环候选列表中，成为候选帧。
[0026]步骤5.6，进行连续性检测。
[0027]本专利技术公开的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，采用高质量数据对U
‑
net网络进行训练，以提高图像识别的准确性，然后通过训练后的U
‑
net网络对每一帧图片进行语义分割，并对聚类后的语义标签进行相似性比较，排除一些不符合检
测标准的帧，便于后期确定出真正的闭环关键帧，克服了由于工厂的仓库和墙白色、工厂环境复杂多变导致在传统特征提取下提取不到的情况，提高了在工厂物流场景下以无人车自动驾驶为载体进行粮库等的定位与建图(SLAM)回环检测的精度。
附图说明
[0028]图1为本专利技术的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法的流程图；
[0029]图2为本专利技术的获取训练数据的第一实施例的方法流程图；
[0030]图3为本专利技术的获取训练数据的第二实施例的方法流程图。
具体实施方式
[0031]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术经行进一步的详细说明。显然，此处所描述的具体实施例仅仅用于解释本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，其特征在于，包括如下的步骤：步骤1，利用工厂物流用无人车采集工厂的运动视频数据，从所述运动视频数据中获取每帧图片，获取所述每帧图片的特征向量，通过计算任意两帧图片的特征向量之间的差值来确定所述任意两帧图片之间的相似值；若所述任意两帧图片的相似值小于门限值时，则确定所述任意两帧图片为相似的图片，删除冗余图片，其中，所述冗余图片为所述任意两帧图片中的任一帧；若所述任意两帧图片的相似值大于或等于门限值，则确定所述任意两帧图片是不相似的图片，保留所述任意两帧图片；从获取的所述每帧图片中删除所有的冗余图片得到训练数据，将所述训练数据输入U
‑
net网络对U
‑
net网络进行训练，得到训练U
‑
net网络；步骤2，利用所述工厂物流用无人车在移动过程中采集工厂的图片，获取所述图片的RGB图，并将所述RGB图用所述训练U
‑
net网络进行图像语义分割，得到语义标签；步骤3，对所述图片中的所述语义标签进行聚类；步骤4，对聚类后的所述语义标签进行相似性比较，获取候选关键帧；步骤5，在检测到有关键帧插入后，进入回环检测。2.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，其特征在于，从所述U
‑
net网络的降采样部分的第一个有效卷积的中间层获取所述每帧图片的特征向量。3.根据权利要求1所述的一种语义特征和词袋模型相结合的视觉SLAM回环检测方法，其特征在于，通过...

【专利技术属性】
技术研发人员：张博强，张小彩，李东鼎，高天智，张涛，冯天培，孙朋，陈晨，刘竟飞，张勋，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：