一种基于线特征的改进词袋模型的回环检测方法技术

本发明专利技术涉及一种基于线特征的改进词袋模型的回环检测方法，包括以下步骤：通过离线图像数据集提取LSD(Line Segment Detector)特征并计算对应的LBD描述符，将描述符作为聚类生成词典的原始数据。利用改进的词袋模型构建方法构建LSD特征词袋模型，构建出具有自适应分支的视觉词典树。词袋模型向量转化。视觉单词权重优化。相似度计算：根据当前帧和历史关键帧之间的视觉词袋向量采用L1范数计算相似度，获得图像间的外观相似度评分。获取回环候选帧并分组，剔除掉那些孤立的外观相似的回环候选帧。连续性验证只有持续检测到回环，才能认为这是一个可靠的回环候选，则保留该回环候选。几何一致性验证。

【技术实现步骤摘要】
一种基于线特征的改进词袋模型的回环检测方法
本专利技术涉及视觉SLAM(SimultaneousLocalizationAndMapping：同步定位与建图)领域，尤其涉及一种基于线特征的改进词袋模型的视觉SLAM回环检测方法。
技术介绍
回环检测是视觉SLAM中不可缺少的一部分，能够消除视觉里程计部分所产生的累计误差，从而构建出全局一致的地图。基于词袋模型的回环检测算法是当前的主要方法，其通过构建词袋模型对比图像之间的相似度来判断是否存在回环。词袋模型最早源于文本分析，通过对比文本中各单词出现的频率来确定文本的相似度。相应地，视觉词袋模型也是通过对比图像中“视觉单词”出现的频率，来衡量两张图像的相似度。2008年Cummins等人(CumminsM,NewmanP.FAB-MAP:ProbabilisticLocalizationandMappingintheSpaceofAppearance[M].SagePublications,Inc.2008.)提出了基于SURF(SpeededUpRobustFeatures)特征和Chou-Liu树的词袋模型，并且通过该词袋模型较好地实现了基于图像外观的相机位置识别。但其词袋模型向量是一个二进制向量，即只考虑了视觉单词是否在图像中出现，而没有考虑到不同单词出现的不同频率。2011年Galvez-Lopez等人(Galvez-LopezD,TardosJD.Real-timeloopdetectionwithbagsofbinarywords[C].InternationalConferenceonIntelligentRobotsandSystems,2011:25-30.)中采用FAST(FeaturesfromAcceleratedSegmentTest)关键点和BRIEF(BinaryRobustIndependentElementaryFeatures)二进制描述符实现点特征的提取和描述，并且引入了k-d树的数据结构进行词典构建。使用分层K-means聚类的方法，构建了基于点特征的二进制描述符视觉词袋模型。k-d树的词典结构也就导致了词典构建过程中所采用的K-means聚类都采用了相同的参数k，然而并不是任何数据使用同一个k值进行聚类，所得到的聚类结果都是最好的。随后，2015年Mur-Artal等人(Mur-ArtalR,MontielJMM,TardosJD.ORB-SLAM:aversatileandaccuratemonocularSLAMsystem[J].IEEETransactionsonRobotics,2015,31(5):1147-1163)提出的ORB-SLAM中，构建了基于ORB(OrientedFASTandRotatedBRIEF)点特征的视觉词袋模型。ORB点特征解决了FAST关键点的旋转不变性和尺度不变性问题，并在实验中取得了较好的效果。但该视觉词典仍采用K-means聚类以及k-d树的词典结构，词袋模型构建过程并没有进行改进。上述基于点特征词袋模型的检测效果依赖从环境中提取到的点特征的数量，当环境中无法提取到足够的点特征时，且点特征容易扎堆出现，就无法计算视频帧的词袋向量及视频帧之间的外观相似度。在结构化低纹理的环境中，虽然常常无法提取到足够的点特征，但这种场景中有丰富的线特征可以利用。Lee等(LeeJH,ZhangG,LimJ,etal.Placerecognitionusingstraightlinesforvision-basedSLAM[C].,2013IEEEInternationalConferenceonRoboticsandAutomation(ICRA).IEEE,2013,pp.3799-3806)提出了基于MSLD(Mean-StandarddeviationLineDescriptor)线特征描述符的词袋模型，在实验中取得较好的效果。但MSLD线特征描述符并不具有尺度不变性，且计算复杂度较高，不利于实时运行。林利蒙等(林利蒙,王梅.改进点线特征的双目视觉SLAM算法[J].计算机测量与控制,2019(9):156-162)将点线特征构建在一个视觉词袋模型中，提取图像的点、线特征，使用词袋模型将两种特征转化到一个词袋向量中，并通过词袋向量计算图像相似度。专利201811250049.7(一种点线特征融合的紧耦合双目视觉惯性SLAM方法)则分别构建点特征词袋模型和线特征词袋模型，并计算两帧之间的点特征相似度评分和线特征相似度评分，并取其加权和作为最终两帧的相似度评分。这两种方法都使用了线特征构建词袋模型，但在视觉词袋模型构建过程中仍然使用的是K-means聚类和k-d树的词典结构，与上述几个词袋模型构建过程并无本质区别，同样无法获得较好的视觉单词聚类结果。而且词袋模型中单词权重计算方法都采用的是TF-IDF(TermFrequency-InverseDocumentFrequency)法，该方法考虑了视觉单词在当前图像中的频率，以及它在训练数据集上的重要性，但是并未考虑其在回环检测查询数据集上的重要性。综上所述，线特征是一种可以在结构化环境中代替点特征的局部特征，构建一种实时地基于线特征词袋模型的视觉SLAM回环检测算法，能够有效地解决在结构化低纹理环境中，基于点特征的回环检测算法无法有效检测出回环的问题。本文提出一种基于线特征的改进词袋模型的视觉SLAM回环检测算法，改进词袋模型的构建过程和视觉单词的权重。
技术实现思路
本专利技术针对在结构化低纹理环境中，难以提取到足够的点特征以实现视觉SLAM回环检测的问题，提出了一种基于线特征的改进词袋模型的回环检测方法。该算法能够在结构化环境中，利用丰富的线特征作为视觉局部特征，实现基于视觉的回环检测。并且通过改进词袋模型的构建方法和视觉单词权重计算方法，提高回环检测的准确率和召回率。技术方案如下：一种基于线特征的改进词袋模型的回环检测方法，包括以下步骤：步骤1：通过离线图像数据集提取LSD(LineSegmentDetector)特征并计算对应的LBD(LineBandDescriptor)描述符，将描述符作为聚类生成词典的原始数据。步骤2：利用改进的词袋模型构建方法构建LSD特征词袋模型：在构建词典树的每一次聚类之前，先确定针对当前数据的最优聚类k值k′，然后再将当前数据聚为k′类。如此循环直至最终构建出具有自适应分支的视觉词典树。步骤3：词袋模型向量转化：从图像中提取LSD-LBD线特征，根据构建的基于LBD描述符的词袋模型，以及线特征描述符和视觉单词之间的汉明距离，将图像中每一个线特征量化为对应的视觉单词，从而将整幅图像转化为对应的数值向量。步骤4：视觉单词权重优化：在回环检测中引入一个权重优化参数根据视觉单词在历史关键帧数据集上的分布情况，对词袋模型向量中的视觉单词权重进行优化，计算视觉单词的权重优化参数，并结合TF-IDF法计算出的单词权重，得到权重优化后的视觉本文档来自技高网...

【技术保护点】
1.一种基于线特征的改进词袋模型的回环检测方法，包括以下步骤：/n步骤1：通过离线图像数据集提取LSD(Line Segment Detector)特征并计算对应的LBD(Line Band Descriptor)描述符，将描述符作为聚类生成词典的原始数据；/n步骤2：利用改进的词袋模型构建方法构建LSD特征词袋模型：在构建词典树的每一次聚类之前，先确定针对当前数据的最优聚类k值k′，然后再将当前数据聚为k′类；如此循环直至最终构建出具有自适应分支的视觉词典树；/n步骤3：词袋模型向量转化：从图像中提取LSD-LBD线特征，根据构建的基于LBD描述符的词袋模型，以及线特征描述符和视觉单词之间的汉明距离，将图像中每一个线特征量化为对应的视觉单词，从而将整幅图像转化为对应的数值向量；/n步骤4：视觉单词权重优化：在回环检测中引入一个权重优化参数

【技术特征摘要】
1.一种基于线特征的改进词袋模型的回环检测方法，包括以下步骤：
步骤1：通过离线图像数据集提取LSD(LineSegmentDetector)特征并计算对应的LBD(LineBandDescriptor)描述符，将描述符作为聚类生成词典的原始数据；
步骤2：利用改进的词袋模型构建方法构建LSD特征词袋模型：在构建词典树的每一次聚类之前，先确定针对当前数据的最优聚类k值k′，然后再将当前数据聚为k′类；如此循环直至最终构建出具有自适应分支的视觉词典树；
步骤3：词袋模型向量转化：从图像中提取LSD-LBD线特征，根据构建的基于LBD描述符的词袋模型，以及线特征描述符和视觉单词之间的汉明距离，将图像中每一个线特征量化为对应的视觉单词，从而将整幅图像转化为对应的数值向量；
步骤4：视觉单词权重优化：在回环检测中引入一个权重优化参数根据视觉单词在历史关键帧数据集上的分布情况，对词袋...

【专利技术属性】
技术研发人员：孟庆浩，史佳豪，戴旭阳，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12