一种基于卷积神经网络的回环检测方法技术

本发明专利技术公开了一种基于卷积神经网络的回环检测方法，首先利用开源框架Tensorflow训练的Inception V3网络，对待检测的图片进行卷积处理和池化处理并提取神经网络输出的描述子向量；其次，利用主成分分析算法对高维的描述子向量进行降维处理，并利用欧氏距离计算描述子向量的相似度；最后设定描述子向量的相似度阈值，并绘制出准确率‑召回率曲线以验证回环检测算法性能。基于卷积神经网络的回环检测方法，克服了基于人工特征的回环检测方法准确率低、计算量大、实时性差的缺陷等问题。

A loop detection method based on convolution neural network

【技术实现步骤摘要】
一种基于卷积神经网络的回环检测方法
本专利技术涉及一种基于卷积神经网络的回环检测方法，属于深度学习和SLAM

技术介绍
移动机器人在室内环境下根据视觉传感器数据在定位的同时构建地图，即视觉SLAM(SimultaneousLocalizationandMapping,SLAM)技术，是实现移动机器人自主定位的关键。传统的视觉SLAM技术分为视觉里程计、后端优化、回环检测和地图构建等四个部分。回环检测作为视觉SLAM系统中的重要一环，在降低累积误差、提高地图构建精度方面发挥着重要作用。因此，回环检测的算法性能将直接影响地图构建的准确性，错误的回环将导致整个地图构建失败。回环检测的关键，在于识别出移动机器人曾经到达过的场景。基于外观的回环检测算法将机器人在当前位置获取到的图像与先前位置的图像进行比较，一旦图像间的相似度高于设定的阈值，即认为机器人又回到了曾经访问过的位置。因此，回环检测的实质是图像匹配问题。在当前比较成熟的视觉SLAM系统中，一般采用词袋模型(BagofWords,BoW)的方法实现回环检测。该方法通过提取特征点来描述图像特征，对各帧图像间的相似性进行计算。词袋模型方法虽然在开源SLAM框架中取得了不错的效果，但对场景外观变化十分敏感，存在计算量大、误匹配率高等问题，而且高度依赖于离线训练的单词数量。近几年，深度学习理论和技术得到快速发展，在解决图像识别和分类问题上优势明显。基于卷积神经网络的回环检测方法，可提取到图像的高层特征信息，具有更强的鲁棒性，可以提高回环检测方法的准确率和召回率。
技术实现思路
技术问题：本专利技术提出一种基于卷积神经网络的回环检测方法，该方法可以有效解决传统回环检测方法误匹配率高和计算量大等问题。技术方案：本专利技术的基于卷积神经网络的回环检测方法，包括如下步骤：步骤1.将待检测图像Ii输入到训练好的卷积神经网络中，进行卷积和池化处理，并提取高维描述子向量Di，i＝1,2…N，其中高维描述子向量Di的维数为d，N为该待检测图像Ii序列的长度；步骤2.将步骤1中提取的高维描述子向量Di利用主成分分析法进行降维处理，得到低维描述子向量DPCA-i，其中低维描述子向量DPCA-i的维数为dpca；步骤3.遍历图像序列，利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算；步骤4.设定相似度阈值，当图像序列中两低维描述子向量的相似度小于相似度阈值时，检测结果判定为回环；步骤5.对输出的回环信息进行检查，计算回环检测算法的准确率和召回率；步骤6.重复步骤4至步骤5，根据计算出的多组准确率和召回率，绘制出准确率-召回率曲线以验证回环检测算法性能。进一步的，本专利技术方法中，步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络，该网络由42层组成。进一步的，本专利技术方法中，步骤3中利用欧氏距离公式对降维后的描述子向量D–PCA-i进行相似度计算，计算公式为：其中，相似度矩阵Sim为N阶方阵，N为该待检测图像Ii序列的长度，DPCA-m为当前帧图像Im的低维描述子向量，DPCA-n为当前帧图像Im对应的历史帧图像In的低维描述子向量，||DPCA-m||2为DPCA-m的L2范数，||DPCA-n||2为DPCA-n的L2范数，L2范数即向量的模，Sim(m,n)代表Im与图像In的相似度。进一步的，本专利技术方法中，步骤4中设置相似度阈值的计算公式为：thrk＝1-thrbase*k，count＝1/thrbase，k＝1,2…count；其中，thrk代表相似度阈值，count代表相似度阈值的数目，thrbase代表相似度阈值的步长，k代表相似度阈值对应的编号。进一步的，本专利技术方法中，步骤5中，准确率Pk的计算公式为：Pk＝TPk/(TPk+FPk)，其中，TPk的含义为：当阈值为thrk时，实际是回环而且算法的判定结果也是回环的数目；FPk的含义为：当阈值为thrk时，实际不是回环但是算法判定结果是回环的数目；召回率Rk的计算公式为：Rk＝TPk/(TPk+FNk)，其中FNk的含义为：当阈值为thrk时，实际是回环但是算法判定结果不是回环的数目。有益效果：本专利技术与现有技术相比，具有以下优点：本专利技术提供的基于卷积神经网络的回环检测方法，相对于现有技术具有如下优势：1.通过卷积神经网络提取图像的高层特征信息，保证了模型的稳健性，有利于提高预测结果的可靠性；2.采用欧氏距离公式计算图像的相似度，可有效提高相似度矩阵中元素的区分度。附图说明图1为本专利技术具体实施方式的流程框图；图2为CityCenter数据集在经过本方法处理后的回环信息；图3为CityCenter数据集的真实回环信息；图4为CityCenter-Left数据集的准确率-召回率曲线；图5为CityCenter-Right数据集的准确率-召回率曲线。具体实施方式为了详细的说明本专利技术公开的技术方案，下面结合说明书附图和具体实施例做进一步的阐述。实施方式的平台为Windows10操作系统，开发环境为PyCharm2017和Matlab2014。如图1所示，本专利技术的基于卷积神经网络的回环检测方法，具体步骤如下：1)将待检测图像Ii输入到在深度学习框架Tensorflow中预先训练的InceptionV3网络中，进行卷积和池化处理，并提取图像Ii池化层的输出向量作为高维描述子向量Di，i＝1,2…N，其中Di的维数为d，N为图像序列的长度，高维描述子向量的维数d由神经网络输出层的维数决定，本实施例中取2048,N取1237；2)将神经网络输出的高维描述子向量Di利用主成分分析法进行降维处理，得到低维描述子向量DPCA-i，其中低维描述子向量DPCA-i的维数为dpca，dpca由高维描述子向量的维数d决定的，根据经验值本实施例中dpca取500；3)利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算，计算公式为：其中，相似度矩阵Sim为N阶方阵，N为该待检测图像Ii序列的长度，DPCA-m为当前帧图像Im的低维描述子向量，DPCA-n为当前帧图像Im对应的历史帧图像In的低维描述子向量，||DPCA-m||2为DPCA-m的L2范数，||DPCA-n||2为DPCA-n的L2范数，L2范数即向量的模，Sim(m,n)代表Im与图像In的相似度。4)设置相似度阈值的计算公式为：thrk＝1-thrbase*k，count＝1/thrbase，k＝1,2…count；其中，thrk代表相似度阈值，count代表相似度阈值的数目，thrbase代表相似度阈值的步长，本实施例中依据一般经验值，权衡计算量与精度的情况下，thrbase取0.005，count取200，k代表本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的回环检测方法，其特征在于，该方法包括以下步骤：/n步骤1.将待检测图像I

【技术特征摘要】
1.一种基于卷积神经网络的回环检测方法，其特征在于，该方法包括以下步骤：
步骤1.将待检测图像Ii输入到训练好的卷积神经网络中，进行卷积和池化处理，并提取图像Ii池化层的输出向量作为高维描述子向量Di，i＝1,2…N，其中高维描述子向量Di的维数为d，N为该待检测图像Ii序列的长度；
步骤2.将步骤1中提取的高维描述子向量Di利用主成分分析法进行降维处理，得到低维描述子向量DPCA-i，其中低维描述子向量DPCA-i的维数为dpca；
步骤3.遍历图像序列，利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算；
步骤4.设定相似度阈值，当图像序列中两低维描述子向量的相似度小于相似度阈值时，检测结果判定为回环；
步骤5.对输出的回环信息进行检查，计算回环检测算法的准确率和召回率；
步骤6.重复步骤4至步骤5，根据计算出的多组准确率和召回率，绘制出准确率-召回率曲线以验证回环检测算法性能。


2.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤1中所选用的卷积神经网络为在深度学习框架Tensorflow中预先训练的InceptionV3网络，该网络由42层组成。


3.根据权利要求1所述的基于卷积神经网络的回环检测方法，其特征在于，步骤3中所述利用欧氏距离公式对低维描述子向量DPCA-i进行相似度计算，计算公式为：

【专利技术属性】
技术研发人员：程向红，高源东，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32