基于结构性线条的视觉SLAM方法技术

本发明专利技术提供了一种基于结构性线条的视觉SLAM方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建（SLAM）；该方法包括如下步骤：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。

【技术实现步骤摘要】
基于结构性线条的视觉SLAM方法
本专利技术涉及视觉同步定位与地图构建(SLAM)领域，可应用于移动机器人、无人机的自主导航，也可用于移动终端的增强现实及虚拟建模。
技术介绍
目前，同步定位与地图构建(SLAM)是实现自主导航的基本问题与研究热点。它的目标是解决在进入未知环境后，如何感知周围环境构建增量式地图，并同时进行自身定位的问题。用于感知周围环境的传感器有很多种，摄像设备凭借其廉价，体积小，便于安装等优点使视觉SLAM方法成为领域中重要研究内容。传统的理论主要是利用环境中的特征点制图和定位，优点是特征点便于检测和跟踪，而缺点则是对于一些人造建筑的环境如走廊的墙面等，往往因为缺少特征点而严重影响SLAM的准确度。现有技术也有利用线段实现SLAM的，但其通过跟踪线段的两个端点的方法使其在本质上无异于之前的特征点SLAM。还有一些技术，将垂直线量化成地面上的一点，而这将原本的六个自由度局限在了2D平面。
技术实现思路
本专利技术要解决的技术问题是提供一种能在特征数目很少的情况下依然保证高精度的SLAM方法，同时使得最后地图的描述与三位重建更清晰。为了解决这一技术问题，本专利技术提供了一种基于结构性线条的视觉SLAM方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建(SLAM)；该方法包括如下步骤：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。SLAM初始化时，对采集的环境图像进行线条检测，根据检测到的线条计算消失点，再依据不同的消失点对检测到的线条进行分类，选择其中线条最多的三类或N类作为主导方向。在对新增线条进行参数化时，先确认该特征线条属于哪一主导方向，利用该特征线条所属的主导方向表示其方向，再求得该特征线条与参考平面的交点，作为特征线条的参数记录在卡尔曼滤波器的状态向量中；其中参考平面为世界坐标系下两两垂直的XY、YZ或ZX平面，参考平面的选择依据该特征线条与三个平面法线方向的夹角，夹角最小的平面被选为该特征线条的参考平面。确定该特征直线属于哪一主导方向时，将三个主导方向所对应的三个消失点分别与该特征直线的中点连接，形成三条参考直线，其中一条所述参考直线与该特征直线共线或接近共线时，则判定该线条为对应主导方向上的特征直线。通过更新所述摄像设备的参数实现所述摄像设备的定位，所述摄像设备的参数至少包括了其在世界坐标系中的位置、姿态，角速度和速度。在找出匹配线条的过程中，先通过几何信息匹配过程和外观信息匹配过程选出类似直线，然后再通过局部更新滤波器剔除异常值，得到最佳的一个或多个线段作为匹配线段；在几何信息匹配过程中，选择与所述预测线条距离最近，且斜率最相似的若干线段；在外观信息匹配过程中，将线段中点的一块图像块与所述预测线条的图像块进行相似度的计算，选择相似度最佳的若干线段；同时经几何信息匹配过程和外观信息匹配过程选择得到的若干线段作为匹配线段。得到了直线的预测位置及其实际匹配的匹配线段后，计算预测位置与实际位置的偏差时，计算所述匹配线段的两个端点到该预测直线的有符号距离，计算过程中，若遇到长线段，则将长线段截取成长度一定的若干短线段，再分别计算。处理完每一帧图像后，还包括进行地图管理的过程，对于每一个主导方向，给定一个直线的最小数目，仅当现有的直线数目小于这个最小数目时，才对该主导方向上的新检测到特征线条进行参数化；在进行地图管理的过程中，用一个变量记录每个特征线条连续未被匹配的次数，该次数会在重新成功匹配后被清零，否则一直累加，当地图中的特征线条数目超过一定上限，我们则从地图中删除对应未被匹配次数最大的特征线条。所述摄像设备运动过程中，还实时进行特征点检测，通过所述特征线条和特征点共同实现实时定位和地图构建(SLAM)。本专利技术创造性地发现到，对于人造建筑的场景，包含了若干个主导方向的平面，而沿着这些主导方向的直线可以大致勾勒出建筑的结构，故可称之为结构性线条。例如绝大部分情况下，建筑都垂直于地面，那么就有一个主导方向是垂直于地面的，继而所有垂直于地面的直线都是属于这一主导方向的结构性线条，当然主导方向应该不只有一个。本专利技术利用摄像设备拍摄和采集人造建筑的结构性线条来实现六个自由度的视觉同步定位与地图构建(SLAM)。可见，本专利技术对特征线条进行了创造性地选择，并进一步地创造性地将其应用于SLAM方法中，充分利用了建筑的结构信息，即使在特征数目很少的情况下依然能够达到很高的精度。在最后的地图描述和三维重建上，结构性线条也能够比特征点更清晰的重现实际的地图场景。附图说明图1和图2为本专利技术一实施例中结构性线条在环境图像中和三维的世界坐标系中的对比示意图；图3为本专利技术一实施例中特征线条参数化的示意图；图4为本专利技术一实施例中结构性线条并结合特征点的SLAM和传统的基于点的MonoSLAM的结果比较示意图；图5为本专利技术一实施例中三维重建的结果示意图。具体实施方式以下将结合图1至图5对本专利技术提供的基于结构性线条的视觉SLAM方法进行详细的描述，其为本专利技术一可选的实施例，可以认为，本领域的技术人员在不改变本专利技术精神和内容的范围内能够对其进行修改和润色。本实施例是在传统SLAM上的改进，其提供了一种基于结构性线条的视觉SLAM方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建(SLAM)；主要过程通过matlab来实现，该方法包括如下步骤：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；将其参数化后才可以将特征线条投射到世界坐标系中，也能通过对参数进行进一步处理和更新；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。这里的实际位置其实为观测位置，卡尔曼滤波器依据预测位置和观测位置进行计算，通过状态向量和协方差矩阵进行估算，从而得到最佳的值，最终依据该值可以在三维世界坐标系中进行更精确的实时定位和地图构建(SLAM)。至于如何在三维世界坐标系下进行特征线条的投射，进而实现三维的地图构建以及具体的定位，在本领域都已有诸多文献有所记载，本实施例仅就与现有技术的区别部分进行详细阐述，故而不应因为本专利技术和实施例中未记载现有技术中已有的内容而认为本专利技术未充分公开，换言之，本领域的技术人员在将现有技术与本专利技术的技术方案结合的情况下，完全可以实现本专利技术的技术手段和技术效果。SLAM初始化时，对采集的环境图像进行线条检测，根据检测到的线条计算消失点，再依据不同的消失点对检测到的线条进行分类，选择其中线条最多的三类或N类作为主导本文档来自技高网...

【技术保护点】
一种基于结构性线条的视觉SLAM方法，其中，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建(SLAM)；该方法包括如下步骤：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征直线的位置以及所述摄像设备的位置和姿态。

【技术特征摘要】
1.一种基于结构性线条的视觉SLAM方法，其中，SLAM指实时定位和地图构建，提供了用以采集周围环境图像的摄像设备；利用建筑的结构性线条作为特征线条来实现实时定位和地图构建SLAM；该方法包括如下步骤：SLAM初始化：选择主导方向，采集主导方向上的线条作为特征线条，并对新增的特征线条进行参数化；SLAM过程中：针对每一帧图像，预测所述摄像设备的运动，并依此预测特征线条在下一帧图像中的位置，然后在下一帧图像中在预测位置附近寻找匹配线条，得到该特征线条在下一帧图像中的实际位置，进而计算预测位置与实际位置的偏差，再利用卡尔曼滤波器更新特征线条的位置以及所述摄像设备的位置和姿态；在对特征线条进行参数化时，先确认该特征线条属于哪一主导方向，利用该特征线条所属的主导方向表示其方向，再求得该特征线条与参考平面的交点，作为特征线条的参数记录在卡尔曼滤波器的状态向量中；其中参考平面为世界坐标系下两两垂直的XY、YZ或ZX平面，参考平面的选择依据该特征线条与三个平面法线方向的夹角，夹角最小的平面被选为该特征线条的参考平面。2.如权利要求1所述的基于结构性线条的视觉SLAM方法，其特征在于：SLAM初始化时，对采集的环境图像进行线条检测，根据检测到的线条计算消失点，再依据不同的消失点对检测到的线条进行分类，选择其中线条最多的N类作为主导方向。3.如权利要求1所述的基于结构性线条的视觉SLAM方法，其特征在于：确定该特征线条属于哪一主导方向时，将三个主导方向所对应的三个消失点分别与该特征线条的中点连接，形成三条参考直线，其中一条所述参考直线与该特征线条共线或接近共线时，则判定该线条为对应主导方向上的特征线条。4.如权利要求1所述的基于结构性线条的视觉SLAM方法，其特征在于：通过更新所述摄像设备的参数实现所述摄...

【专利技术属性】
技术研发人员：周慧中，邹丹平，裴凌，应忍冬，刘佩林，郁文贤，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31