【技术实现步骤摘要】
本专利技术涉及视觉slam定位与建图，更具体地说，涉及一种改进点线融合和关键帧选择的双目视觉slam方法，用于实现移动机器人的自主定位与导航。
技术介绍
1、视觉slam是实现运动物体在未知场景下进行高精度定位和导航的关键技术，该技术在无人驾驶、增强现实/虚拟现实、自动引导车移动小车、移动机器人等领域广泛应用。视觉slam通常可分为直接法和特征点法两类。相较于直接法，特征点法能够极大限度适应场景的光照变化，对视觉相机的运动也不敏感，具有较高的鲁棒性。但是当场景中纹理信息不足时，特征点的数量会急剧减少，进而导致算法的精度降低，给slam技术的实际应用带来了极大的障碍。视觉slam系统在估计相机位姿的过程中，为避免位姿估计的累积误差，需要把所有帧的地图点与位姿统一进行非线性优化以提升slam系统的定位精度，但是系统的计算量也随之上升，为了实现计算机在有限的数据处理能力下也能对系统定位精度进行有效的提升，降低数据冗余，优化关键帧的选择是该问题的有效解决方法之一。
2、目前，已经存在基于半直接法使用点线特征的视觉里程计，之后又开源了基于双目的点线特征slam方法，其在回环检测模块中充分考虑并权衡点线特征。但是，这些方法线特征提取的实时性、轨迹精度和鲁棒性仍然较差。在关键帧选择方面，相关研究人员提出启发式阈值的关键帧筛选方法，该方法具有更高的鲁棒性，尽管这种方法展示了较高的鲁棒性，但在面对纹理特征较弱、光照强度不均或空间狭窄等特殊环境时，仍不足以准确地选择关键帧，从而影响整个系统的定位和地图构建性能。
<
1、1.专利技术要解决的技术问题
2、本专利技术使用的点线特征融合方法能够弥补仅点特征或仅线特征slam系统在复杂环境下无法获取充足特征信息的缺陷；改进点线融合后的误差函数能够有效剔除系统中的异常值，提升系统跟踪匹配的准确率；通过引入自适应因子平衡线特征在光束平差过程中的参与程度，减少系统的计算量，提升系统的实时性；本专利技术设计的几何映射模型，能够有效减少冗余关键帧的生成，增强系统对复杂环境的适应能力。
3、2.技术方案
4、为达到上述目的，本专利技术提供一种基于改进点线融合和关键帧选择的双目视觉slam方法，在orb-slam3的基础上线特征提取模块，提升系统在复杂环境下的特征丰富度，利用融合线特征距离误差和角度测量误差，进行异常值的有效剔除，提升系统的准确性；在光束平差过程中，采用设置自适应因子平衡线特征的参与度，动态调节点、线特征的作用效果，提升系统的灵活度；在跟踪线程决定是否插入关键帧的约束条件上，通过设置动态阈值选择最佳的关键帧，提高了系统的准确性，实现slam系统的精准定位。本专利技术公开了一种基于改进点线融合和关键帧选择的双目视觉slam方法，包括如下步骤：
5、步骤1、选择orb-salm3作为主体框架，增加线特征提取线程，弥补复杂场景中特征信息不足的缺陷，利用融合加权线特征的距离误差和角度测量误差剔除异常值；
6、步骤2、光束平差过程中引入自适应因子平衡线特征的参与程度；
7、步骤3、改进关键帧的选择策略；
8、步骤4、进行位姿误差估计。
9、更进一步地，步骤1所述线特征的检测和描述使用lsd检测器和lbd描述符(linebanddiscriptor)，在光束平差(bundle adjustment，ba)优化过程中，由于特征提取、匹配或环境场景的光照变化等原因导致slam系统存在少量的离群点，本文使用两种误差函数，一种是传统的最小化从重投影的端点到观测线段的距离，在此基础上，增加角度测量误差函数进一步约束slam系统对于离群值的剔除。
10、更进一步地，步骤1所述的距离误差函数使用重投影的三维线段的端点与其在图像平面上对应的直线端点之间的欧几里得距离，距离误差函数表示为：
11、
12、更进一步地，步骤1所述的角度距离误差函数采用重投影线段和观测线段之间夹角的余弦值，角度测量误差函数表示为：
13、
14、更进一步地，步骤2中所述的光束平差是跟踪线程中的仅运动光束平差，只对相机参数(运动参数)进行优化，对3d结构(地标)保持不变；
15、更进一步地，步骤2中引入的自适应因子根据特征点的集群数目的总和值动态地调整，在实际应用中，通过观测初始观测帧中参与匹配关联特征的数量，根据slam系统特征提取的一般性能情况，自适应因子表示为：
16、
17、更进一步地，步骤3中所述改进关键帧的选择策略通过在几何和时间上进行约束，选择那些能最大限度增加环境理解的关键帧还可以减少冗余计算。
18、更进一步地，步骤3中的几何约束通过基于特征点在不同帧间的数量变化建立几何映射模型。当帧从上一个关键帧移动到当前帧时，矢量在每个区域内对应的特征点数量也发生变化，基于这些变化点的数量，确定动态阈值，以决定是否插入新的关键帧。动态阈值表示为：
19、t＝(1+εθ+α-β)·tinitial
20、其中，tinitial代表关键帧选择策略中的初始阈值，定义为：
21、
22、nc表示当前帧与上一关键帧对应特征点的数量，nr表示参考帧与上一关键帧对应特征点的数量，bc表示当前帧中所有特征点的数量，br表示参考帧中所有特征点的数量，cc表示当前帧与上一关键帧的映射区域中发生特征点变化的数量，cr表示参考帧与上一关键帧的几何映射平面中发生特征点变化的数量。
23、θ系数定义为：
24、
25、ε系数为：
26、
27、系数α：
28、
29、β定义为：
30、
31、更进一步地，步骤4中本专利技术使用euroc数据集进行改进点线融合和关键帧选择后的位姿误差估计，测试中分别对orbs-slam3、pl-slam进行对照实验，通过测评轨迹与真值的贴合程度及ate值来评估算法的优越性。
32、更进一步地，步骤4中为了全面评估本专利技术的性能，选择具有代表性的弱纹理会议室场景作为真实测试环境，以回到起点的距离作为误差判定实验结果，以检验系统的抗干扰能力。
33、3.有益效果
34、采用本专利技术提供的技术方案，与已有的公知技术相比，具有如下显著效果：
35、(1)本专利技术的一种基于改进点线融合和关键帧选择的双目视觉slam方法，在前端特征提取模块增加特征线提取模块，有效弥补了在弱纹理环境下特征信息提取不足的缺陷，同时根据运动估计方法，对线特征的匹配进行约束，筛选出符合条件的线段；在线段重投影误差部分通过融合欧几里得距离和角度距离两种方法的误差函数，并对其加权处理，实现异常值的剔除；在此基础上，针对光束平差法中的点线特征选择问题，引入自适应因子衡量线段在平差过程中的参与程度。在关键帧选择方面，本专利技术依据几何和摄影测量原理设计了一种关键帧选择方法，并依据相机的本文档来自技高网...
【技术保护点】
1.一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：
2.根据权利要求1所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于，包括如下步骤：
3.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤1所述的线特征采用LSD(Line Segment Detector)提取器进行特征提取，选择256位的LBD(Line Band Descriptor)描述子对不同帧间的线段进行匹配。
4.根据权利要求3所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤1所述的距离误差使用重投影的线段的端点与其在图像平面上对应的直线端点之间的欧几里得距离，角度测量误差使用观测到的线段和重投影线段之间的角度误差的余弦值表示。
5.根据权利要求4所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤1中加权后的误差函数表示为：
6.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在
7.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤3所述的根据几何约束建立基于特征点数量变化的几何映射模型，通过统计每帧图像中的特征点总点数、跟踪点数以及几何映射区域内发生变化的点的数量等参数来确定动态阈值，约束关键帧的选择。
8.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤4中位姿误差估计实验使用开源数据集Euroc，对本专利技术方法有效性进行检验，测试包含轨迹定位效果和位姿漂移结果，通过测评产生的ATE值来评估算法的优越性。
9.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉SLAM方法，其特征在于：步骤4中使用四轮差速小车自制会议室弱纹理数据集，以回到起点的距离作为误差判定结果，对本专利技术所提算法可靠性进行评估。
...【技术特征摘要】
1.一种基于改进点线融合和关键帧选择的双目视觉slam方法，其特征在于：
2.根据权利要求1所述的一种基于改进点线融合和关键帧选择的双目视觉slam方法，其特征在于，包括如下步骤：
3.根据权利要求2所述的一种基于改进点线融合和关键帧选择的双目视觉slam方法，其特征在于：步骤1所述的线特征采用lsd(line segment detector)提取器进行特征提取，选择256位的lbd(line band descriptor)描述子对不同帧间的线段进行匹配。
4.根据权利要求3所述的一种基于改进点线融合和关键帧选择的双目视觉slam方法，其特征在于：步骤1所述的距离误差使用重投影的线段的端点与其在图像平面上对应的直线端点之间的欧几里得距离，角度测量误差使用观测到的线段和重投影线段之间的角度误差的余弦值表示。
5.根据权利要求4所述的一种基于改进点线融合和关键帧选择的双目视觉slam方法，其特征在于：步骤1中加权后的误差函数表示为：
6....
【专利技术属性】
技术研发人员：金仁才，程安春，黄金坤，李丹，汪佳，李俊祥，户纯龙，齐美久，孔炯，房政，
申请(专利权)人：中国十七冶集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。