一种优化的视觉SLAM方法技术

本发明专利技术涉及一种优化的视觉SLAM方法，包括：获取SLAM定位过程中当前图像帧及当前图像帧的特征点、描述子；描述子为训练的神经网络得到的优化描述子或其他算法得到的描述子，基于描述子获取当前与上一相邻图像帧的相似度，并满足预设条件时，归属到字典Ω中，以及更新视觉地图；同时基于字典Ω的键，周期性采用筛选策略筛选用于神经网络训练的键的训练集合Ψ，若训练集合Ψ满足训练条件，则基于训练集合Ψ中各键的值训练所述神经网络；训练集合Ψ中每一键均为具有稳定可靠性的键。本发明专利技术的方法实现在视觉定位优化中无监督自主训练神经网络，同时借助神经网络获取可靠的优化描述子进行相似度匹配，提高了定位的精度和可靠性。提高了定位的精度和可靠性。提高了定位的精度和可靠性。

【技术实现步骤摘要】
一种优化的视觉SLAM方法


[0001]本专利技术涉及机器人
，尤其涉及一种优化的视觉SLAM（SimultaneousLocalization and Mapping，同步建图与定位）方法。

技术介绍

[0002]目前，在机器人自主导航应用领域，基于特征点的视觉SLAM是一种主流的建图与定位方法。通常，基于特征点的视觉SLAM方法分为前端与后端两个部分，前端部分负责提取和匹配特征点（比如SIFT,ORB,SURF特征），然后根据配对的特征点估计相机的相对运动，即计算得到连续采集到的图片之间的相机位姿变化关系，进而生成机器人移动的轨迹，同时将多帧稳定共视的空间特征点保存作为视觉地图的标记。而后端部分采用图优化的方式对于整张/局部区域地图上的标记位置及机器人移动轨迹进行修正，以减小前端计算中积累下来的误差。基于特征点的视觉SLAM的优点是使用3D视觉信息，相较于2D激光SLAM更为丰富，且蕴含了空间结构、纹理信息，因此其对环境的变化更为鲁棒，并且更加适合进一步的更高层次语义级别的应用。
[0003]然而，基于特征点的视觉SLAM方法十分依赖特征点提取的描述子计算的稳定性与可靠性，由于环境光的干扰（阳光、灯光）等因素，同样位置的特征点在不同的环境光条件，不同角度情况下往往表现出不同的视觉特征，计算出的描述子有很大的区别，同一特征点计算出来的描述子差别非常大，导致后续匹配失败。因此，在实际SLAM过程中，特征点的提取及其特征描述子的计算存在极大的不确定性。即现有技术中特征点描述子匹配计算有较大的误差，导致同一个特征点的局部特征图像无法匹配成功，非同一个特征点的局部特征图像误匹配，进而影响建图与定位的精度及可靠性，同时亦会降低SLAM闭环检测成功率，进一步影响后端对于整个地图的优化。

技术实现思路

[0004]（一）要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种优化的视觉SLAM方法。
[0005]（二）技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：第一方面，本专利技术实施例提供一种优化的视觉SLAM方法，其包括：A10、获取SLAM定位过程中当前图像帧，在当前图像帧非起始图像帧时，获取当前图像帧中关注区域的局部特征图像、该局部特征图像的特征点和每一特征点的描述子；其中，描述子为训练完的神经网络对局部特征图像处理的优化描述子，或神经网络未训练完时视觉算法对局部特征图像处理的描述子；A20、对当前图像帧中的特征点、描述子和上一相邻图像帧中的特征点、描述子进行匹配，获取描述子相似度信息；A30、若描述子的相似度信息满足预设条件，则将当前图像帧的局部特征图像归属
到上一相邻图像帧的局部特征图像所属的图片集合中，若不存在上一相邻图像帧的局部特征图像所属的图片集合，则在字典Ω中添加新的键，并将当前图像帧的局部特征图像和上一相邻图像帧的局部特征图像作为新键的值；字典Ω中各键的值均为图片集合；所述键为具有标识的特征点；以及获取当前图像帧和上一相邻图像帧中相机的位置变化信息，并更新相机位置集合P中的相机位姿，获得具有相机位置轨迹的视觉地图；A40、基于字典Ω中的键，周期性采用筛选策略筛选用于神经网络训练的键的训练集合Ψ，若训练集合Ψ满足训练条件，则基于训练集合Ψ中各键的值训练所述神经网络；训练集合Ψ中每一键所属的特征点均具有稳定可靠性。
[0006]可选地，所述方法还包括：给定用于跟踪特征点的字典Ω，字典Ω记录正在跟踪中的所有特征点的局部特征图像集合，字典Ω的键KEY为具有ID的特征点，而每个键对应的值VALUE为图片集合，图片集合中各局部特征图像携带有所属图像帧的序号；将相似度信息符合预设条件的各局部特征图像添加到匹配的特征点的图片集合；在SLAM定位过程开始时，字典Ω为空，训练集合Ψ为空；训练集合Ψ表示神经网络训练样本的集合；当前图像帧i所有提取的特征点集合为Ф
i
，Ф
i
中所有特征点具有唯一标识，如果当前图像帧为SLAM定位过程中的起始图像帧，则i=1，并将当前图像帧的所有局部特征图像添加至字典Ω。
[0007]可选地，所述A20包括：在神经网络未训练完成时，将Ф
i
中特征点的描述子与上一相邻图像帧的Ф
i
‑1中特征点的描述子进行匹配，将描述子的相似度作为与预设条件判断的依据；在神经网络训练完成时，将当前图像帧的局部特征图像输入训练的神经网络进行正向计算，得到当前图像帧的优化描述子，将上一相邻图像帧的局部特征图像输入训练的神经网络进行正向计算，得到上一相邻图像帧的优化描述子，以及将Ф
i
中特征点的优化描述子与上一相邻图像帧的Ф
i
‑1中特征点的优化描述子进行匹配，将优化描述子的相似度作为与预设条件判断的依据。
[0008]可选地，所述A30包括：如果当前图像帧中的特征点，上一图像帧中的特征点且两个特征点的描述子的相似度信息满足预设条件，且所属的局部特征图像属于字典Ω中某个键的图片集合，则将所属的局部特征图像加入该图片集合；如果当前图像帧中的特征点，上一图像帧中的特征点且两个特征点的描述子的相似度信息满足预设条件，且所属的局部特征图像不属于字典Ω中任意键的图片集合，则向字典Ω中添加一个新的键，同时将与各自所属的局部特征图像组成一个新的键的图片集合。
[0009]可选地，所述方法还包括：在当前图像帧i处理之后，查看字典Ω中每一键k，将键k的图片集合中最后更新的局部特征图像的序号s与当前图像帧i作比较；若i
‑
s大于给定的第二阈值，则判断：
该键k的图片集合中局部特征图像的数量大于给定的第三阈值，则，认为键k所属的特征点具有稳定可靠性；k为字典Ω中键的序号；并将该键k的键值对添加到训练集合Ψ；同时在视觉地图中更新相机位置轨迹；若i
‑
s大于给定的第二阈值，则判断键k所属的特征点不具有稳定可靠性，在字典Ω中删除键k及键k的图片集合，以及不在视觉地图中更新相机位置。
[0010]可选地，基于字典Ω的键，周期性采用筛选策略筛选用于神经网络训练的键的训练集合Ψ，若训练集合Ψ满足训练条件，则基于训练集合Ψ中各键的值训练所述神经网络，包括：判断字典Ω中的每一键m的图片集合中局部特征图像的数量是否大于给定的第三阈值，若是，则认为键m的特征点具有稳定可靠性，并将键m的键值对添加到训练集合Ψ；所述键值对包括键及该键的图片集合；m为字典Ω中键的序号；若训练集合Ψ中图片数量超过给定的第四阈值，则对训练集合中的各图片进行干扰增强处理，获取最终的训练集合，并采用最终的训练集合训练所述神经网络。
[0011]可选地，所述对训练集合中的各图片进行干扰增强处理，包括：基于随机生成的一系列图像增强系数，对各图片的所有像素点值进行线性或非线性的变化，使得图片整体变亮或者变暗，进而生成一系列新的局部特征图片；和/或，针对每一图片的旋转中心轴，将各图片以随机给定的旋转角度进行旋转，生成一系列新的局部特征图片。
[0012]可选地，并采用最终的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化的视觉SLAM方法，其特征在于，包括：A10、获取SLAM定位过程中当前图像帧，在当前图像帧非起始图像帧时，获取当前图像帧中关注区域的局部特征图像、该局部特征图像的特征点和每一特征点的描述子；其中，描述子为训练完的神经网络对局部特征图像处理的优化描述子，或神经网络未训练完时视觉算法对局部特征图像处理的描述子；A20、对当前图像帧的特征点、描述子和上一相邻图像帧的特征点、描述子进行匹配，获取描述子相似度信息；A30、若描述子的相似度信息满足预设条件，则将当前图像帧的局部特征图像归属到上一相邻图像帧的局部特征图像所属的图片集合中，若不存在上一相邻图像帧的局部特征图像所属的图片集合，则在字典Ω中添加新的键，并将当前图像帧的局部特征图像和上一相邻图像帧的局部特征图像作为新键的值；字典Ω中各键的值均为图片集合；所述键为具有标识的特征点；以及获取当前图像帧和上一相邻图像帧中相机的位置变化信息，并更新相机位置集合P中的相机位姿，获得具有相机位置轨迹的视觉地图；A40、基于字典Ω中的键，周期性采用筛选策略筛选用于神经网络训练的键的训练集合Ψ，若训练集合Ψ满足训练条件，则基于训练集合Ψ中各键的值训练所述神经网络；训练集合Ψ中每一键所属的特征点均具有稳定可靠性。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：给定用于跟踪特征点的字典Ω，字典Ω记录正在跟踪中的所有特征点的局部特征图像集合，字典Ω的键KEY为具有ID的特征点，而每个键对应的值VALUE为图片集合，图片集合中各局部特征图像携带有所属图像帧的序号；将相似度信息符合预设条件的各局部特征图像添加到匹配的特征点的图片集合；在SLAM定位过程开始时，字典Ω为空，训练集合Ψ为空；训练集合Ψ表示神经网络训练样本的集合；当前图像帧i所有提取的特征点集合为Ф
i
，Ф
i
中所有特征点具有唯一标识，如果当前图像帧为SLAM定位过程中的起始图像帧，则i=1，并将当前图像帧的所有局部特征图像添加至字典Ω。3.根据权利要求2所述的方法，其特征在于，所述A20包括：在神经网络未训练完成时，将Ф
i
中特征点的描述子与上一相邻图像帧的Ф
i
‑1中特征点的描述子进行匹配，将描述子的相似度作为与预设条件判断的依据；在神经网络训练完成时，将当前图像帧的局部特征图像输入训练的神经网络进行正向计算，得到当前图像帧的优化描述子，将上一相邻图像帧的局部特征图像输入训练的神经网络进行正向计算，得到上一相邻图像帧的优化描述子，以及将Ф
i
中特征点的优化描述子与上一相邻图像帧的Ф
i
‑1中特征点的优化描述子进行匹配，将优化描述子的相似度作为与预设条件判断的依据。4.根据权利要求2所述的方法，其特征在于，所述A30包括：如果当前图像帧中的特征点，上一图像帧中的特征点且两个特征点的描述子的相似度信息满足预设条件，且所属的局部特征图像属于字典Ω中某个键的图
片集合，则将所属的局部特征图像加入该图片集合...

【专利技术属性】
技术研发人员：张易学，周玄昊，
申请(专利权)人：杭州蓝芯科技有限公司，
类型：发明
国别省市：