一种具有CNN辅助特征提取的SLAM方法、装置及储存介质制造方法及图纸

本发明专利技术公开了一种具有CNN辅助特征提取的SLAM方法、装置及储存介质，属于计算机视觉技术领域，包括：获取连续多帧RGB图像当前帧的ORB特征点；当连续多帧RGB图像当前帧质量满足预设条件时，则获取RGB图像当前帧的LoFTR特征点；对ORB特征点和LoFTR特征点进行筛选匹配。本发明专利技术在连续多帧RGB图像当前帧质量满足预设条件时，才获取RGB图像当前帧的LoFTR特征点，避免了在连续多帧RGB图像当前帧质量不满足预设条件时一直获取LoFTR特征点，在减轻设备压力的同时，提高了实时性，结合LoFTR特征点和ORB特征点进行匹配，解决了传统的特征点法在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的问题。定位效果较差的问题。定位效果较差的问题。

【技术实现步骤摘要】
一种具有CNN辅助特征提取的SLAM方法、装置及储存介质


[0001]本专利技术涉及一种具有CNN辅助特征提取的SLAM方法、装置及储存介质，属于计算机视觉


技术介绍

[0002]随着计算机技术的发展，自动驾驶技术也有了很大的突破，其中，最关键的定位模块是避障检测，路径规划的基本保障。slam近年来被更多的应用于自动驾驶定位模块，但对于使用传统的特征点法的slam系统，在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的情况。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供一种具有CNN辅助特征提取的SLAM方法、装置及储存介质，具有在低纹理、运动模糊或图片模式重复的区域产生高质量匹配的效果。
[0004]为达到上述目的/为解决上述技术问题，本专利技术是采用下述技术方案实现的：
[0005]第一方面，一种具有CNN辅助特征提取的SLAM方法，包括：
[0006]获取连续多帧RGB图像当前帧的ORB特征点；
[0007]当连续多帧RGB图像当前帧质量满足预设条件时，则获取RGB图像当前帧的LoFTR特征点；
[0008]对ORB特征点和LoFTR特征点进行筛选匹配。
[0009]进一步地，所述RGB图像当前帧质量的计算公式为：
[0010][0011]其中，err为地图点向当前帧的重投影误差，n
ul
为每帧特征点的上限值，n为非极大值抑制后的当前帧特征点数量，t
kf/>为上一帧关键帧出现到当前帧的时间，K
i
为各项指标的权重，可以根据实际场景调整各项指标的权重。
[0012]进一步地，所述RGB图像当前帧质量的预设条件为value＞预设阈值；当value＞预设阈值时，记为当前帧追踪质量差；当value≤预设阈值时，记为当前帧追踪质量好。
[0013]进一步地，所述获取RGB图像当前帧的LoFTR特征点的方法为：
[0014]获取当前帧图像与上一帧关键帧图像的粗层次特征；
[0015]将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配；
[0016]基于粗层次特征匹配结果，对当前帧图像与上一帧关键帧图像进行细层次特征匹配；
[0017]输出RGB图像当前帧的LoFTR特征点。
[0018]进一步地，所述将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进
行匹配的方法包括：
[0019]获取各粗层次特征之间匹配得分矩阵并计算匹配概率；
[0020]根据匹配概率获取最优的粗层次特征匹配集。
[0021]进一步地，所述对当前帧图像与上一帧关键帧图像进行细层次特征匹配的方法包括：
[0022]获取最优粗层次特征的剪裁范围；
[0023]基于剪裁范围获取第一匹配特征和第二匹配特征；
[0024]计算第一匹配特征与第二匹配特征的匹配概率分布；
[0025]根据匹配概率分布获取当前帧图像上的匹配位置。
[0026]进一步地，所述对ORB特征点和LoFTR特征点进行筛选匹配的方法包括：
[0027]筛选LoFTR特征点；
[0028]将筛选过的LoFTR特征点与ORB特征点置于同一个图像坐标系下再次筛选，获取特征点集合；
[0029]根据特征点集合中不同类型的特征点进行匹配。
[0030]第二方面，一种具有CNN辅助特征提取的SLAM装置，包括：
[0031]第一获取模块，用于获取连续多帧RGB图像当前帧的ORB特征点；
[0032]判断模块，用于计算RGB图像当前帧质量并判断RGB图像当前帧质量是否满足预设条件；
[0033]第二获取模块，用于获取RGB图像当前帧的LoFTR特征点；
[0034]融合筛选模块，用于对ORB特征点和LoFTR特征点进行筛选匹配。
[0035]第三方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0036]第四方面，一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0037]与现有技术相比，本专利技术所达到的有益效果：
[0038]本专利技术在连续多帧RGB图像当前帧质量满足预设条件时，才获取RGB图像当前帧的LoFTR特征点，避免了在连续多帧RGB图像当前帧质量不满足预设条件时一直获取LoFTR特征点，在减轻设备压力的同时，提高了实时性，结合LoFTR特征点和ORB特征点进行匹配，解决了传统的特征点法在缺乏纹理、运动模糊等恶劣场景下，容易出现追踪丢失，定位效果较差的问题。
附图说明
[0039]图1是本专利技术实施例提供的一种具有CNN辅助特征提取的SLAM方法的流程图；
[0040]图2是本专利技术实施例提供的一种具有CNN辅助特征提取的SLAM方法的四叉树筛过程示意图。
具体实施方式
[0041]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术
的技术方案，而不能以此来限制本专利技术的保护范围。
[0042]实施例1
[0043]如图1所示，一种具有CNN辅助特征提取的SLAM方法，包括：
[0044]获取连续多帧RGB图像当前帧的ORB特征点；
[0045]判断连续多帧RGB图像当前帧质量是否满足预设条件，具体的，RGB图像当前帧质量的计算公式为：
[0046][0047]其中，err为地图点向当前帧的重投影误差，n
ul
为每帧特征点的上限值，n为非极大值抑制后的当前帧特征点数量，t
kf
为上一帧关键帧出现到当前帧的时间，K
i
为各项指标的权重，可以根据实际场景调整各项指标的权重；当value＞预设阈值时，记为当前帧追踪质量差；当value≤预设阈值时，记为当前帧追踪质量好。
[0048]当连续多帧RGB图像当前帧质量满足预设条件：RGB图像当前帧质量的预设条件为value＞预设阈值，即当前帧追踪质量差时，则获取RGB图像当前帧的LoFTR特征点；
[0049]具体的，获取当前帧图像与上一帧关键帧图像的粗层次特征；
[0050]将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配；获取各粗层次特征之间匹配得分矩阵S；
[0051][0052]计算匹配概率，匹配概率P
C
为：
[0053]P
C
(i，j)＝softmax(S(i，
·
))j
·
softmax(S(
·
，j))；
[0054]再通过最近邻算法MNN，过滤掉一些离群匹配对，得到粗略的匹配预测Mc；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有CNN辅助特征提取的SLAM方法，其特征在于，包括：获取连续多帧RGB图像当前帧的ORB特征点；当连续多帧RGB图像当前帧质量满足预设条件时，则获取RGB图像当前帧的LoFTR特征点；对ORB特征点和LoFTR特征点进行筛选匹配。2.根据权利要求1所述的一种具有CNN辅助特征提取的SLAM方法，其特征在于，所述RGB图像当前帧质量的计算公式为：其中，err为地图点向当前帧的重投影误差，n
ul
为每帧特征点的上限值，n为非极大值抑制后的当前帧特征点数量，t
kf
为上一帧关键帧出现到当前帧的时间，K
i
为各项指标的权重，可以根据实际场景调整各项指标的权重。3.根据权利要求2所述的一种具有CNN辅助特征提取的SLAM方法，其特征在于，所述RGB图像当前帧质量的预设条件为value＞预设阈值；当value＞预设阈值时，记为当前帧追踪质量差；当value≤预设阈值时，记为当前帧追踪质量好。4.根据权利要求1所述的一种具有CNN辅助特征提取的SLAM方法，其特征在于，所述获取RGB图像当前帧的LoFTR特征点的方法为：获取当前帧图像与上一帧关键帧图像的粗层次特征；将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配；基于粗层次特征匹配结果，对当前帧图像与上一帧关键帧图像进行细层次特征匹配；输出RGB图像当前帧的LoFTR特征点。5.根据权利要求4所述的一种具有CNN辅助特征提取的SLAM方法，其特征在于，所述将当前帧图像的粗层次特征与上一帧关键帧图像的粗层次特征进行匹配的方法包括：获...

【专利技术属性】
技术研发人员：杨学斌，王哲，张文艺，杜关祥，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：