一种基于LoD的VSLAM特征点检测方法技术

本发明专利技术涉及一种基于LoD的VSLAM特征点检测方法，属于计算机视觉技术领域。通过将当前输入图像填充为正方形；根据上一时刻图像的VSLAM跟踪状态，构建并利用填充图像的LoD四叉树模型，获取当前输入图像尺寸范围内的叶子节点；基于VSLAM系统要求的特征点数，计算LoD四叉树每个叶子节点应提取的特征点数，遍历叶子节点提取特征点，直至满足点数要求后，将特征点作为VSLAM的特征匹配环节的输入。本发明专利技术能有效减少无/弱纹理区域的特征点检测次数，增强纹理丰富区域的特征点提取，从而提高检测效率，进而提高VSLAM跟踪实时性；提高帧间匹配特征点数的同时，减少低响应特征点造成的误匹配，进而提高VSLAM跟踪的准确性和鲁棒性。进而提高VSLAM跟踪的准确性和鲁棒性。进而提高VSLAM跟踪的准确性和鲁棒性。

【技术实现步骤摘要】
一种基于LoD的VSLAM特征点检测方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于LoD的VSLAM特征点检测方法。

技术介绍

[0002]图像特征点检测在计算机视觉领域有很多应用，如目标检测、场景辨识、人脸识别、多视图三维重建、基于视觉的同时定位与建图(Visual
‑
based Simultaneous Localization and Mapping，VSLAM)等。其中，VSLAM是以具有时序关系的图像序列作为输入，首先通过图像特征点检测技术提取特征点，再通过图像特征匹配技术构建不同时刻的图像特征点之间、图像特征点与三维地图点之间的数据关联，作为后续的视觉里程计环节和建图环节的输入，最终输出实时的相机位姿和周围环境的点云地图。
[0003]特征点是指图像中具有代表性的、显著的点，比如角点、物体边界、灰度梯度大的区块等。图像特征点检测算法通常从提高特征点检测的判别性，对视角、距离、光照的鲁棒性，和检测的实时性这三个方面进行优化，比如图像金字塔结构、二值描述子、灰度质心法、亮度去中心化等。目前通用的特征点检测算法有Harris、Shi
‑
Tomasi、SIFT、SURF、FAST、ORB等，具有很好的判别性和鲁棒性，但在图像上分布不均匀，导致VSLAM运行过程中帧间共视区域的匹配特征点数量少，不足以准确的计算相机位姿，甚至当相机快速运动时跟踪丢失。
[0004]为了增加特征点在图像上分布的均匀性，目前很多优秀的VSLAM系统，如PTAM、SVO、ORB
‑
SLAM2等，在通用的特征点检测算法的基础上，设计了专门的特征点检测方法：首先将图像均匀划分为固定尺寸的网格；然后在每个网格对应的图像块中用某种通用特征点检测算法(如FAST)提取特征点，其中特征点检测算法的响应阈值通常是用户根据采集图像的传感器类型依据经验设置的；如果没有检测到特征点，则降低响应阈值再次检测；最后统计每个网格的特征点数，删除多余特征点，直至满足VSLAM系统设置的特征点数要求。然而，在日常环境中采集的图像通常含有弱纹理甚至无纹理的区域，比如室内的白墙、地面，室外的天空、马路、草地等，上述VSLAM系统采用的特征点检测方法在弱/无纹理区域中，只有通过降低特征点检测的响应阈值并进行多次检测才能提取到足够数量的特征点。其中低响应值的特征点判别性差，容易造成特征点的误匹配，降低VSLAM跟踪的准确性。另一方面，作为VSLAM跟踪与建图线程的预处理环节，现有的特征点检测方法的平均每帧检测用时约占据VSLAM平均每帧处理时间的1/2，降低了VSLAM跟踪的实时性，限制了VSLAM技术在AR(Augmented Reality，增强现实)/VR(Virtual Reality，虚拟现实)、无人驾驶等有高实时性要求领域的应用。
[0005]综上，需要就特征点的分布和检测效率，对现有的VSLAM系统使用的图像特征点检测方法进行改进，减少无/弱纹理区域的低响应特征点的检测次数，并在保证特征点分布均匀性的同时，增强丰富纹理区域的特征提取，进而提高VSLAM的跟踪准确性、鲁棒性和实时性。

技术实现思路

[0006]基于上述需求，本专利技术提供了一种基于LoD(多层次细节，Level of Detail)的VSLAM特征点检测方法，减少了无/弱纹理区域的低响应特征点的检测次数，并在保证特征点分布均匀性的同时，增强了丰富纹理区域的特征提取，进而提高了VSLAM的跟踪的准确性、鲁棒性和实时性。
[0007]本专利技术提供了一种基于LoD的VSLAM特征点检测方法，包括如下步骤：
[0008]步骤1，对当前时刻的输入图像I
t
进行填充处理，得到正方形的当前时刻的填充图像其中，的边长为与输入图像I
t
尺寸最接近的2的指数；
[0009]步骤2，根据上一时刻的输入图像I
t
‑1的VSLAM跟踪状态，构建当前时刻的填充图像的LoD四叉树模型，并利用所述LoD四叉树模型，获取在当前时刻的输入图像I
t
尺寸范围内的叶子节点；
[0010]步骤3，根据VSLAM要求的图像特征点数，计算所述LoD四叉树模型的每个所述叶子节点应提取的图像特征点数，然后遍历所述叶子节点提取图像特征点，直至满足VSLAM的图像特征点数要求，最后将图像特征点作为VSLAM的输入，进行后续VSLAM跟踪与建图。
[0011]进一步的，所述步骤1具体包括：
[0012]步骤101，获取当前时刻的输入图像I
t
，根据I
t
的宽度W和高度H计算当前时刻的填充图像的边长L
p
：
[0013][0014]步骤102，将通用特征点检测算法中特征点描述子计算区域的边长记为PatchSize，对I
t
的右边界右侧、宽度为PatchSize的区域进行镜像填充，并对I
t
的下边界下侧、宽度为PatchSize的区域进行镜像填充，得到镜像填充图像
[0015]步骤103，对所述镜像填充图像的右边界右侧、宽度为(L
p
‑
PatchSize
‑
W)的区域进行0灰度填充，并对的下边界下侧、宽度为(L
p
‑
PatchSize
‑
H)的区域进行0灰度填充，得到边长为L
p
的当前时刻的填充图像
[0016]进一步的，所述步骤2具体包括:
[0017]情况一：如果I
t
‑1的VSLAM跟踪状态为非正常跟踪，则以的图像中心为根节点构建LoD四叉树模型，然后利用所述LoD四叉树模型获取在I
t
尺寸范围内的叶子节点；
[0018]情况二：如果I
t
‑1的VSLAM跟踪状态为正常跟踪，则将I
t
‑1对应的上一时刻的填充图像的LoD四叉树模型作为的LoD四叉树模型的初始值，根据的灰度采样偏差更新叶子节点，然后获取在I
t
尺寸范围内的叶子节点。
[0019]进一步的，所述情况一具体包括：
[0020]步骤A1，为I
t
的LoD四叉树叶子节点存储容器申请内存空间，记为LeafNodes，初始化为空；为的LoD四叉树节点池申请内存空间，记为NodePool，初始化为空；
[0021]步骤A2，计算的灰度采样偏差集合V：
[0022][0023]其中，v
i
表示对进行不同尺寸的网格划分得到的图像块的灰度采样偏差；
[0024]v
i
的计算方法为：
[0025][0026][0027]其中，size表示当前图像块的边长，y
size
表示由用户设置的最小图像块的边长阈值；v
4i
‑2,v
4i
‑1,v...

【技术保护点】

【技术特征摘要】
1.一种基于LoD的VSLAM特征点检测方法，其特征在于，包括如下步骤：步骤1，对当前时刻的输入图像I
t
进行填充处理，得到正方形的当前时刻的填充图像其中，的边长为与输入图像I
t
尺寸最接近的2的指数；步骤2，根据上一时刻的输入图像I
t
‑1的VSLAM跟踪状态，构建当前时刻的填充图像的LoD四叉树模型，并利用所述LoD四叉树模型，获取在当前时刻的输入图像I
t
尺寸范围内的叶子节点；步骤3，根据VSLAM要求的图像特征点数，计算所述LoD四叉树模型的每个所述叶子节点应提取的图像特征点数，然后遍历所述叶子节点提取图像特征点，直至满足VSLAM的图像特征点数要求，最后将图像特征点作为VSLAM的输入，进行后续VSLAM跟踪与建图。2.根据权利要求1所述的基于LoD的VSLAM特征点检测方法，其特征在于，所述步骤1具体包括：步骤101，获取当前时刻的输入图像I
t
，根据I
t
的宽度W和高度H计算当前时刻的填充图像的边长L
p
：步骤102，将通用特征点检测算法中特征点描述子计算区域的边长记为PatchSize，对I
t
的右边界右侧、宽度为PatchSize的区域进行镜像填充，并对I
t
的下边界下侧、宽度为PatchSize的区域进行镜像填充，得到镜像填充图像步骤103，对所述镜像填充图像的右边界右侧、宽度为(L
p
‑
PatchSize
‑
W)的区域进行0灰度填充，并对的下边界下侧、宽度为(L
p
‑
PatchSize
‑
H)的区域进行0灰度填充，得到边长为L
p
的当前时刻的填充图像3.根据权利要求2所述的基于LoD的VSLAM特征点检测方法，其特征在于，所述步骤2具体包括:情况一：如果上一时刻的输入图像I
t
‑1的VSLAM跟踪状态为非正常跟踪，则以的图像中心为根节点构建LoD四叉树模型，然后利用所述LoD四叉树模型获取在I
t
尺寸范围内的叶子节点；情况二：如果上一时刻的输入图像I
t
‑1的VSLAM跟踪状态为正常跟踪，则将I
t
‑1对应的上一时刻的填充图像的LoD四叉树模型作为的LoD四叉树模型的初始值，根据的灰度采样偏差更新叶子节点，然后获取在I
t
尺寸范围内的叶子节点。4.根据权利要求3所述的基于LoD的VSLAM特征点检测方法，其特征在于，所述情况一具体包括：步骤A1，为I
t
的LoD四叉树叶子节点存储容器申请内存空间，记为LeafNodes，初始化为空；为的LoD四叉树节点池申请内存空间，记为NodePool，初始化为空；步骤A2，计算的灰度采样偏差集合V：
其中，v
i
表示对进行不同尺寸的网格划分得到的图像块的灰度采样偏差；v
i
的计算方法为：其中，size表示当前图像块的边长，t
size
表示由用户设置的最小图像块的边长阈值；v
4i
‑2,v
4i
‑1,v
4i
,v
4i+1
依次分别表示对当前图像块均匀划分为4个网格后形成的左上子图像块、右上子图像块、左下子图像块、右下子图像块的灰度采样偏差；v
uc
,v
rc
,v
bc
,v
lc
,v
ulbr_c
,v
urbl_c
依次分别表示当前图像块的上边中点、右边中点、下边中点、左边中点、左对角线中点、右对角线中点的灰度采样偏差，计算方法为：角线中点的灰度采样偏差，计算方法为：角线中点的灰度采样偏差，计算方法为：角线中点的灰度采样偏差，计算方法为：角线中点的灰度采样偏差，计算方法为：角线中点的灰度采样偏差，计算方法为：其中，函数g(p
*
)表示取图像中位于p
*
坐标的灰度值，p
*
＝[x
*
,y
*
]
T

【专利技术属性】
技术研发人员：李妮，张甜甜，龚光红，叶必鹏，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：