一种图像的特征点提取阈值动态调整方法和系统技术方案

本发明专利技术实施例提供一种图像的特征点提取阈值动态调整方法和系统，将特征提取和特征跟踪看作两个相互依赖的过程，特征提取阶段提取出的特征点好坏会影响特征跟踪的结果，而特征跟踪的结果又会反馈到特征提取阶段用来调整特征提取时所需的关键参数；根据当前环境的情况来动态地调节特征点提取阈值，使得传统的特征提取方法在极端的光照环境下也能有效地提取到特征点。取到特征点。取到特征点。

【技术实现步骤摘要】
一种图像的特征点提取阈值动态调整方法和系统


[0001]本专利技术实施例涉及图像处理
，尤其涉及一种图像的特征点提取 阈值动态调整方法和系统。

技术介绍

[0002]直接法视觉SLAM(Simultaneous LocalizationAndMapping，即时定位与 地图构建)能够利用图像上的大量的信息进行图像间的配准，更多的信息通常 可以提供更多的约束，更有利于对问题的求解。然而，当图像数据存在大量 噪声或是图像数据被扭曲时，如果不对图像进行适当的处理，如滤波、模糊、 去畸变，则大量被利用的信息会是无效甚至错误的信息，这些信息反而会破 坏系统的鲁棒性，对于直接法视觉SLAM来说就会导致错误的相机位姿估计。 另一方面，直接法视觉SLAM的设计是基于前后图像光度一致的假设，这对 数据本身提出了很高的要求，而在现实生活中，环境往往是多变的、复杂的， 这就需要对数据做大量的预处理，如本专利技术实施例中提出的对图像光度参照 一个参考图像进行调整。除了直接法视觉SLAM，另一种非常流行的视觉 SLAM框架是特征点法视觉SLAM。特征点法视觉SLAM利用特别设计的图 像特征提取方法，对图像进行特征提取，再利用前后两帧图像上提取出来的 特征进行特征匹配，最后利用得到的特征对应关系和多视角几何约束构造超 定方程求解相机的位姿。相比直接法视觉SLAM，特征点法视觉SLAM舍去 了图像上大量冗余信息，仅仅选取图像上最具有代表性的少量信息进行图像 的配准，这在一定程度上减少了无效的图像信息对图像配准的干扰。同时， 同一张图像上被提取出的特征在某种程度上可以描述这张图像的内容，因此 每张图像上被提取的特征也可以保存下来，并在未来某一时刻被重新用来和 时间轴上相距非常远的一帧图像进行匹配，这常常被用于视觉重定位。特征 点法视觉SLAM因其受环境影响较小、天生支持视觉重定位技术等优势被广 泛应用，因此讨论它的性能会如何被极端的光照条件所影响以及在这些极端 的光照条件下如何更鲁棒地运行也非常必要。
[0003]特征点法视觉SLAM使用人工设计的特征来提取图像上具有局部区 分度的像素。常用的图像特征点有Fast特征、Harris特征、ORB特征、SIFT 特征、SUFT特征。这其中，Fast特征和ORB特征对每个像素计算它和周 围一圈像素的差异，若有足够多的连续的点和它差异较大，则把它当作一 个图像特征点。这里对差异大小的判断是通过计算两个像素点之间像素值 的差异大小，当像素值的差异大于某一个设定的阈值时，则认为这两个像 素差异较大。Harris特征、SIFT特征、SUFT特征则是先用预先设计好的 模板对图像进行卷积运算，得到图像对于该模板的响应图，再在响应图上 找局部最大响应点，最后将这些局部最大响应点所对应在图像上的像素点 作为图像的特征。局部最大响应点的选取往往也会设定一个最小响应阈值 用来防止在弱纹理区域提取出错误的特征点。在特征提取后，需要找到两 帧图像上提取出来的特征之间的对应关系。对于ORB特征、SIFT特征、 SUFT特征，它们在特征提取阶段会额外为每一个特征点计算特征描述子。 ORB特征使用BRIEF算法来计算特征描述子，它在特征点周围的一个固 定区域内以一定的规则多次选取两个像素点进行比较，
将比较的结果以0 或1的形式按顺序记录下来，最终形成一个二进制序列作为特征的描述子。 而SIFT特征和SURF特征把特征点周围的一个固定区域等分成若干个子 区域，对每个子区域中的每个像素计算梯度方向并生成梯度方向直方图， 再把每个子区域得到的梯度方向直方图组合在一起作为特征点的特征描 述子。有了特征描述子，特征之间可以直接用特征描述子来进行匹配，最 简单的方法是使用合适的距离度量方法将其中一张图像上的某一个特征 的描述子与另一张图像上每个特征的描述子进行比较，并将距离最小的那 个特征作为匹配的特征。而Harris特征和SIFT特征本身并不会去额外计 算每个特征的特征描述子，对于这样的特征可以使用光流法根据特征点本 身的像素值和特征点周围的梯度分布进行特征跟踪来在另一张图像上找 到对应的另一个特征。通常情况下，找到的所有特征对应关系中，会存在 一些错误的匹配，为了过滤掉这些错误的匹配结果，使用RANSAC (Random Sample Consensus,随机抽样一致算法)算法在所有的特征对应关 系中找到占大多数的一组对应关系，具体来说，首先确定一个模型，该模 型包含了两帧图像中对应像素点之间的转换关系，有了这个模型之后，任 取所有特征对应关系中的几组来求解这个模型，再统计剩下的所有特征对 应关系中有多少支持这一模型，循环这个过程，最后找到能够满足最多特 征对应关系的模型，同时支持这一模型的所有特征对应关系就认为是正确 的匹配，而而剩下的一小部分不支持这一模型的特征对应关系则认为是错 误的匹配，最终被丢弃。有了两帧图像之间的特征对应关系，就可以通过 多视角几何提供的约束构造超定方程。相机从不同位置对同一目标的拍摄 可以用图1来表示。图中O
l
和O
r
代表两个相机的成像中心，点P代表三 维空间中被拍摄的目标，三维点P与相机中心O
l
的连线P
l
，即成像过程 中目标点投影到相机上的投影维点P与相机中心O
l
的连线P
l
，即成像过 程中目标点投影到相机上的投影线，在图像上映射出一点p
l
,同理，三维点 P与相机中心O
r
的连线P
r
在图像上映射出一点p
r
。总能找到一组空间旋 转和平移把P
l
转换到P
r
,用公式表示为：
[0004]P
r
＝R
·
(P
t
‑
T)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0005](P
l
‑
T＝R
‑
1 P
r
＝R
T
P
r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0006]其中，R和T分别表示空间中的旋转和平移。又由于P
l
、P
r
和T三个 向量在同一个平面上，因此有以下约束：
[0007](P
l
‑
T)
T
·
T
×
P
l
＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0008]即：
[0009](R
T
P
r
)
T
·
T
×
P
l
＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0010]其中：
[0011][0012]将式(5)代入式(4)得：
[0013]P
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像的特征点提取阈值动态调整方法，其特征在于，包括：步骤S1、设定初始图像特征点提取参数，所述初始图像特征点提取参数包括特征点提取阈值、特征点提取阈值增大倍率、特征点提取阈值减小倍率；步骤S2、确定基于所述初始图像特征点提取参数进行图像特征点提取时当前帧与前一帧的特征点提取结果、特征点跟踪结果；步骤S3、基于当前帧与前一帧的特征点提取结果、特征点跟踪结果确定特征点平均移动距离、特征跟踪成功率、特征点跟踪数量；若根据基于所述特征点平均移动距离判断相机发生了运动，且所述特征跟踪成功率满足第一预设条件，则基于所述特征点提取阈值增大倍率增大所述特征点提取阈值；若根据基于所述特征点平均移动距离判断相机发生了运动，且所述特征跟踪成功率、特征点跟踪数量满足第二预设条件，则基于所述特征点提取阈值减小倍率减小所述特征点提取阈值。2.根据权利要求1所述的图像的特征点提取阈值动态调整方法，其特征在于，所述步骤S1中，所述初始图像特征点提取参数还包括最大特征点跟踪数量、最小特征点跟踪数量、特征点跟踪成功率阈值。3.根据权利要求2所述的图像的特征点提取阈值动态调整方法，其特征在于，所述第一预设条件为：所述特征跟踪成功率不大于所述特征点跟踪成功率阈值，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、所述特征点跟踪数量大于所述最大特征点跟踪数量；所述第二预设条件为：所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量大于所述最小特征点跟踪数量且不大于所述最大特征点跟踪数量，或所述特征跟踪成功率大于所述特征点跟踪成功率阈值、特征点跟踪数量不大于所述最大特征点跟踪数量、特征点分布不均匀。4.根据权利要求1所述的图像的特征点提取阈值动态调整方法，其特征在于，所述步骤S3中，若根据基于所述特征点平均移动距离判断相机发生了运动具体包括：若当前帧图像相对前一帧图像的所述特征点平均移动距离小于预设移动阈值，则判断对应相机未发生运动；若当前帧图像相对前一帧图像的所述特征点平均移动距离不小于预设移动阈值，则判断对应相机发生运动。5.根据权利要求1所述的图像的特征点提取阈值动态调整方法，其特征在于，所述步骤S3中，若根据基于...

【专利技术属性】
技术研发人员：朱凯赢，
申请(专利权)人：上海有个机器人有限公司，
类型：发明
国别省市：