一种基于事件和帧的异步特征跟踪方法和系统技术方案

本申请提供一种基于事件和帧的异步特征跟踪方法和系统，方法包括：基于FAST角点检测的特征块初始化方法，基于事件信息积分的光流和仿射变换优化方法更新特征块位置，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性，基于最近邻搜索的特征块关联方法确定新的特征块初始化。该方法在公开数据集上进行评估，评估指标为特征初始化和特征丢失之间的时间间隔，即特征时间，反映跟踪器的鲁棒性。与原始方法相比，本发明专利技术在保证跟踪精度的同时，提高约10％～30％的特征时间，为视觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。

【技术实现步骤摘要】
一种基于事件和帧的异步特征跟踪方法和系统


[0001]本申请涉及特征跟踪
，尤其涉及一种基于事件和帧的异步特征跟踪(AFTEF Asynchronous Feature Tracking using Events and Frames)方法和系统。

技术介绍

[0002]动态视觉传感器，作为一种新兴的生物启发的事件相机，吸引了机器人学和计算机视觉研究人员的兴趣。不同于输出信息为绝对亮度帧的传统相机，事件相机的输出是对局部像素的亮度变化做出反应的异步事件流。事件信息包括时间戳、极性和像素坐标。事件相机的优点包括低功耗、高动态范围和高时间分辨率。此外，事件相机对场景的运动很敏感，能够以低延迟(1μs)反映每个像素对应的亮度变化。另一个受生物启发的传感器，动态和主动像素视觉传感器能够提供异步的事件流和亮度帧。
[0003]特征检测和跟踪是基于特征的视觉里程计领域的一个关键组成部分。由于事件相机的异步事件流与亮度帧不同，基于帧的特征检测和跟踪算法不能直接应用于异步事件流。因此，需要探索新的算法来处理这种异步事件流并释放其潜力。在这种情况下，如何利用事件相机和传统相机的信息互补性是特征检测和跟踪所需的关键问题。
[0004]在事件相机的特征检测领域，目前的研究大多是对基于图像的流行角点检测方法的扩展和融合。已有人提出一种基于帧的扩展Harris角点的方法，在由事件累积获得的二进制帧上检测，需要计算梯度和卷积。受到基于帧的FAST(Features from Accelerated Segment Test)角点检测方法的启发，已有人提出一种名为eFAST的基于事件的角点检测方法，在活动事件表面(Surface of Active Events SAE)上进行检测，只需要进行比较操作。SAE是事件流的二维表示，它存储每个像素位置上最近事件的时间戳。为提高eFAST的鲁棒性，已有人提出一种基于SAE过滤的事件特征检测方法，名为Arc*。这种算法检测角点的速度比eFAST和eHarris快，同时增强角点检测的可重复性。FA
‑
Harris提供了一个选择和细化策略，它使用改进的eFAST来选择候选点，并用改进的eHarris进行过滤。已有人提出一种由三层过滤阶段和低复杂度Harris检测的方法。
[0005]在事件相机的特征跟踪领域，研究者致力于利用事件信息实现事件驱动的异步特征跟踪方法。已有人提出一种基于概率的事件流和特征之间的关联方法，将事件角点跟踪描述为一个匹配当前视图和特征模板的优化问题，只需要评估一组离散的跟踪假设。已有人提出一种基于树状结构的具有多种数据关联可能性的事件特征跟踪方法，其中每个节点是一个事件角点，其添加节点的匹配机制是基于时空约束的。基于时空约束，已有人在树状结构中加入对角点方向的约束。这种改进可以切断分支并简化树结构。已有人提出了一个基于速度不变的时间面的梯度描述符，并将其作为树结构中两个事件角点的匹配基础。已有人提出了第一个同时使用帧相机和事件相机的特征跟踪方法，其中特征块使用角点和边缘检测器在帧上初始化，然后使用事件流通过二维欧几里得变换进行对齐，实现跟踪。
[0006]然而，上述方法并没有充分利用事件信息的优势。具体来说，事件信息不仅包含空间和时间信息，还包含极性信息。这些方法只利用时空信息，而没有利用极性信息。此外，这
些方法没有使用传统相机的信息作为补充。
[0007]帧和事件相机的较好结合是使用事件和帧的异步光度特征跟踪(EKLT)方法。这种方法在亮度帧上检测出特征，之后使用事件流进行跟踪。它实现异步跟踪并充分利用事件流的极性信息。

技术实现思路

[0008]有鉴于此，本申请的目的在于提出一种基于事件和帧的异步特征跟踪方法和系统，本申请能够针对性的解决现有的问题。
[0009]基于上述目的，本申请提出了一种基于事件和帧的异步特征跟踪方法，包括：
[0010]步骤1、在帧上使用基于决策树的FAST角点检测方法，并使用非极大值抑制得到初始化的特征点；
[0011]步骤2、在特征点周围的像平面提取特征块；
[0012]步骤3、建立事件相机生成事件的观测模型；
[0013]步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；
[0014]步骤5、基于局部特征块光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；
[0015]步骤6、基于两个归一化的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数；
[0016]步骤7、基于损失函数的历史值进行评估，判断所述运动参数的有效性；
[0017]步骤8、使用光流和仿射变换更新特征块的位置；
[0018]步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离找到最近的初始特征点，并确保其距离低于阈值；
[0019]步骤10、以未匹配上的初始化特征点为中心提取新的特征块。
[0020]进一步地，所述步骤1中的FAST角点检测方法是一种基于帧的角点检测方法。
[0021]进一步地，所述步骤3中的事件相机是一种异步输出离散信息的仿生视觉传感器，其输出信息被称为事件，包括像平面坐标、时间戳和极性。
[0022]进一步地，所述步骤4中的事件极性信息积分，累加其位置落入特征块内的事件的极性信息。
[0023]进一步地，所述步骤5中的局部特征块光度不变性原理是假定极短时间内像平面局部光度不变，图像梯度为光度值在像平面两个方向上的差值，光流是点在像平面的运动速度，仿射变换是二维平面的旋转平移矩阵。
[0024]进一步地，所述步骤9中的欧氏距离为两个二维点在像平面的距离。
[0025]基于上述目的，本申请还提出了一种基于事件和帧的异步特征跟踪系统，包括：
[0026]初始化模块，基于FAST角点检测将帧的特征块初始化；
[0027]更新模块，基于事件信息积分的光流和仿射变换优化方法更新特征块位置；
[0028]验证模块，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性；
[0029]关联模块，基于最近邻搜索的特征块关联方法确定新的特征块初始化。
[0030]总的来说，本申请的优势及给用户带来的体验在于：该方法能够在保证跟踪精度
的同时提高跟踪时间。与现有方法相比，轨迹整体质量得到改善，特征时间延并且保证跟踪准确性。本专利技术为未来发展完全事件驱动的视觉里程计和其他计算机视觉任务提供必要的基础。
附图说明
[0031]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
[0032]图1示出根据本申请实施例的基于事件和帧的异步特征跟踪方法的流程图。
[0033]图2示出原始F本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件和帧的异步特征跟踪方法，其特征在于，包括如下步骤：步骤1、在帧上使用基于决策树的FAST角点检测方法，并使用非极大值抑制得到初始化的特征点；步骤2、在特征点周围的像平面提取特征块；步骤3、建立事件相机生成事件的观测模型；步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；步骤5、基于局部特征块光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；步骤6、基于两个归一化的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数；步骤7、基于损失函数的历史值进行评估，判断所述运动参数的有效性；步骤8、使用光流和仿射变换更新特征块的位置；步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离找到最近的初始特征点，并确保其距离低于阈值；步骤10、以未匹配上的初始化特征点为中心提取新的特征块。2.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤1中的FAST角点检测方法是一种基于帧的角点检测方法。3.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤3中的事件相机是一种异步输出离散信息的仿生视觉传感器，其输出信息被称为事件，包括像平面坐标、时间戳和极性。4.根据权利要求1所述的基于事件和帧的异步特...

【专利技术属性】
技术研发人员：邓若愚，胡尚薇，
申请(专利权)人：同济人工智能研究院苏州有限公司，
类型：发明
国别省市：