基于事件相机的速度感知方法、装置、设备和介质制造方法及图纸

本申请提供了一种基于事件相机的速度感知方法、装置、设备和介质，通过获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线

【技术实现步骤摘要】
基于事件相机的速度感知方法、装置、设备和介质


[0001]本申请涉及事件相机、速度感知
，特别是涉及一种基于事件相机的速度感知方法、装置、设备和介质。

技术介绍

[0002]动态视觉传感器(事件相机)是受生物启发的低延迟传感器，其特性使事件相机成为高动态或者低光照条件等挑战性视觉应用的绝佳选择。然而由于其原理与传统相机完全不同，需要开发新的算法来解决即时定位与地图构建领域的视觉里程计问题。基于此，有研究引入了连续事件线约束(CELC)并提出了一种基于线的闭式求解器来进行速度初始化，然而他们的求解器对事件流中的常见噪声表现出较差的鲁棒性。

技术实现思路

[0003]鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于事件相机的速度感知方法、装置、设备和介质，以解决现有技术中求解器对事件流中的常见噪声表现出的鲁棒性较差的问题。
[0004]为实现上述目的及其他相关目的，本申请提供一种基于事件相机的速度感知方法，所述方法包括：S1、获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；S2、随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；S3、依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
[0005]于本申请的一实施例中，所述方法包括：在所述簇中随机抽取至少5个事件；其中，包含：两个位于时间间隔开头的事件，两个位于时间间隔末尾的事件，以供分别形成两个线观测；一个位于时间间隔中点的中心事件，以形成点观测。
[0006]于本申请的一实施例中，所述方法包括：用j表示线簇集的编号，则两个线观测分别表示为l
sj
和l
ej
，所在时间戳为t
sj
和t
ej
；中心事件表示为e
kj
＝{x
kj
，y
kj
，t
kj
，s
kj
}，t
kj
为事件的时间戳，s
kj
为事件的极性；观测向量为f
kj
＝K
‑1[x
kj
，y
kj
，1]T
，[x
kj
，y
kj
，1]为中心事件坐标，K为事件相机内参矩阵。
[0007]于本申请的一实施例中，所述CELC约束为：f
kjT
B
kj
v＝0；其中，v＝0；其中，代表从t
kj
到t
sj
旋转的三列；代表从t
kj
到t
ej
旋转的三列；f
kjT
为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度。
[0008]于本申请的一实施例中，所述基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标
自身的约束，包括：所述普吕克坐标为：L＝[d
T
，m
T
]T
；其中，m＝r
×
d；d表示具有方向的长度；m表示几何面积；r表示3D线上的点相对于事件相机中心的位置c
s
；L上事件点的测量可以用普吕克坐标表示：其中，f
k
为观测向量；ω表示IMU数据提供的已知角速度；R
sk
为旋转矩阵；旋转后的观测向量；t
sk
＝v(t
k
‑
t
s
)；t
sk
表示观测向量在时间戳t
k
的事件相机中心的位置c
k
相对于c
s
的位置；v表示线速度；普吕克坐标的线
‑
线交叉约束为：普吕克坐标自身的约束为：
[0009]于本申请的一实施例中，所述方法包括：重复步骤S2和S3，采用角度误差度量作为内点度量，基于RANSAC算法鲁棒地求出对应每个线簇集的最终3D线。
[0010]于本申请的一实施例中，所述方法包括：将各3D线重投影至各事件所在时间的虚拟帧，当事件到3D线的正交误差小于阈值则令该事件为内点，据以计算每个线簇集的内点率；重复步骤S2和S3并计算每个线簇集的内点率，直至所有内点率的平均值超过预设值或达到最大迭代，并将每个线簇集当前的3D线作为最终3D线。
[0011]为实现上述目的及其他相关目的，本申请提供一种基于事件相机的速度感知装置，所述装置包括：获取模块，用于获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；处理模块，用于随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
[0012]为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
[0013]为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
[0014]综上所述，本申请提供的一种基于事件相机的速度感知方法、装置、设备和介质，通过获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
[0015]具有以下有益效果：
[0016]本申请算法与之前算法的相比，可以在不论是增加的事件扰动还是对IMU给出的角速度添加更高噪声水平时都更加鲁棒，而且在更小的时间间隔条件下也可以取得更高的精度。
附图说明
[0017]图1显示为本申请于一实施例中基于事件相机的速度感知方法的流程示意图。
[0018]图2显示为本申请于一实施例中CELC的几何示意图。
[0019]图3显示为本申请于一实施例中普吕克坐标求解3D线的几何示意图。
[0020]图4A
‑
4B显示为本申请于一实施例中本方法与其他方法得到的速度方向角误差比较的极坐标直方图。
[0021]图5显示为本申请于一实施例中基于事件相机的速度感知装置的模块示意图。
[0022]图6显示为本申请于一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的速度感知方法，其特征在于，所述方法包括：S1、获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；S2、随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；S3、依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。2.根据权利要求1所述的方法，其特征在于，所述方法包括：在所述簇中随机抽取至少5个事件；其中，包含：两个位于时间间隔开头的事件，两个位于时间间隔末尾的事件，以供分别形成两个线观测；一个位于时间间隔中点的中心事件，以形成点观测。3.根据权利要求2所述的方法，其特征在于，所述方法包括：用j表示线簇集的编号，则两个线观测分别表示为l
sj
和l
ej
，所在时间戳为t
sj
和t
ej
；中心事件表示为e
kj
＝{x
kj
,y
kj
,t
kj
,s
kj
}，t
kj
为事件的时间戳，s
kj
为事件的极性；观测向量为f
kj
＝K
‑1[x
kj
,y
kj
,1]
T
，[x
kj
,y
kj
,1]为中心事件坐标，K为事件相机内参矩阵。4.根据权利要求3所述的方法，其特征在于，所述CELC约束为：f
kjT
B
kj
v＝0；其中，其中，代表从t
kj
到t
sj
旋转的三列；代表从t
kj
到t
ej
旋转的三列；f
kjT
为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度。5.根据权利要求1所述的方法，其特征在于，所述基于普吕克坐标的线
‑
线交叉约束以及普吕克坐标自身的约束，包括：所述普吕克坐标为：...

【专利技术属性】
技术研发人员：徐婉婷，彭欣，康智文，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：