一种基于单目事件相机的相对位姿估计方法技术

一种基于单目事件相机的相对位姿估计方法，包括如下步骤，步骤A：事件相机数据采集；步骤B：计算相机图像坐标系中相对位姿运动参数，具体参数包括对齐事件信息、Z方向运动参数计算、其他运动参数计算三个分步骤，其他运算参数计算包括计算事件计数图像、计算损失函数及优化算法；步骤C：坐标转换，具体包括确定图像坐标系和相机坐标系之间的转换关系、图像平面运动和三维空间运动匹配。本发明专利技术利用事件相机低时延特性，可迅速且精确进行相对位姿估计，为无人机、无人机器人等高速运动过程中对自身姿态做出调整，以及无人机在移动平台上着陆、无人机空中无线充电、机械臂末端协同等高速运动场景应用，增强系统控制起到了有利技术支持。持。持。

【技术实现步骤摘要】
一种基于单目事件相机的相对位姿估计方法


[0001]本专利技术涉及机器视觉方法应用
，特别是一种基于单目事件相机的相对位姿估计方法。

技术介绍

[0002]目前，工业领域等基于机器视觉方法对相机与平面之间的相对位姿估计方法中，常通过传统相机观察给定标志物，如二维码、H/T形地标，进行位姿计算；或在RGB图像(RGB色彩模式是工业界的一种颜色标准)中提取特征点，做特征点匹配，得到了特征点之间的对应关系，通过PnP(算法)方法快速定位确定当前帧位姿。
[0003]在传统的视觉领域，相机回传的图片信息是同步的，即相机会在一小段时间内进行曝光，并在曝光结束后的时刻把所有曝光得到的像素值回传，虽然曝光仅有一小段时间，但在高速运动情况下，图像采样频率仍旧相对较小，会造成运动模糊、曝光不足等情况，由于上述原因，现有基于普通相机进行相对位姿估计工作会造成数据相对不准确，对其有效应用造成了不利影响。事件相机是输出像素亮度变化情况的一种较为新颖的技术，事件相机是异步的回传所有事件图片信息，即当某个像素处的亮度值发生改变时，相机就会回传一个事件信息，所有的事件都是异步发生的，所有事件的时间信息均不相同，因而，事件相机较传统相机具有极低的时延性，如果用于与平面之间的相对位姿估计无疑会取得好的效果。但是现有技术中，还无一种有效结合事件相机，进行与平面之间的相对位姿估计的方法，所以位姿估计技术还存在局限性。

技术实现思路

[0004]为了克服现有利用普通相机采集到的图像信息结合二维码或H/T形地标实现相对姿态估计，因技术所限存在如背景所述弊端，本专利技术提供了采用事件相机作为基础，应用中利用事件相机低时延的特性，可以更为迅速且精确的进行相对位姿估计，为无人系统的敏捷感知和控制起到了有利技术支持的一种基于单目事件相机的相对位姿估计方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种基于单目事件相机的相对位姿估计方法，其特征在于包括如下步骤，步骤A：事件相机数据采集；步骤B：计算相机图像坐标系中相对位姿运动参数，具体参数包括对齐事件信息、Z方向运动参数计算、其他运动参数计算三个分步骤，其他运算参数计算包括计算事件及计数图像、计算损失函数及优化算法；步骤C：坐标转换，具体包括确定图像坐标系和相机坐标系之间的转换关系、图像平面运动和三维空间运动匹配；所述步骤A应用的公式如下：e＝(x,y,p,t)；所述步骤B的对齐事件信息应用的公式如下：运动参数公式M＝(h
x
,h
y
,h
z
,θ)、对齐后坐标参数公式ρ
i
′
＝W(ρ
i
,t
i
,M)＝ρ
i
‑
(t
i
‑
t0)*M，Z方向运动参数的计算公式如下：所述步骤B的计算事件及计数图像应用的公式如下：
计算损失函数及优化算法应用的公式如下：所述步骤C中，确定图像坐标系和相机坐标系之间的转换关系应用的公式如下，图像平面运动和三维空间运动匹配对应关系标记为
[0007]进一步地，所述步骤A，式中(x,y)为事件像素坐标，p∈{
‑
1,1}为事件极性，t为事件时间戳。
[0008]进一步地，所述步骤B对齐事件信息，式中(h
x
,h
y
)表示平行于图像平面的运动，h
z
表示朝向图像平面的运动，θ是表示绕相机Z轴的旋转运动；ρ
i
＝(x
i
,y
i
)
T
表示像素坐标，ρ
i
′
＝(x
i
′
,y
i
′
)
T
表示对齐后的坐标。
[0009]进一步地，所述步骤B计算事件及计数图像，式中，δ是狄拉克δ函数，χ表示图像所有像素坐标集合；计算损失函数及优化算法，式中，N是事件计数图像的像素点数，μ
H
是事件计数图像的均值。
[0010]进一步地，所述步骤C图像坐标系和相机坐标系之间的转换关系，式中，f为相机的焦距。
[0011]本专利技术有益效果是：本专利技术采用事件相机作为基础，应用中在相关步骤共同作用下，利用事件相机低时延的特性，可以更为迅速且精确的进行相对位姿估计，为无人机、无人机器人等高速运动过程中对自身姿态做出调整，以及无人机在移动平台上的着陆、无人机空中无线充电、机械臂末端手眼协同等高速运动场景应用，增强无人系统的敏捷感知和控制起到了有利技术支持。基于上述，所以本专利技术具有好的应用前景。
附图说明
[0012]以下结合附图和实施例将本专利技术做进一步说明。
[0013]图1是本专利技术三维透视投影模型示意图。
[0014]图2是本专利技术优化算法程序的示意框图。
[0015]图3是本专利技术图像坐标系和相机坐标系之间的转换关系示意图。
[0016]图4是本专利技术事件相机输出的事件流示意图。
具体实施方式
[0017]一种基于单目事件相机的相对位姿估计方法，包括如下步骤，步骤1：事件相机数据采集，通过事件相机异步回传其采集的事件，将其单个事件形式标记为：e＝(x,y,p,t)，式中(x,y)为事件像素坐标，p∈{
‑
1,1}为事件极性，t为事件时间戳。事件相机应用中，产生
的每个事件都有一个时间戳，记录了当前事件发生的时刻，计算中选定一个基础时刻t0，在此后Δt时间内产生事件的时间戳记为t
i
。在事件相机传入的事件流中提取[t0,t0+Δt]时间段内的事件，用表示；其中t0是可以任意选择的，优化算法在Δt时间内运行。通过对事件数据提取，选定Δt为步骤2提供计算基础。
[0018]步骤2：计算相机图像坐标系中相对位姿运动参数，具体分为以下分步骤，21：计算对齐事件信息，假定事件ε是由事件相机的运动产生的，事件相机相对平面的运动仅考虑三维空间中的平移以及沿其光轴方向的旋转，用M表示运动参数；采用的公式如下：M＝(h
x
,h
y
,h
z
,θ)，式中(h
x
,h
y
)表示平行于图像平面的运动，h
z
表示朝向图像平面的运动，θ是表示绕相机Z轴的旋转运动。在Δt时间段内任何一个事件都在假定的运动参数M下，利用运动参数把这一段时间内产生的事件对齐到初始时刻如公式t0：e
i
→
e
i
′
，具体用下式表示：其中ρ
i
′
＝(x
i
′
,y
i
′
)
T
表示对齐后的坐标。上式可以简写为：ρ
i
′
＝W(ρ
i
,t
i
,M)＝ρ
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目事件相机的相对位姿估计方法，其特征在于包括如下步骤，步骤A：事件相机数据采集；步骤B：计算相机图像坐标系中相对位姿运动参数，具体参数包括对齐事件信息、Z方向运动参数计算、其他运动参数计算三个分步骤，其他运算参数计算包括计算事件及计数图像、计算损失函数及优化算法；步骤C：坐标转换，具体包括确定图像坐标系和相机坐标系之间的转换关系、图像平面运动和三维空间运动匹配；所述步骤A应用的公式如下：e＝(x,y,p,t)；所述步骤B的对齐事件信息应用的公式如下：运动参数公式M＝(h
x
,h
y
,h
z
,θ)、对齐后坐标参数公式ρ
i
′
＝W(ρ
i
,t
i
,M)＝ρ
i
‑
(t
i
‑
t0)*M，Z方向运动参数的计算公式如下：所述步骤B的计算事件计数图像应用的公式如下：计算损失函数及优化算法应用的公式如下：所述步骤C中，确定图像坐标系和相机坐标系之间的转换关系应用的公式如下，图像平面运动和三维空间运动匹配对应关系标记为2.根据权利要求1所述的一种基于单目事件相机的相对位姿估计方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：刘旭，孙培，周逸明，卢山，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：