一种基于事件相机的多模态光流估计方法技术

本发明专利技术公开的一种基于事件相机的多模态光流估计方法，属于光流估计领域

【技术实现步骤摘要】
一种基于事件相机的多模态光流估计方法


[0001]本专利技术涉及一种基于事件相机的多模态光流估计方法，属于光流估计领域
。

技术介绍

[0002]光流估计是计算机视觉领域的重要研究分支，是许多下游视觉任务的基础，在自动驾驶
、
无人机视觉导航
、
目标追踪等领域有广泛应用
。
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是一种计算物体在相邻帧间运动信息的方法，它是由物体和相机的相对运动产生，反映了物体在短时间内对应成像像素的运动速度
。
[0003]事件相机是一种新兴的视觉传感器，与传统
RGB
相机相比具有高时间分辨率
、
高动态范围
、
低延迟等优点，这些优点源于其独特的工作原理，与
RGB
相机以固定的时间间隔在曝光时间内记录光线的强度不同，事件相机以微秒级的反应时间捕捉光强变化，当某一像素的光强变化突破阈值时，事件相机将记录一个事件，最终所有事件形成一串事件数据流作为结果
。
目前，事件相机在目标检测
、
去模糊
、
深度估计等领域都有应用研究，在计算机视觉领域的应用前景十分广阔
。
[0004]传统的光流估计方法以
RGB
图像帧作为输入进行计算，近年来基于深度学习的算法模型不断迭代，估计光流的精度不断提升
。
然而，在低光照
、
高运动速度等极端条件下，
RGB
图像的成像质量较差，存在信息丢失的现象，低质量的成像效果使得光流估计的准确度大大降低
。RGB
相机的采样频率和动态范围有限，制约了光流估计在极端场景下的应用，因此探索利用新兴的视觉传感器完成极端场景下的光流估计任务成为一种研究的思路
。

技术实现思路

[0005]针对现有的光流估计方法在低光
、
高速等极端场景下性能较差的问题，本专利技术的主要目的是提供一种基于事件相机的多模态光流估计方法，通过异步
、
稀疏及高时间分辨率的事件数据，以及同步
、
稠密及低时间分辨率的图像数据，以多模态的方式估计光流，提升光流估计在低光
、
高速等极端场景下的鲁棒性
。
[0006]为达到以上目的，本专利技术采用以下技术方案
。
[0007]本专利技术公开的一种基于事件相机的多模态光流估计方法，利用事件数据和图像数据的多模态信息提升光流估计在极端场景下的性能
。
通过将事件数据流转化为事件体素，神经网络能被用于事件数据的处理；通过循环神经网络和特征残差连接，实现事件特征和图像特征的融合增强；通过关联层和基于流的特征查询机制，完成对相邻帧的运动信息编码；通过光流的迭代细化，减少最终估计结果的误差
。
本专利技术充分利用事件
、
图像两种模态的数据，能准确预测相邻帧间的光流，在低光
、
高速场景下的抗干扰能力较强
。
[0008]本专利技术公开的一种基于事件相机的多模态光流估计方法，包含以下步骤：
[0009]步骤
101
：根据相邻图像帧
I1和
I2的起止时间戳提取事件数据流
E
，根据事件体素转换关系，将事件数据流
E
转化为事件体素
V。
[0010]所述的图像帧
I1和
I2为
H
×
W
×
C
的多通道图像，其中
H、W、C
分别代表图像的高度
、
宽
度
、
通道数；所述的事件数据流
E
为
N
×4的连续事件序列，其中
N
为事件个数
。
每个事件是一个四元组
(x,y,t,p)
，其中
t
是事件产生时的时间戳；
p∈{1,
‑
1}
为事件极性，表征光强的增幅与衰减；
1≤x≤W
和
1≤y≤H
是事件在成像平面上的空间位置
。
[0011]为适配神经网络的计算，在获取事件输入后，先将脉冲形式的事件流组织为阵列形式的三维时空分布矩阵，规定体素的时间通道数为
B
，先将事件时间戳
t
归一化到
(0,B)
，后将事件数据流
E
按照时空关系聚合为事件体素
V
：
[0012][0013]其中
e
k
＝
(x,y,t
k
,p
k
)
，表征坐标
(x,y)
处的
k
个事件，
t
k
和
p
k
分别为事件的时间戳和极性，最终生成事件体素
V
的大小为
(H,W,B)。
[0014]事件数据在时间
、
空间上与图像数据保持对齐，具体表现为：在时间上，事件流的起止时间戳与前后图像帧的时间戳对齐；在空间上，事件体素在分辨率上与图像保持一致，且像素的空间位置一一对应
。
[0015]步骤
102
：通过特征提取网络从图像帧
I1和
I2中提取图像特征
F1和
F2，从图像数据
I1中提取图像上下文特征
F
C
，从事件体素
V
中提取事件特征和
[0016]所述的特征提取网络包括但不限于：全连接网络，卷积神经网络，残差神经网络，循环神经网络
。
[0017]对于图像数据，特征提取分为三路：其中两路利用特征提取网络分别从
I1和
I2中提取特征，目的是用于后续相邻帧间运动特征的提取，最终计算得出图像初阶特征
F1和
F2；另一路利用特征提取网络从
I1中提取特征，目的是获取上下文特征，构建像素间的关联关系，最终计算得出图像上下文特征
F
C
。
利用特征提取网络
Extractor
提取特征的过程表示为：
[0018]F1＝
Extractor_1(I1)
ꢀꢀꢀꢀꢀꢀ
(2)
[0019]F2＝
Extractor_1(I2)
ꢀꢀꢀꢀꢀꢀ
(3)
[0020]F
C
＝
Extractor_2(I1)
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0021]对于事件数据，特征提取分为三路：利用特征提取网络
Extractor
从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于事件相机的多模态光流估计方法，其特征在于：包括以下步骤，步骤
101
：根据相邻图像帧
I1和
I2的起止时间戳提取事件数据流
E
，根据事件体素转换关系，将事件数据流
E
转化为事件体素
V
；步骤
102
：通过特征提取网络从图像帧
I1和
I2中提取图像特征
F1和
F2，从图像数据
I1中提取图像上下文特征
F
C
，从事件体素
V
中提取事件特征和步骤
103
：通过循环神经网络和特征残差连接，利用事件特征对图像特征
F1、F2进行特征的增强融合，得到融合后的特征利用事件特征对图像上下文特征
F
C
进行特征的增强融合，得到融合后的特征步骤
104
：通过关联层和局部窗口查询机制，基于当前光流
f
i
，初始设为0，对特征，对特征进行处理后，计算得出相邻帧的运动特征
F
motion
，利用事件特征对运动特征
F
motion
进行特征的增强融合，得到融合后的特征步骤
105
：通过循环神经网络从运动特征和上下文特征中提取信息，计算得到光流变化
Δ
f
；步骤
106
：根据光流变化
Δ
f
更新光流
f
i
，得到光流结果
f
i+1
；如果迭代次数
i+1
＜
I
，则跳转至步骤
104
进行迭代；如果迭代次数
i+1≥I
，则光流结果
f
i+1
即为收敛后的估计光流，从而得到相邻帧间的光流估计结果
f
I
。2.
如权利要求1所述的一种基于事件相机的多模态光流估计方法，其特征在于：步骤
101
的实现方法为，所述的图像帧
I1和
I2为
H
×
W
×
C
的多通道图像，其中
H、W、C
分别代表图像的高度
、
宽度
、
通道数；所述的事件数据流
E
为
N
×4的连续事件序列，其中
N
为事件个数；每个事件是一个四元组
(x,y,t,p)
，其中
t
是事件产生时的时间戳；
p∈{1,
‑
1}
为事件极性，表征光强的增幅与衰减；
1≤x≤W
和
1≤y≤H
是事件在成像平面上的空间位置；为适配神经网络的计算，在获取事件输入后，先将脉冲形式的事件流组织为阵列形式的三维时空分布矩阵，规定体素的时间通道数为
B
，先将事件时间戳
t
归一化到
(0,B)
，后将事件数据流
E
按照时空关系聚合为事件体素
V
：其中
e
k
＝
(x,y,t
k
,p
k
)
，表征坐标
(x,y)
处的
k
个事件，
t
k
和
p
k
分别为事件的时间戳和极性，最终生成事件体素
V
的大小为
(H,W,B)
；事件数据在时间
、
空间上与图像数据保持对齐，具体表现为：在时间上，事件流的起止时间戳与前后图像帧的时间戳对齐；在空间上，事件体素在分辨率上与图像保持一致，且像素的空间位置一一对应
。3.
如权利要求2所述的一种基于事件相机的多模态光流估计方法，其特征在于：步骤
102
的实现方法为，对于图像数据，特征提取分为三路：其中两路利用特征提取网络分别从
I1和
I2中提取特
征，目的是用于后续相邻帧间运动特征的提取，最终计算得出图像初阶特征
F1和
F2；另一路利用特征提取网络从
I1中提取特征，目的是获取上下文特征，构建像素间的关联关系，最终计算得出图像上下文特征
F
C
；对于事件数据，特征提取分为三路：利用特征提取网络从
V
中提取事件特征和三路特征被用于与后续不同阶段的图像特征的增强融合
。4.
如权利要求3所述的一种基于事件相机的多模态光流估计方法，其特征在于：步骤
103
的实现方法为，利用循环神经网络实现图像特征和事件特征的融合：将图像特征
F1作为隐藏态，事件特征作为输入态；图像特征
F2作为隐藏态，事件特征作为输入态；图像特征
F
C
作为隐藏态，事件特征作为输入态；分别将上述组合作为输入态
x0和隐藏态
h0输入循环神经网络进行
k
次迭代融合，得出特征融合后的结果
h
k
；基于循环神经网络特征融合结果
h<...

【专利技术属性】
技术研发人员：朱林，张鹏杰，王立志，张磊，黄华，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：