一种融合事件相机与传统光学相机的合成孔径成像方法技术

本发提供了一种融合事件相机与传统光学相机的合成孔径成像方法，该方法融合了两种相机在合成孔径成像应用中的优势，通过构建基于脉冲神经网络和卷积神经网络的神经网络架构，构建事件流与图像帧之间的桥梁，并重建出高质量的无遮挡目标图像帧，完成在多种密集程度遮挡场景中的高质量穿透成像任务。本发明专利技术综合利用了事件相机与传统光学相机的优势，以及使用了神经网络强大的的学习能力，从而实现目标在多种密集遮挡场景中的高质量图像重建，进一步增强了合成孔径成像技术的鲁棒性与可应用性。增强了合成孔径成像技术的鲁棒性与可应用性。增强了合成孔径成像技术的鲁棒性与可应用性。

【技术实现步骤摘要】
一种融合事件相机与传统光学相机的合成孔径成像方法


[0001]本专利技术属于图像处理领域，特别涉及一种融合事件相机与传统光学相机的合成孔径成像方法。

技术介绍

[0002]合成孔径成像(Synthetic Aperture Imaging,SAI)技术使用相机对场景进行多视角观测，从而等效于一个大孔径的虚拟相机。由于相机的孔径越大、景深越小，当拍摄目标被遮挡时，合成孔径成像能够通过虚化遮挡物从而实现对被遮挡目标的成像，因此在三维重建、目标跟踪、识别等领域具有极高的应用价值。
[0003]目前的合成孔径成像算法主要使用传统光学相机拍摄的多视角图像帧序列进行透视成像。然而，随着遮挡物逐渐密集，图像帧中包含的目标光线信息急剧减少，遮挡物的干扰光线信息占据主导部分，导致基于传统光学相机的合成孔径成像算法出现严重的性能退化。近年来，一种基于事件相机的合成孔径成像算法被提出用于解决密集遮挡场景中的透视成像问题。事件相机感知像素点在对数域的亮度变化，异步地输出高时间分辨率、高动态范围的事件流数据，能近似连续地对目标进行感知，因此在密集遮挡场景中也能获取充分的目标信息。由于现有的事件相机合成孔径成像算法基于目标与遮挡物亮度差生成的事件点进行成像，当在稀疏遮挡场景中时，有效事件点减少导致基于事件相机的合成孔径成像算法性能退化。考虑到基于传统光学相机与事件相机额合成孔径成像算法分别在稀疏遮挡场景与密集遮挡场景有较好的性能，因此可以充分利用二者的信息进行融合成像，实现在多种密集遮挡场景中的合成孔径成像。然而，由于事件流的数据模态完全不同于图像帧数据，如何建立二者之间的桥梁实现融合成像仍存在较大困难。

技术实现思路

[0004]针对上述问题，本专利技术提供了一种基于事件相机与传统光学相机的合成孔径成像方法，该方法融合了两种相机在合成孔径成像应用中的优势，通过构建基于脉冲神经网络和卷积神经网络的神经网络架构，构建事件流与图像帧之间的桥梁，并重建出高质量的无遮挡目标图像帧，完成在多种密集程度遮挡场景中的高质量穿透成像任务。
[0005]本专利技术提供的一种基于事件相机与传统光学相机的合成孔径成像方法，包括以下具体步骤：
[0006]步骤1，在有遮挡场景中构建多视角事件流与图像帧数据集，并在无遮挡场景中构建图像帧数据集。
[0007]步骤2，选定参考相机位置，根据多视图几何原理，将多视角事件流和图像帧映射至参考相机位置，对被遮挡目标进行重聚焦，得到重聚焦后的事件流与图像帧数据集；
[0008]步骤3，构建混合神经网络模型，将重聚焦后的事件流进行压帧得到事件帧，将未聚焦的事件流进行预重建处理得到预重建事件帧并进行重聚焦，与重聚焦后的图像帧数据集一同作为训练集输入至混合神经网络中，得到网络预测的目标重建图像，并结合目标的
无遮挡图像以及网络学习损失函数，通过ADAM优化器迭代优化网络参数，得到训练后的混合神经网络；
[0009]步骤3中所述的混合神经网络模型包括以下几个模块：多模态编码模块，跨注意力增强模块，密度感知模块以及多模态解码模块；
[0010]其中多模态编码模块包括多个卷积层或脉冲层，用于进行特征提取；
[0011]跨注意力增强模块包括多个交叉注意力的Transformer模块，用于对提取的特征进行多次增强；
[0012]密度感知模块包括对增强的特征与原始的特征进行特征级联，然后经过卷积层、全局平均池化、全局最大池化、全连接层，最后进行加权求和输出融合后的特征；
[0013]多模态解码模块为现有的卷积神经网络架构，用于根据融合后的特征进行图像重建；
[0014]步骤4，将待重建的被遮挡目标事件流与图像帧输入训练后的网络进行预测，得到被遮挡目标对应的去遮挡重建图像。
[0015]进一步的，步骤1中所述的多视角事件流数据集E为：
[0016]E＝{e
k
＝(x
k
,y
k
,p
k
,t
k
)},k∈[1,K],x
k
∈[1,W],y
k
∈[1,H],p
k
∈[1,
‑
1][0017]其中，e
k
为第k个事件点数据，x
k
,y
k
为第k个事件点的像素坐标，p
k
为事件极性(极性为 1代表该点亮度增加，极性为
‑
1代表该点亮度降低)；t
k
为事件点的时间戳；W,H分别表示事件点空间坐标的宽、高，K表示事件点个数。
[0018]进一步的，步骤1中所述的多视角图像帧数据集F为：
[0019][0020]其中，I
n
表示为第n幅图像帧数据,W,H分别表示图像帧的的宽、高，N表示图像帧总数。进一步的，步骤2中所述的将多视角事件流图像帧映射至参考相机位置方式具体如下：
[0021][x
r
,y
r
,1]＝KRK
‑1[x,y,1]+KT/d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0022]公式(1)中，x
r
,y
r
表示映射后的图像坐标，x,y表示图像坐标，R,T表示为像素点到参考相机位置的旋转、平移矩阵，K表示相机的内参矩阵，d为重聚焦距离，一般设定为被遮挡目标到相机平面的距离。根据映射公式，可以得到重聚焦后的事件流数据集E
r
：
[0023][0024]其中，为重聚焦后的第k个事件点，表示该事件点对应的x，y轴坐标，为事件极性(极性为1代表该点亮度增加，极性为
‑
1代表该点亮度降低)；为事件点的时间戳。根据映射公式(1)，可以得到重聚焦后的图像帧数据集F
r
：
[0025][0026]其中，表示为第n张重聚焦后的图像帧。
[0027]进一步的，步骤3中所述的重聚焦事件流压帧过程表示为：
[0028][0029]公式(2)中，表示为第j张压帧后的事件帧数据，J为事件帧总数，x,y在此处代
表图像坐标，为第k个重聚焦事件点的图像坐标，δ(
·
)表示为狄利克雷函数，Δt表示为单张事件帧压帧采用的时间长度，其计算方式表示为：
[0030][0031]其中，t
k
为第k个事件点的时间戳，t1为第一个事件点的时间戳。因此，可以得到压帧后的重聚焦事件帧数据集F
E,r
：
[0032][0033]进一步的，步骤3中所述的事件流预重建过程表示为：
[0034][0035]公式(3)中，表示为第j张预重建事件帧，J为预重建为事件帧总数，x,y在此处代表图像坐标，x
k
,y
k
为第k个事件点的图像坐标，δ(
·
)表示为狄利克雷函数，Recon(
·
)表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于，包含以下步骤：步骤1，在有遮挡场景中构建多视角事件流与图像帧数据集，并在无遮挡场景中构建图像帧数据集；步骤2，选定参考相机位置，根据多视图几何原理，将多视角事件流和图像帧映射至参考相机位置，对被遮挡目标进行重聚焦，得到重聚焦后的事件流与图像帧数据集；步骤3，构建混合神经网络模型，将重聚焦后的事件流进行压帧得到事件帧，将未聚焦的事件流进行预重建处理得到预重建事件帧并进行重聚焦，与重聚焦后的图像帧数据集一同作为训练集输入至混合神经网络模型中，得到网络预测后的目标重建图像，并结合目标的无遮挡图像以及网络学习损失函数，通过ADAM优化器迭代优化网络参数，得到训练后的混合神经网络模型；步骤3中所述的混合神经网络模型包括以下几个模块：多模态编码模块，跨注意力增强模块，密度感知模块以及多模态解码模块；其中多模态编码模块包括多个卷积层或脉冲层，用于进行特征提取；跨注意力增强模块包括多个交叉注意力的Transformer模块，用于对提取的特征进行多次增强；密度感知模块包括对增强的特征与原始的特征进行特征级联，然后经过卷积层、全局平均池化、全局最大池化、全连接层，最后进行加权求和输出融合后的特征；多模态解码模块为现有的卷积神经网络架构，用于根据融合后的特征进行图像重建；步骤4，将待重建的被遮挡目标事件流与图像帧输入训练后的混合神经网络模型进行预测，得到被遮挡目标对应的去遮挡重建图像。2.根据权利要求1所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：步骤1中所述的多视角事件流数据集E表示为；E＝{e
k
＝(x
k
，y
k
，p
k
，t
k
)}，k∈[1，K]，x
k
∈[1，W]，y
k
∈[1，H]，p
k
∈[1，
‑
1]其中，e
k
为第k个事件点数据，x
k
，y
k
为第k个事件点的像素坐标，p
k
为事件极性，极性为1代表该点亮度增加，极性为
‑
1代表该点亮度降低；t
k
为事件点的时间戳；W，H分别表示事件点空间坐标的宽、高，K表示事件点个数。3.根据权利要求1所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：多视角图像帧数据集F表示为：其中，I
n
表示为第n幅图像帧数据，W，H分别表示图像帧的的宽、高，N表示图像帧总数。4.根据权利要求1所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：步骤2中所述的将多视角事件流图像帧映射至参考相机位置方式具体如下：[x
r
，y
r
，1]＝KRK
‑1[x，y，1]+KT/d
ꢀꢀꢀꢀ
(1)公式(1)中，x
r
，y
r
表示映射后的图像坐标，R，T表示为像素点到参考相机位置的旋转、平移矩阵，x，y表示图像坐标；K表示相机的内参矩阵，d为对焦距离；根据映射公式(1)，可以得到重聚焦后的事件流数据集E
r
：
其中，为重聚焦后的第k个事件点，表示该事件点对应的x，y轴坐标，为事件极性，极性为1代表该点亮度增加，极性为
‑
1代表该点亮度降低；为事件点的时间戳，根据映射公式(1)，可以得到重聚焦后的图像帧数据集Fr：其中，表示为第n张重聚焦后的图像帧。5.根据权利要求4所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：在步骤3中所述的重聚焦事件流压帧过程表示为：公式(2)中，表示为第j张压帧后的事件帧数据，J为事件帧总数，x，y在此处代表图像坐标，为第k个重聚焦事件点的图像坐标，δ(
·
)表示为狄利克雷函数，Δt表示为单张事件帧压帧采用的时间长度，其计算方式表示为：其中，t
k
为第k个事件点的时间戳，t1为第一个事件点的时间戳；因此，可以得到压帧后的重聚焦事件帧数据集：6.根据权利要求5所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：步骤3中所述的事件流预重建与重聚焦过程表示为；公式(3)中，表示为第j张预重建事件帧，J为预重建为事件帧总数，x，y在此处代表图像坐标，x
k
，y
k
为第k个事件点的图像坐标，δ为狄利克雷函数，Recon(
·
)表示为事件流亮度重建算子，Δt表示为单张事件帧压帧采用的时间长度；接下来，使用前文所述的映射公式(1)，对每一张图像针对参考相机位置进行映射，得到重聚焦后的预重建事件帧数据集F
E
→
F，r
：其中，为第j张重聚焦的预重建事件帧。7.据权利要求6所述的一种融合事件相机与传统光学相机的合成孔径成像方法，其特征在于：混合神经网络模型输入的压帧后的重聚焦事件帧F
E，r
，重聚焦图像帧F
r
以及重聚焦事件流预重建事件帧F
E
→
F，r
将首先以三条支路输入多模态编码模块进行粗特征提取：f
F，0
，f
E，0
，f
E
→
F.0
＝MF
‑
Encoder(F
r
，F
E，r
，F
E
→
F，r
)其中，f
F，0
，f
E，0
，f
E

【专利技术属性】
技术研发人员：余磊，廖伟，张翔，王阳光，杨文，
申请(专利权)人：武汉大学，
类型：发明
国别省市：