基于事件及视频融合的去遮挡成像方法及装置制造方法及图纸

本申请公开了一种基于事件及视频融合的去遮挡成像方法及装置，其中，方法包括：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据，将视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量，并与第一至第三图像组合，输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。由此，解决了相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差，难以满足成像要求的技术问题。以满足成像要求的技术问题。以满足成像要求的技术问题。

【技术实现步骤摘要】
基于事件及视频融合的去遮挡成像方法及装置


[0001]本申请涉及计算机视觉及神经形态计算
，特别涉及一种基于事件及视频融合的去遮挡成像方法及装置。

技术介绍

[0002]通常，在场景内存在遮挡物的情况下，难以对遮挡物背后的场景进行观测，使用传统相机记录被遮挡的场景，难以获取有效的场景信息。
[0003]相关技术仅能使用纯视频或者纯事件流生成去遮挡的观测图像：
[0004]一、使用纯视频生成去遮挡的观测图像的方法，由于输入的包含遮挡的视频帧信噪比极低，难以提供有效的被遮挡场景的视觉信息；
[0005]二、使用纯事件流作为生成去遮挡的观测图像的方法，使用事件流提供每个像素点的亮度变化记录，但由于缺乏每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计是一种欠定问题，也导致生成的图像质量较差。
[0006]综上所述，相关技术中输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，从而导致生成的图像质量较差，难以满足成像要求，降低使用体验，有待改善。

技术实现思路

[0007]本申请提供一种基于事件及视频融合的去遮挡成像方法及装置，以解决相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差的技术问题。
[0008]本申请第一方面实施例提供一种基于事件及视频融合的去遮挡成像方法，包括以下步骤：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。
[0009]可选地，在本申请的一个实施例中，在将所述事件流数据输入至所述预设的脉冲神经网络进行前向传播之前，还包括：使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。
[0010]可选地，在本申请的一个实施例中，所述去遮挡成像网络使用U
‑
Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。
[0011]可选地，在本申请的一个实施例中，所述第一至第三图像的位于时刻的计算公式为：
[0012][0013]其中，T为完整事件流ε的持续时间长度。
[0014]本申请第二方面实施例提供一种基于事件及视频融合的去遮挡成像装置，包括：第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；分流模块，用于基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；第二获取模块，用于将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及成像模块，用于将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。
[0015]可选地，在本申请的一个实施例中，还包括：构建模块，用于使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。
[0016]可选地，在本申请的一个实施例中，所述去遮挡成像网络使用U
‑
Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。
[0017]可选地，在本申请的一个实施例中，所述第一至第三图像的位于时刻的计算公式为：
[0018][0019]其中，T为完整事件流ε的持续时间长度。
[0020]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于事件及视频融合的去遮挡成像方法。
[0021]本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于事件及视频融合的去遮挡成像方法。
[0022]本申请实施例在遮挡环境系下，可以通过事件相机获取遮挡环境下的事件流数据和视频数据，利用脉冲神经网络对事件流数据进行编码，实现对事件流数据的去躁效果，并利用去遮挡成像网络将组合的事件流数据和视频数据进行向前传播，实现有效的去遮挡成像，可以有效提高成像质量，满足成像需求。由此，解决了相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差的技术问题。
[0023]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0024]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0025]图1为根据本申请实施例提供的一种基于事件及视频融合的去遮挡成像方法的流程图；
[0026]图2为根据本申请一个实施例的基于传统相机记录的被遮挡的场景图；
[0027]图3为根据本申请一个实施例的一种基于事件及视频融合的去遮挡成像方法的事件相机获取的事件流数据及视频数据示意图；
[0028]图4为根据本申请一个实施例的一种基于事件及视频融合的去遮挡成像方法的视频数据中间帧成像示意图；
[0029]图5为根据本申请一个实施例的一种基于事件及视频融合的去遮挡成像方法的去遮挡成像结果示意图；
[0030]图6为根据本申请一个实施例的一种基于事件及视频融合的去遮挡成像方法的流程图；
[0031]图7为根据本申请实施例提供的一种基于事件及视频融合的去遮挡成像装置的结构示意图；
[0032]图8为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0033]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0034]下面参考附图描述本申请实施例的基于事件及视频融合的去遮挡成像方法及装置。针对上述
技术介绍
中心提到的相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差的技术问题，本申请提供了一种基于事件及视频融合的去遮挡成像方法，在该方法中，在遮挡环境系下，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件及视频融合的去遮挡成像方法，其特征在于，包括以下步骤：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。2.根据权利要求1所述的方法，其特征在于，在将所述事件流数据输入至所述预设的脉冲神经网络进行前向传播之前，还包括：使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。3.根据权利要求1所述的方法，其特征在于，所述去遮挡成像网络使用U
‑
Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一至第三图像的位于时刻的计算公式为：其中，T为完整事件流ε的持续时间长度。5.一种基于事件及视频融合的去遮挡成像装置，其特征在于，包括：第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；分流模块，用于基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段...

【专利技术属性】
技术研发人员：高跃，李思奇，闫循石，
申请(专利权)人：清华大学，
类型：发明
国别省市：