本发明专利技术公开了一种基于脉冲神经网络的视觉重建方法、装置、存储介质及终端，方法包括：接收来自视觉传感器每个时间段的待处理连续脉冲阵列信号；将该信号进行离散化处理，生成携带时间信息的离散信号数据；将该离散信号数据输入预先训练的脉冲神经网络中，输出连续视觉图像；预先训练的脉冲神经网络是根据连续多个时间步长的脉冲阵列信号循环训练生成的，视觉图像是根据膜电位信息生成的，膜电位信息是对待处理连续脉冲阵列信号进行特征提取生成的。由于本申请通过基于多个时间步长的脉冲信号，并结合脉冲神经网络进行网络训练，使得网络可以提取出脉冲信号的膜电位信息，进而根据膜电位信息恢复出视觉图像，从而解决了脉冲阵列信号的视觉重建问题。列信号的视觉重建问题。列信号的视觉重建问题。
【技术实现步骤摘要】
一种基于脉冲神经网络的视觉重建方法、装置、存储介质及终端
[0001]本专利技术涉及信号处理
，特别涉及一种基于脉冲神经网络的视觉重建方法、装置、存储介质及终端。
技术介绍
[0002]脉冲神经网络被称为第三代人工神经网络，内部的信息全部由二值传递，具有时域信息处理能力和低功耗的特性。脉冲神经元和突触连接机制是脉冲神经网络与传统人工神经网络的主要不同之处，脉冲神经元通过将前突触输入的信息汇集，并根据神经元状态判断是否发放脉冲，因此具有时域记忆能力。而脉冲神经网络突触中的信息靠二值脉冲传递，是一种高效的数据处理方式。
[0003]目前，事件相机和脉冲相机等新型视觉传感器具有高速、高动态范围、低功耗的优势。然而，与传统相机不同，这类传感器发出的信号无法为人类直观理解，如何从这类神经形态信号中恢复出视觉信息，是一个十分关键的任务。
技术实现思路
[0004]本申请实施例提供了一种基于脉冲神经网络的视觉重建方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0005]第一方面，本申请实施例提供了一种基于脉冲神经网络的视觉重建方法，方法包括：
[0006]接收来自视觉传感器每个时间段的待处理连续脉冲阵列信号；
[0007]将待处理连续脉冲阵列信号进行离散化处理，生成携带时间信息的离散信号数据；
[0008]将携带时间信息的离散信号数据输入预先训练的脉冲神经网络中，输出待处理连续脉冲阵列信号对应的视觉图像；其中，
[0009]预先训练的脉冲神经网络是根据连续多个时间步长的脉冲阵列信号循环训练生成的，视觉图像是根据膜电位信息生成的，膜电位信息是对待处理连续脉冲阵列信号进行特征提取生成的。
[0010]可选的，按照以下步骤生成预先训练的脉冲神经网络，包括：
[0011]创建脉冲神经网络；
[0012]接收来自视觉传感器在第一时间步长采集的目标脉冲阵列信号；
[0013]将目标脉冲阵列信号进行离散化处理，生成携带时间信息的目标离散信号数据；
[0014]将携带时间信息的目标离散信号数据输入脉冲神经网络中，更新脉冲神经网络中神经元的内部状态后输出目标脉冲阵列信号对应的灰度值和网络损失值；
[0015]其中，
[0016]神经元的内部状态至少包括膜电位、发放阈值、膜时间常数；
[0017]根据网络损失值生成预先训练的脉冲神经网络。
[0018]可选的，根据网络损失值生成预先训练的脉冲神经网络，包括：
[0019]若网络损失值未到达预设损失值或当前训练次数未到达预设训练次数，则计算反向传播的梯度值；
[0020]将反向传播的梯度值进行反向传播，并根据反向传播的梯度值更新脉冲神经网络的神经元权重值，并接收来自视觉传感器在下一时间步长采集的目标脉冲阵列信号；
[0021]继续执行将目标脉冲阵列信号进行离散化处理的步骤，直到网络损失值到达预设损失值；
[0022]或者，
[0023]若网络损失值到达预设损失值且当前训练次数到达预设训练次数，则生成预先训练的脉冲神经网络。
[0024]可选的，计算反向传播的梯度值，包括：
[0025]获取网络的监督信号；
[0026]根据灰度值与监督信号计算误差；
[0027]将误差确定为反向传播的梯度值。
[0028]可选的，将目标脉冲阵列信号进行离散化处理，生成携带时间信息的目标离散信号数据，包括：
[0029]根据预设堆叠参数将目标脉冲阵列信号堆叠为多个脉冲数组，得到多个脉冲平面；
[0030]对每个脉冲平面添加与其对应的时域信息，得到多个脉冲张量；
[0031]将多个脉冲张量确定为携带时间信息的目标离散信号数据。
[0032]可选的，将目标脉冲阵列信号进行离散化处理，生成携带时间信息的目标离散信号数据，包括：
[0033]将目标脉冲阵列信号转换为多个脉冲时间间隔信息；
[0034]基于多个脉冲时间间隔信息构建像素矩阵，得到携带时间信息的目标离散信号数据。
[0035]可选的，脉冲神经网络包括多个特征提取层、动态信息提取层；动态信息提取层为脉冲神经网络最后一层；
[0036]将携带时间信息的目标离散信号数据输入脉冲神经网络中，输出目标脉冲阵列信号对应的灰度值和网络损失值，包括：
[0037]根据多个特征提取层对携带时间信息的目标离散信号数据进行多次特征深度提取，得到初始特征；
[0038]将初始特征输入动态信息提取层，得到脉冲神经元膜电位；
[0039]将每个脉冲神经元膜电位进行归一化处理，以将膜电位归一化到0
‑
1之间，得到目标脉冲阵列信号对应的灰度值；
[0040]根据灰度值，并结合损失函数计算网络损失值；其中，
[0041]脉冲神经元至少包括积分发放神经元、积分泄漏发放神经元、可学习参数的脉冲
神经元以及以上神经元输出中间状态连续值的改进神经元。
[0042]第二方面，本申请实施例提供了一种基于脉冲神经网络的视觉重建装置，装置包括：
[0043]脉冲阵列信号接收模块，用于接收来自视觉传感器每个时间段的待处理连续脉冲阵列信号；
[0044]离散信号数据生成模块，用于将待处理连续脉冲阵列信号进行离散化处理，生成携带时间信息的离散信号数据；
[0045]视觉图像输出模块，用于将携带时间信息的离散信号数据输入预先训练的脉冲神经网络中，输出待处理连续脉冲阵列信号对应的视觉图像；
[0046]预先训练的脉冲神经网络是根据连续多个时间步长的脉冲阵列信号循环训练生成的，视觉图像是根据膜电位信息生成的，膜电位信息是对待处理连续脉冲阵列信号进行特征提取生成的。
[0047]第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
[0048]第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
[0049]本申请实施例提供的技术方案可以包括以下有益效果：
[0050]在本申请实施例中，基于脉冲神经网络的视觉重建装置首先接收来自视觉传感器每个时间段的待处理连续脉冲阵列信号，然后将该信号进行离散化处理，生成携带时间信息的离散信号数据，最后将该离散信号数据输入预先训练的脉冲神经网络中，输出连续视觉图像，其中预先训练的脉冲神经网络是根据连续多个时间步长的脉冲阵列信号循环训练生成的，视觉图像是根据膜电位信息生成的，膜电位信息是对待处理连续脉冲阵列信号进行特征提取生成的。由于本申请通过基于多个时间步长的脉冲信号，并本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于脉冲神经网络的视觉重建方法，其特征在于，所述方法包括：接收来自视觉传感器每个时间段的待处理连续脉冲阵列信号；将所述待处理连续脉冲阵列信号进行离散化处理，生成携带时间信息的离散信号数据；将携带时间信息的离散信号数据输入预先训练的脉冲神经网络中，输出所述待处理连续脉冲阵列信号对应的视觉图像；其中，所述预先训练的脉冲神经网络是根据连续多个时间步长的脉冲阵列信号循环训练生成的，所述视觉图像是根据膜电位信息生成的，所述膜电位信息是对待处理连续脉冲阵列信号进行特征提取生成的。2.根据权利要求1所述的方法，按照以下步骤生成预先训练的脉冲神经网络，包括：创建脉冲神经网络；接收来自视觉传感器在第一时间步长采集的目标脉冲阵列信号；将所述目标脉冲阵列信号进行离散化处理，生成携带时间信息的目标离散信号数据；将携带时间信息的目标离散信号数据输入所述脉冲神经网络中，更新所述脉冲神经网络中神经元的内部状态后输出所述目标脉冲阵列信号对应的灰度值和网络损失值；其中，所述神经元的内部状态至少包括膜电位、发放阈值、膜时间常数；根据所述网络损失值生成预先训练的脉冲神经网络。3.根据权利要求2所述的方法，其特征在于，所述根据所述网络损失值生成预先训练的脉冲神经网络，包括：若所述网络损失值未到达预设损失值或当前训练次数未到达预设训练次数，则计算反向传播的梯度值；将反向传播的梯度值进行反向传播，并根据反向传播的梯度值更新所述脉冲神经网络的神经元权重值，并接收来自视觉传感器在下一时间步长采集的目标脉冲阵列信号；继续执行所述将所述目标脉冲阵列信号进行离散化处理的步骤，直到所述网络损失值到达预设损失值；或者，若所述网络损失值到达预设损失值且当前训练次数到达预设训练次数，则生成预先训练的脉冲神经网络。4.根据权利要求3所述的方法，其特征在于，所述计算反向传播的梯度值，包括：获取网络的监督信号；根据所述灰度值与所述监督信号计算误差；将所述误差确定为反向传播的梯度值。5.根据权利要求2所述的方法，其特征在于，所述将所述目标脉冲阵列信号进行离散化处理，生成携带时间信息的目标离散信号数据，包括：根据预设堆叠参数将目标脉冲阵列信号堆叠为多个脉冲数组，得到多个脉冲平面；对每个脉冲平面添加与其对应的时域信息，得到多个脉冲张量；将所述多个脉冲张量确定为携带...
【专利技术属性】
技术研发人员：田永鸿，朱林，李家宁，项锡捷，王艺璇，方维，陈彦骐，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。