一种脉冲神经网络的训练方法技术

本发明专利技术公开了一种脉冲神经网络的训练方法，所述方法通过获取目标卷积神经网络，其中，所述目标卷积神经网络为预先经过训练的卷积神经网络；将所述目标卷积神经网络转换为初始脉冲神经网络；同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的所述初始脉冲神经网络作为目标脉冲神经网络。由于本发明专利技术在将卷积神经网络转换为脉冲神经网络之后，还会对脉冲神经网络在时间域和空间域上进行训练，因此可以进一步优化脉冲神经网络在时间域和空间域上的信息传输能力。从而解决了现有的ANN

【技术实现步骤摘要】
一种脉冲神经网络的训练方法


[0001]本专利技术涉及深度学习领域，尤其涉及的是一种脉冲神经网络的训练方法。

技术介绍

[0002]脉冲神经网络的训练方法有多种，其中，ANN
‑
to
‑
SNN的训练方法由于在性能和网络规模上都有不错的效果，因此受到广泛关注。ANN
‑
to
‑
SNN的训练方法具体为：首先训练一个人工神经网络，然后将其转换为具有相同网络结构的SNN版本。这种训练方式不仅避免了直接训练SNN所面临的困难，而且就性能而言，转换SNN保持着与ANN最小的差距，具有在大规模网络结构和数据集上实现的能力。但是目前ANN
‑
to
‑
SNN的训练方法存在的问题是转换后的SNN完成一次前向推理所需要的时间步长很大，导致了与原始目的相悖的额外延迟和能耗。
[0003]因此，现有技术还有待改进和发展。

技术实现思路

[0004]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种脉冲神经网络的训练方法，旨在解决现有的ANN
‑
to
‑
SNN的训练方法得到的SNN，完成一次前向推理所需要的时间步长较长的问题。
[0005]本专利技术解决问题所采用的技术方案如下：
[0006]第一方面，本专利技术实施例提供一种脉冲神经网络的训练方法，其中，所述方法包括：
[0007]获取目标卷积神经网络，其中，所述目标卷积神经网络为预先经过训练的卷积神经网络；
[0008]将所述目标卷积神经网络转换为初始脉冲神经网络；
[0009]同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的所述初始脉冲神经网络作为目标脉冲神经网络。
[0010]在一种实施方式中，所述获取目标卷积神经网络，包括：
[0011]获取卷积神经网络；
[0012]获取原始训练数据，将所述原始训练数据中的训练图像输入所述卷积神经网络，通过所述卷积神经网络生成所述训练图像对应的预测向量；
[0013]根据所述训练图像对应的标签向量和所述预测向量，对所述卷积神经网络做参数更新，并继续执行将所述原始训练数据中的训练图像输入所述卷积神经网络的步骤直至训练结束；
[0014]将训练完毕后的所述卷积神经网络作为所述目标卷积神经网络。
[0015]在一种实施方式中，所述获取卷积神经网络，包括：
[0016]获取标准卷积神经网络；
[0017]确定标准脉冲神经网络对应的结构信息；
[0018]根据所述结构信息对所述标准卷积神经网络进行剪裁，得到剪裁卷积神经网络；
[0019]将所述剪裁卷积神经网络作为所述卷积神经网络。
[0020]在一种实施方式中，所述根据所述结构信息对所述标准卷积神经网络进行剪裁，包括：
[0021]根据所述结构信息在所述标准卷积神经网络的输入端后增加abs函数层，并将所述标准卷积神经网络的每一卷积层和全连接层的偏置置零，并将所述标准卷积神经网络中的每一激活函数调整为ReLU激活函数，并将所述标准卷积神经网络中的最大池化层调整为空间线性下采样层。
[0022]在一种实施方式中，所述将所述目标卷积神经网络转换为初始脉冲神经网络，包括：
[0023]在所述目标卷积神经网络的输入端后增加脉冲生成层，并在所述目标卷积神经网络的输出端前增加脉冲计数层；
[0024]将增加后的所述目标卷积神经网络作为所述初始脉冲神经网络。
[0025]在一种实施方式中，所述将增加所述脉冲生成层和所述脉冲计数层后的所述目标卷积神经网络作为所述初始脉冲神经网络，包括：
[0026]将增加后的所述目标卷积神经网络作为权值初始化脉冲神经网络，将所述权值初始化脉冲神经网络中的每一神经元替换为泄露积分点火神经元；
[0027]将替换后的所述权值初始化脉冲神经网络作为所述初始脉冲神经网络。
[0028]在一种实施方式中，所述同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的初始脉冲神经网络作为目标脉冲神经网络，包括：
[0029]将所述原始训练数据中的训练图像输入所述初始脉冲神经网络，通过所述初始脉冲神经网络生成所述训练图像对应的输出向量；
[0030]根据所述训练图像对应的标签向量和所述输出向量，对所述初始脉冲神经网络同时做基于时间域和空间域的参数更新，并继续执行将所述原始训练数据中的训练图像输入所述初始脉冲神经网络的步骤直至训练结束；
[0031]将训练完毕后的所述初始脉冲神经网络作为所述目标脉冲神经网络。
[0032]在一种实施方式中，所述根据所述训练图像对应的标签向量和所述输出向量，对所述初始脉冲神经网络同时做基于时间域和空间域的参数更新，包括：
[0033]根据所述训练图像对应的标签向量和所述输出向量，确定损失函数；
[0034]根据所述损失函数，同时对所述初始脉冲神经网络进行空间域的反向传播和时间域的反向传播；
[0035]通过所述空间域的反向传播和所述时间域的反向传播对所述初始脉冲神经网络进行参数更新。
[0036]在一种实施方式中，所述通过所述空间域的反向传播和所述时间域的反向传播对所述初始脉冲神经网络进行参数更新，包括：
[0037]通过所述空间域的反向传播和所述时间域的反向传播，确定所述初始脉冲神经网络中每一神经元对应的目标梯度；
[0038]根据每一所述神经元对应的目标梯度，确定每一所述神经元对应的目标权重值；
[0039]根据每一所述神经元对应的目标权重值，对每一所述神经元进行权值更新。
[0040]第二方面，本专利技术实施例还提供一种脉冲神经网络，其中，所述脉冲神经网络采用上述任一所述的脉冲神经网络的训练方法训练得到。
[0041]第三方面，本专利技术实施例还提供一种脉冲神经网络的训练装置，其中，所述装置包括：
[0042]卷积神经网络确定模块，用于获取目标卷积神经网络，其中，所述目标卷积神经网络为预先经过训练的卷积神经网络；
[0043]神经网络转换模块，用于将所述目标卷积神经网络转换为初始脉冲神经网络；
[0044]脉冲神经网络训练模块，用于同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的所述初始脉冲神经网络作为目标脉冲神经网络。
[0045]第四方面，本专利技术实施例还提供一种终端，其中，所述终端包括有存储器和一个或者一个以上处理器；所述存储器存储有一个或者一个以上的程序；所述程序包含用于执行如上述任一所述的脉冲神经网络的训练方法的指令；所述处理器用于执行所述程序。
[0046]第五方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适用于由处理器加载并执行，以实现上述任一所述的脉冲神经网络的训练方法的步骤。
[0047]本专利技术的有益效果：本专利技术实施例通过获取目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲神经网络的训练方法，其特征在于，所述方法包括：获取目标卷积神经网络，其中，所述目标卷积神经网络为预先经过训练的卷积神经网络；将所述目标卷积神经网络转换为初始脉冲神经网络；同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的所述初始脉冲神经网络作为目标脉冲神经网络。2.根据权利要求1所述的脉冲神经网络的训练方法，其特征在于，所述获取目标卷积神经网络，包括：获取卷积神经网络；获取原始训练数据，将所述原始训练数据中的训练图像输入所述卷积神经网络，通过所述卷积神经网络生成所述训练图像对应的预测向量；根据所述训练图像对应的标签向量和所述预测向量，对所述卷积神经网络做参数更新，并继续执行将所述原始训练数据中的训练图像输入所述卷积神经网络的步骤直至训练结束；将训练完毕后的所述卷积神经网络作为所述目标卷积神经网络。3.根据权利要求2所述的脉冲神经网络的训练方法，其特征在于，所述获取卷积神经网络，包括：获取标准卷积神经网络；确定标准脉冲神经网络对应的结构信息；根据所述结构信息对所述标准卷积神经网络进行剪裁，得到剪裁卷积神经网络；将所述剪裁卷积神经网络作为所述卷积神经网络。4.根据权利要求3所述的脉冲神经网络的训练方法，其特征在于，所述根据所述结构信息对所述标准卷积神经网络进行剪裁，包括：根据所述结构信息在所述标准卷积神经网络的输入端后增加abs函数层，并将所述标准卷积神经网络的每一卷积层和全连接层的偏置置零，并将所述标准卷积神经网络中的每一激活函数调整为ReLU激活函数，并将所述标准卷积神经网络中的最大池化层调整为空间线性下采样层。5.根据权利要求1所述的脉冲神经网络的训练方法，其特征在于，所述将所述目标卷积神经网络转换为初始脉冲神经网络，包括：在所述目标卷积神经网络的输入端后增加脉冲生成层，并在所述目标卷积神经网络的输出端前增加脉冲计数层；将增加后的所述目标卷积神经网络作为所述初始脉冲神经网络。6.根据权利要求5所述的脉冲神经网络的训练方法，其特征在于，所述将增加所述脉冲生成层和所述脉冲计数层后的所述目标卷积神经网络作为所述初始脉冲神经网络，包括：将增加后的所述目标卷积神经网络作为权值初始化脉冲神经网络，将所述权值初始化脉冲神经网络中的每一神经元替换为泄露积分点火神经元；将替换后的所述权值初始化脉冲神经网络作为所述初始脉冲神经网络。7.根据权利要求2所述的脉冲神经网络的训练方法，其特征在于，所述同时在时间域和空间域对所述初始脉冲神经网络进行训练，将训练后的初始脉冲神经网络作为目标脉冲神...

【专利技术属性】
技术研发人员：邹承明，范振锋，曾炜，常峰，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：