【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种脉冲神经网络训练方法、系统、电子设备及存储介质。
技术介绍
1、脉冲神经网络(spiking neural network,脉冲神经网络)是一种模拟生物神经系统的计算模型，可以通过模拟神经元之间的脉冲传递来进行信息处理。
2、相关技术中，需要通过多层数据处理层对进行脉冲神经网络训练，但是，由于脉冲神经网络对于矩阵转置、参数优化等常规并行计算任务的处理性能较低，并且脉冲神经网络加速器在训练时需要依次在每个数据处理层处理多个时间步的训练数据，每个数据处理层对训练数据全部处理完毕之后，才会将计算结果传输至下一个数据处理层进行继续计算，导致当前数据处理层在处理数据时，其他数据处理层处于空闲状态，如此，会导致资源利用率降低，同时也降低了脉冲神经网络训练的效率。
技术实现思路
1、本申请实施例的主要目的在于提出一种脉冲神经网络训练方法、系统、电子设备及存储介质，能够在提高资源利用率的同时，提高脉冲神经网络训练的效率。
2、为实现上述目的，本申请实施例的第一方面提出了一种脉冲神经网络训练方法，所述方法包括：获取第一样本数据，将所述第一样本数据划分为多个子样本数据；将多个所述子样本数据输入到初始脉冲神经网络中，其中，所述初始脉冲神经网络设置有多个网络数据层；在任意一个所述网络数据层上，按照处理的时间先后顺序，依次对各个所述子样本数据进行处理，得到对应的各个子样本特征，并在先得到任意一个所述子样本特征之后，将先得到的所述子样本特征输入到下一层所
3、根据本申请的一些实施例，所述将多个所述子样本数据输入到初始脉冲神经网络中之前，还包括：调用预先部署的多个脉冲神经网络加速器；计算初始脉冲神经网络的第一资源需求总量以及每个所述脉冲神经网络加速器的第一资源供给总量，根据所述第一资源需求总量除以所述第一资源供给总量，得到所述脉冲神经网络加速器的部署范围；根据所述部署范围对所述初始脉冲神经网络进行划分，得到多个数据分块，并将所述网络数据分块部署到所述脉冲神经网络加速器上；其中，每个所述数据分块至少包括一个网络数据层。
4、根据本申请的一些实施例，所述将所述网络数据分块部署到所述脉冲神经网络加速器上之后，还包括：调用预先部署的图形处理器；计算所述图形处理器对所述第一样本数据的第一数据处理时间，并根据所述第一数据处理时间，计算所述图形处理器处理所述第一样本数据的处理时间占比；根据所述处理时间占比，确定所述初始脉冲神经网络的参数调整方式。
5、根据本申请的一些实施例，所述根据所述第一数据处理时间，计算所述图形处理器处理所述第一样本数据的处理时间占比，包括：计算所述脉冲神经网络加速器对所述第一样本数据的第二数据处理时间；根据所述第一数据处理时间除以所述第二数据处理时间，得到所述图形处理器处理所述第一样本数据的处理时间占比。
6、根据本申请的一些实施例，所述根据所述处理时间占比，确定所述初始脉冲神经网络的参数调整方式，包括：获取预先设置的预设时间占比；将所述处理时间占比与预设时间占比进行比较，若所述处理时间占比小于所述预设时间占比，将所述初始脉冲神经网络的参数调整方式设置为同步调整；若所述处理时间占比大于所述预设时间占比，将所述初始脉冲神经网络的参数调整方式设置为异步调整。
7、根据本申请的一些实施例，所述基于所述累积梯度调整所述初始脉冲神经网络的参数，得到训练后的目标脉冲神经网络，包括：若所述初始脉冲神经网络的参数调整方式为同步调整，停止所述脉冲神经网络加速器的计算，通过所述图形处理器依次获取每个所述脉冲神经网络加速器的累积梯度，并基于所述累积梯度调整对应的所述脉冲神经网络加速器的参数，并将所述参数更新至所述初始脉冲神经网络，得到训练后的目标脉冲神经网络；其中，每个所述脉冲神经网络加速器的所述参数通过对各个所述第一样本数据进行处理时迭代更新得到；若所述初始脉冲神经网络的参数调整方式为异步调整，通过所述图形处理器依次获取每个所述脉冲神经网络加速器的累积梯度，并基于所述累积梯度，调整所述脉冲神经网络加速器的参数，并将所述累积参数更新至所述脉冲神经网络，得到训练后的目标脉冲神经网络。
8、根据本申请的一些实施例，所述基于所述累积梯度调整对应的所述脉冲神经网络加速器的参数，并将所述参数更新至所述初始脉冲神经网络，得到训练后的目标脉冲神经网络，包括：通过所述图形处理器依次从每个所述脉冲神经网络加速器的第一存储区域中获取参数；基于每个所述脉冲神经网络加速器对应的所述累积梯度，对每个所述第一存储区域中的参数进行调整，并将调整后的所述参数更新至所述初始脉冲神经网络，得到训练后的目标脉冲神经网络。
9、根据本申请的一些实施例，所述基于所述累积梯度，调整所述脉冲神经网络加速器的参数，并将所述累积参数更新至所述脉冲神经网络，得到训练后的目标脉冲神经网络，包括：通过所述图形处理器依次从每个所述脉冲神经网络加速器的第一存储区域中获取参数；基于所述累积梯度，调整每个所述脉冲神经网络加速器的参数，并将所述参数更新至所述第一存储区域中；将所述第一存储区域与当前时刻的第一计算区域的标记进行更换，以使得所述第一存储区域成为新的第一计算区域和所述第一计算区域成为新的第一存储区域后，得到训练后的目标神经网络；其中，所述第一计算区域用于依次对所述子样本数据进行实时处理。
10、根据本申请的一些实施例，所述基于多个所述目标样本特征得到所述初始脉冲神经网络的多个累积梯度，包括：基于多个所述目标样本特征对应的子样本数据，查找对应的所述子样本数据在每个所述网络数据层的子梯度数据；在每个所述网络数据层中，对每个所述第一样本数据对应的多个所述子梯度数据进行累积，得到所述初始脉冲神经网络的多个累积梯度。
11、为实现上述目的，本申请实施例的第二方面提出了一种脉冲神经网络训练系统，所述系统包括：子样本数据划分模块，用于获取第一样本数据，将所述第一样本数据划分为多个子样本数据；子样本数据输入模块，用于将多个所述子样本数据输入到初始脉冲神经网络中，其中，所述初始脉冲神经网络设置有多个网络数据层；子样本数据处理模块，用于在任意一个所述网络数据层上，按照处理的时间先后顺序，依次对各个所述子样本数据进行处理得到对应的各个子样本特征，并在先得到任意一个所述子样本特征之后，将先得到的所述子样本特征输入到下一层所述网络数据层进行处理，直至得到最后一个所述网络数据层输出的多个目标样本特征；目标脉冲神经网络获取模块，用于基于多个所述目标样本特征得到所述初始脉冲神经网络的多个累积梯度，并基于所述累积梯度调整所述初始脉冲神经网络的参数，得到训练后的目标脉冲神经网络。
12、为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子本文档来自技高网...
【技术保护点】
1.一种脉冲神经网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的脉冲神经网络训练方法，其特征在于，所述将多个所述子样本数据输入到初始脉冲神经网络中之前，还包括：
3.根据权利要求2所述的脉冲神经网络训练方法，其特征在于，所述将所述网络数据分块部署到所述脉冲神经网络加速器上之后，还包括：
4.根据权利要求3所述的脉冲神经网络训练方法，其特征在于，所述根据所述第一数据处理时间，计算所述图形处理器处理所述第一样本数据的处理时间占比，包括：
5.根据权利要求3所述的脉冲神经网络训练方法，其特征在于，所述根据所述处理时间占比，确定所述初始脉冲神经网络的参数调整方式，包括：
6.根据权利要求5所述的脉冲神经网络训练方法，其特征在于，所述基于所述累积梯度调整所述初始脉冲神经网络的参数，得到训练后的目标脉冲神经网络，包括：
7.根据权利要求6所述的脉冲神经网络训练方法，其特征在于，所述基于所述累积梯度调整对应的所述脉冲神经网络加速器的参数，并将所述参数更新至所述初始脉冲神经网络，得到训练后的目标脉冲神经网络
8.根据权利要求6所述的脉冲神经网络训练方法，其特征在于，所述基于所述累积梯度，调整所述脉冲神经网络加速器的参数，并将所述累积参数更新至所述脉冲神经网络，得到训练后的目标脉冲神经网络，包括：
9.根据权利要求1所述的脉冲神经网络训练方法，其特征在于，所述基于多个所述目标样本特征得到所述初始脉冲神经网络的多个累积梯度，包括：
10.一种脉冲神经网络训练系统，其特征在于，所述系统包括：
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的脉冲神经网络训练方法。
12.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的脉冲神经网络训练方法。
...【技术特征摘要】
1.一种脉冲神经网络训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的脉冲神经网络训练方法，其特征在于，所述将多个所述子样本数据输入到初始脉冲神经网络中之前，还包括：
3.根据权利要求2所述的脉冲神经网络训练方法，其特征在于，所述将所述网络数据分块部署到所述脉冲神经网络加速器上之后，还包括：
4.根据权利要求3所述的脉冲神经网络训练方法，其特征在于，所述根据所述第一数据处理时间，计算所述图形处理器处理所述第一样本数据的处理时间占比，包括：
5.根据权利要求3所述的脉冲神经网络训练方法，其特征在于，所述根据所述处理时间占比，确定所述初始脉冲神经网络的参数调整方式，包括：
6.根据权利要求5所述的脉冲神经网络训练方法，其特征在于，所述基于所述累积梯度调整所述初始脉冲神经网络的参数，得到训练后的目标脉冲神经网络，包括：
7.根据权利要求6所述的脉冲神经网络训练方法，其特征在于，所述基于所述累积梯度调整...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。