一种脉冲数据分类模型构建方法及脉冲数据分类方法技术

本发明专利技术公开了一种脉冲数据分类模型构建方法及脉冲数据分类方法，属于利用脉冲神经网络分类识别技术领域，构建方法包括：对脉冲神经网络进行训练；门控参数神经元层包括：突触电流输入端，用于计算t时刻输入的突触电流膜电压输入端，用于获取t时刻输入神经元的膜电压v

【技术实现步骤摘要】
一种脉冲数据分类模型构建方法及脉冲数据分类方法


[0001]本专利技术属于利用脉冲神经网络分类识别
，更具体地，涉及一种脉冲数据分类模型构建方法及脉冲数据分类方法。

技术介绍

[0002]被称为“第三代神经网络”的脉冲神经网络(SNN)，是模拟人脑动态的脑启发模型。与深度学习中广泛使用的人工神经网络不同，SNN采用脉冲神经元来输出二进制脉冲而不是连续值。SNN同时利用脉冲发放率和脉冲时间信息来处理时空信息。由于其稀疏异步工作机制，SNN可以更好地处理基于事件的数据并减少网络能量消耗。SNN已被应用于图像和音频分类、大脑绘图和理解、机器人控制等。
[0003]脉冲神经网络中的基本单元为神经元，通常如图1所示的泄露
‑
整合
‑
放电(LIF)神经元模拟真实神经元的动态。在计算机模拟中，考虑离散的时间步长，在t时刻会计算经过时间常数τ加权的膜电压v
t
与突触电流x
t
，相加得到隐态膜电压h
t
。如果h
t
大于阈值电压，则发放脉冲s
t
＝1并置膜电压v
t+1
为重置电位；否则不发放脉冲s
t
＝0且保留v
t+1
＝h
t
。
[0004]然而，LIF有以下的局限性：(1)LIF神经元的神经元参数(时间常数和阈值电位)通常在不同神经元之间设置为相同值，而且在时间上不可变化，然而实验广泛观察到，人类和动物神经系统中真实神经元的这些电生理特性是在时间与空间上动态异质的；(2)对于传统的LIF模型中的神经元参数，其初始值通常是手动指定的。然而，要找到参数最佳值是有难度的，可能需要耗时的实验试错；(3)现有的SNN与经典的循环神经网络类似，同样会遇到时间上的梯度消失问题，梯度消失将会导致网络难以训练，难以捕捉长距离的语义信息，难以处理长期依赖。
[0005]综合以上几点，目前脉冲神经网络的仿生性能仍存在缺陷，并不能很好地模型真实大脑的运行机制，脉冲神经网络的训练效果和分类精度并不理想。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种脉冲数据分类模型构建方法及脉冲数据分类方法，其目的在于从参数分布上来拟合真实生物特性，更加真实地模型真实大脑的运行机制，提升脉冲神经网络的训练效果和分类精度。
[0007]为实现上述目的，按照本专利技术的一个方面，提供了一种脉冲数据分类模型构建方法，包括：
[0008]以带分类标识的音频或图像脉冲数据作为输入、以分类结果作为输出对脉冲神经网络进行训练以使脉冲神经网络输出结果收敛；
[0009]其中，所述脉冲神经网络中的门控参数神经元层包括；
[0010]突触电流输入端，用于计算t时刻输入的突触电流向量其中，为上一门控参数神经元层在t时的发放脉冲向量，W
l
‑1为突触权重矩阵；
[0011]膜电压输入端，用于获取t时刻输入神经元的膜电压向量v
t
；
[0012]第一至第四逻辑门，第k逻辑门用于根据所述膜电压向量v
t
和突触电流向量x
t
计算第k逻辑门信号式中，σ(*)为激活函数，均为第k逻辑门的权重矩阵；
[0013]隐态膜电压计算单元，用于计算t时刻的隐态膜电压向量隐态膜电压计算单元，用于计算t时刻的隐态膜电压向量式中，
⊙
表示逐元素相乘；
[0014]脉冲发放单元，用于发放脉冲向量∈(
·
)为Heaviside函数；
[0015]输出膜电压计算单元，用于计算t+1时刻输出的膜电压向量式中，v
reset
为重置电位向量；
[0016]膜电压输出端，用于输出t+1时刻的膜电压v
t+1
。
[0017]在其中一个实施例中，第一、第二和第四逻辑门使用的激活函数为Sigmoid函数，第三逻辑门使用的激活函数为Tanh函数。
[0018]在其中一个实施例中，每批次样本进行训练时，重置电位向量中各重置电位元素的分布服从正态分布。
[0019]在其中一个实施例中，所述正态分布的均值为0、标准差为0.05。
[0020]在其中一个实施例中，训练期间，在前向传播中使用不可微的Heaviside激活函数，在反向传播中使用可微的反正切激活函数。
[0021]在其中一个实施例中，所述脉冲数据为将音频数据或图像数据转换为脉冲所得。
[0022]按照本专利技术的另一方面，提供了一种脉冲数据分类方法，包括：
[0023]将音频或图像脉冲数据输入脉冲数据分类模型进行分类，其中，所述脉冲数据分类模型为经上述的脉冲数据分类模型构建方法所构建而成。
[0024]在其中一个实施例中，所述脉冲数据为将音频数据或图像数据转换为脉冲所得。
[0025]按照本专利技术的另一方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0026]按照本专利技术的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0027]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0028]本专利技术通过改进神经元层，增加四个逻辑门，其中，第一逻辑门为遗忘门、第二逻辑门为阈值门、第三逻辑门为旁路门、第四逻辑门为输入门，通过引入门控结构，使得脉冲神经网络在从参数分布上更好地拟合生物特性，更好地适应反向传播训练，提高脉冲神经网络的训练效果和应用脉冲神经网络进行分类的分类精度，具体分析如下：
[0029](1)具有异质神经元参数且无需手动初始化。传统LIF神经元的神经元参数(时间常数和阈值电位)通常在不同神经元之间设置为相同值，而且在时间上不可变化。在本专利技术中，设置阈值门(第二逻辑门)，门的输出由每个时间步长t的门输入v
t
和x
t
决定，所以阈值门输出的阈值电位随时间变化，而且不需要手动初始化阈值电位。不同层的不同神经元之间，
阈值门的权重在训练期间可以根据反向传播训练成不同的权重参数，所以阈值门输出的阈值电位在空间域也是不同的，且无需手动初始化。因此，本专利技术的脉冲神经网络实现了空间
‑
时间异质性的阈值电位，而无需手动初始化。遗忘门(第一逻辑门)和输入门(第四逻辑门)也有上述特点，其输出结果随时间变化，且不同空间位置的门权重参数可以不同，也具有时空异质性。
[0030](2)缓解长期依赖。通过设置遗忘门(第一逻辑门)和输入门(第四逻辑门)来取代传统的膜泄露因子，可以减轻膜电位通路中的梯度消失。同时为了保留长距离的语义信息，添加旁路门来建立一个直接连接相邻膜电位v
t
‑1和v
t
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脉冲数据分类模型构建方法，其特征在于，包括：以带分类标识的音频或图像脉冲数据作为输入、以分类结果作为输出对脉冲神经网络进行训练以使脉冲神经网络输出结果收敛；其中，所述脉冲神经网络中的门控参数神经元层包括；突触电流输入端，用于计算t时刻输入的突触电流向量其中，为上一门控参数神经元层在t时的发放脉冲向量，W
l
‑1为突触权重矩阵；膜电压输入端，用于获取t时刻输入神经元的膜电压向量v
t
；第一至第四逻辑门，第k逻辑门用于根据所述膜电压向量v
t
和突触电流向量x
t
计算第k逻辑门信号式中，σ(*)为激活函数，均为第k逻辑门的权重矩阵；隐态膜电压计算单元，用于计算t时刻的隐态膜电压向量h
t
＝式中，
⊙
表示逐元素相乘；脉冲发放单元，用于发放脉冲向量∈(
·
)为Heaviside函数；输出膜电压计算单元，用于计算t+1时刻输出的膜电压向量式中，v
reset
为重置电位向量；膜电压输出端，用于输出t+1时刻的膜电压v
t+1
。2.如权利要求1所述的脉冲数据分类模型构建方法，其特征在于，第一、第二和第四逻辑门使用的激活...

【专利技术属性】
技术研发人员：伍冬睿，王浩然，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：