一种基于阈值增量循环计数的混合STDP训练方法及系统技术方案

本发明专利技术涉及一种基于阈值增量循环计数的混合STDP训练方法及系统，构建包括输入层、隐藏层和分类输出层的STDP网络架构，并对神经元的阈值电压增量进行计数控制对STDP网络架构的无监督学习进程，结合分类输出层的有监督学习进程调整神经元对应的权重值，通过应用阈值增量循环计数和神经元响应度筛选，有效约束了权重更新，降低了权重更新频率，从而大大减少了训练整体计算量，有助于提升训练学习效率。本发明专利技术方法适用于手写数字识别时，相比于传统STDP训练算法，可以减少2.5到3.5倍计算量并提高3％左右分类准确率。高3％左右分类准确率。高3％左右分类准确率。

【技术实现步骤摘要】
一种基于阈值增量循环计数的混合STDP训练方法及系统


[0001]本专利技术涉及神经网络训练和人工智能
，尤其涉及一种基于阈值增量循环计数的混合STDP训练方法及系统。

技术介绍

[0002]脉冲神经网络(SNN)作为第三代神经网络具有高仿生性和低功耗的特点。脉冲神经网络的常见训练方法之一是根据脉冲时间依赖可塑性(STDP)学习规则，STDP通过仿生模型建立脉冲到来时间与权重的相关性模型来改变神经元突触联系强度。现有的STDP训练方法主要有无监督STDP、有监督STDP和混合STDP，其中无监督STDP在轻量级神经网络中表现良好，但不适用于深层网络；有监督STDP进一步改善了网络的分类准确率，但这种训练方法依赖复杂数学模型来提升精度；混合STDP结合了有监督和无监督的训练方法，先使用无监督方法预训练，随后配合有监督指导信号调整模型权重的方法，大大提升了STDP方法的训练精度和使用便利性。
[0003]但是，现有的混合STDP算法，由于其网络结构普遍存在卷积层、池化层等特定网络层，使其在应用中仍存在适用范围窄、结构受限、学习效率低等问题。在实际使用过程中通常需要搭配额外建立的优化策略以增强算法工作的适应性，其网络可拓展深度以及学习效率人肉干存在显著不足。
[0004]另一方面，现有的各类STDP训练方法，多采用侧抑制和内稳态机制以保证整体网络状态平稳。侧抑制机制是指收到脉冲的神经元对其他神经元接收脉冲产生抑制作用，从而使每个神经元能有效学习对应知识。一种常见的实现内稳态方法为权值缩放，该方法将所有与突出后神经元相连的突触权重之和设为常数，不仅可以平衡突触间权重，避免某一突出权重变为无限大或者0，还可以形成突触间的竞争环路，提高学习效率。另一种实现内稳态方法为自适应阈值电压，该方法具体规则为，每当LIF神经元的膜电压超过阈值电压发放一个脉冲，则阈值电压增加ΔU
T
，同时增量之和ΔU
sum
根据时间常数τ进行指数衰减。自适应阈值电压法可以调节神经元兴奋程度，避免神经元因过度兴奋而持续发放脉冲。
[0005]但是，现有的STDP训练方法虽然通过提出权值缩放、自适应阈值电压等手段约束了权重更新频率，却仍无法有效过滤弱响应神经元，使学习过程不可避免的存在一定无效学习次数，导致权重更新频率偏高，计算量过大，学习效率低下。

技术实现思路

[0006]为解决现有技术的不足，本专利技术提出一种基于阈值增量循环计数的混合STDP训练方法及系统，通过应用阈值增量循环计数和神经元响应度筛选，有效约束了权重更新，降低了权重更新频率，从而大大减少了训练整体计算量，有助于提升训练学习效率。适用于手写数字识别时，相比于传统STDP训练算法，可以减少2.5到3.5倍计算量并提高3％左右分类准确率。
[0007]为实现以上目的，本专利技术所采用的技术方案包括：
[0008]一种基于阈值增量循环计数的混合STDP训练方法，其特征在于，包括：
[0009]S1、构建STDP网络架构，所述STDP网络架构包括用于接收脉冲信号的输入层、执行非线性离散特征转换的隐藏层和分类输出层；
[0010]S2、对输入层、隐藏层和分类输出层执行无监督学习进程，所述无监督学习进程包括基于稳态机制的膜电压更新；
[0011]S3、对神经元的阈值电压增量进行计数，当阈值电压增量到达预设的计数值时，神经元重新发送脉冲并重置阈值电压增量的计数；
[0012]S4、判断神经元的当前电压与未来电压是否相等，当判断神经元的当前电压与未来电压不相等时，重复执行无监督学习进程；
[0013]S5、当判断神经元的当前电压与未来电压相等时，结束无监督学习进程，获得第一训练结果。
[0014]进一步地，所述混合STDP训练方法还包括：
[0015]S6、对分类输出层执行有监督学习进程，获得第二训练结果，所述有监督学习进程包括基于指导信号的膜电压更新；
[0016]S7、使用第二训练结果修正第一训练结果，调整神经元对应的权重值；
[0017]S8、根据调整后的权重值判断神经元是否属于弱响应神经元，并剔除被判定的弱响应神经元。
[0018]进一步地，所述STDP网络架构包括基于LIF神经元的网络架构，所述LIF神经元如式1所示：
[0019][0020]式1中，τ
m
为泄露常数，U是神经元膜电压，U
th
是阈值电压，U
r
是重置电压，C
m
为膜电容，R
m
为膜电阻，U[t]表示当前时刻膜电压，U[t
‑
1]代表上一时刻膜电压，是膜电压泄露项，O[t]代表脉冲发射函数，W
i,j
是神经元i和神经元j相连的突触权重。
[0021]进一步地，所述基于稳态机制的膜电压更新如式2所示：
[0022][0023]式2中，V
i
代表突触前神经元i上的膜电位，U
th,j
代表突触后神经元j上的阈值电压，t是训练时间窗，T是训练时间总和，ΔU
n,E
为稳态中膜电位更新值，ΔU
n,P
为突触后膜电位更新值，在与K个神经元相连的神经元i上，当前电压U
n
和未来电压U
f
将趋近一致。
[0024]进一步地，所述基于指导信号的膜电压更新如式3所示：
[0025]dU
n
＝
‑
αl
β
(U
n
‑
U
T
)
ꢀꢀꢀ
式3
[0026]式3中，U
T
为指导信号，U
n
为当前电压，α和β分别为第一影响因子和第二影响因子，用于控制参数更新。
[0027]进一步地，所述有监督学习进程还包括依据神经元响应度执行筛选，所述依据神经元响应度执行筛选如式4所示：
[0028][0029]式4中，Q为测试图像集，R为训练图像集，m为所有对标签l做出响应的神经元的集，为神经元i对标签l的脉冲数，W
′
i
为降权后突触i,j相连神经元上的权重，ε为降权系数。
[0030]进一步地，所述步骤S7包括：
[0031]使用式5更新突触权重，
[0032]ΔW
i,j
＝γU
j
U
′
i
ꢀꢀꢀ
式5
[0033]式5中，U
j
是突触后神经元j上的膜电位，U
′
i
是突触前神经元i上膜电位的导数，γ为第三影响因子。
[0034]本专利技术还涉及一种基于阈值增量循环计数的混合STDP训练系统，其特征在于，包括：
[0035]网络搭建模块，用于构建STDP网络架构；
[0036]无监督学习模块，用于对输入层、隐本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于阈值增量循环计数的混合STDP训练方法，其特征在于，包括：S1、构建STDP网络架构，所述STDP网络架构包括用于接收脉冲信号的输入层、执行非线性离散特征转换的隐藏层和分类输出层；S2、对输入层、隐藏层和分类输出层执行无监督学习进程，所述无监督学习进程包括基于稳态机制的膜电压更新；S3、对神经元的阈值电压增量进行计数，当阈值电压增量到达预设的计数值时，神经元重新发送脉冲并重置阈值电压增量的计数；S4、判断神经元的当前电压与未来电压是否相等，当判断神经元的当前电压与未来电压不相等时，重复执行无监督学习进程；S5、当判断神经元的当前电压与未来电压相等时，结束无监督学习进程，获得第一训练结果。2.如权利要求1所述的方法，其特征在于，所述混合STDP训练方法还包括：S6、对分类输出层执行有监督学习进程，获得第二训练结果，所述有监督学习进程包括基于指导信号的膜电压更新；S7、使用第二训练结果修正第一训练结果，调整神经元对应的权重值；S8、根据调整后的权重值判断神经元是否属于弱响应神经元，并剔除被判定的弱响应神经元。3.如权利要求2所述的方法，其特征在于，所述STDP网络架构包括基于LIF神经元的网络架构，所述LIF神经元如式1所示：式1中，τ
m
为泄露常数，U是神经元膜电压，U
th
是阈值电压，U
r
是重置电压，C
m
为膜电容，R
m
为膜电阻，U[t]表示当前时刻膜电压，U[t
‑
1]代表上一时刻膜电压，是膜电压泄露项，O[t]代表脉冲发射函数，W
i,j
是神经元i和神经元j相连的突触权重。4.如权利要求3所述的方法，其特征在于，所述基于稳态机制的膜电压更新如式2所示：式2中，V
i
代表突触前神经元i上的膜电位，U
th,j
代表突触后神经元j上的阈值电压，t是训练时间窗，T是训练时间总和，ΔU
n,E
为稳态中膜电位更新值，ΔU
n,P
为突触后膜电位更新值，在与K个神经元相连的神经元i上，当前电压U
n
和未来电压U
f
将趋近一致。5.如权利要求3所述的方法，其特征在于，所述基于指导信号的膜电压更新如式3所示：dU<...

【专利技术属性】
技术研发人员：曹健，车锦铭，王源，冯硕，曹昕妍，
申请(专利权)人：北京大学，
类型：发明
国别省市：