【技术实现步骤摘要】
本专利技术属于图像识别领域，尤其是涉及一种基于选择性激活的脉冲神经网络连续学习目标识别系统。
技术介绍
1、生物大脑在整个生命周期中能够不断从与环境的互动中学习，具有面向多任务时的终身学习能力。当前人工神经网络(artificial neural networks,ann)的机器智能已经表现出了非凡的能力。然而，新一代的边缘端等应用，如自动驾驶汽车和可穿戴设备，需要新的具有连续学习能力的机器智能，既能获取新知识，又不遗忘旧知识，同时还能在计算资源受限的情况下高效率运行。受到生物系统的启发，脉冲神经网络(spiking neuralnetworks,snn)与ann相比具有更丰富的时空动态性(maass，1997年；subbulakshmiradhakrishnan等，2021年；yin、corradi和bohte，2023年)，同时通过与神经形态硬件相结合，更有潜力实现具有低功耗的下一代机器智能。上述持续学习的目的是以一种有序的方式获取知识，同时确保代理只能访问当前任务的数据，而不会影响其回忆之前所学任务的能力。
2、当前主流的持续学习技术可大致分为三类，即基于正则化的技术、基于重放的技术和基于架构的技术。基于正则化的技术通过在损失函数中添加正则化项来保护突触连接如ewc(kirkpatrick等人，2017年)、mas(aljundi等人，2018年)、si(zenke、poole和ganguli，2017年)，它们通过一定的规则计算每个参数的重要性，并生成惩罚项来限制重要参数的变化。基于重放的技术旨在通过保留每个
3、至于其他基于snns的持续学习方法，(antonov、sviatov和sukhov2022年)通过局部stdp的随机langevin动力学确定突触权重的重要性，并通过无监督学习实现持续学习。(skatchkovsky、jang和simeone2022)在贝叶斯方法的基础上引入了在线规则snn模型。(hammouamri、masquelier和wilson 2022)通过使用进化策略训练外部网络来生成分类器的发射阈值，从而实现snn的持续学习。(tadros等人2022年)通过使用转换算法在脉冲频率编码和脉冲时间编码之间切换，实现了局部可塑性，以帮助模型在学习新任务后纠正偏差。
4、简而言之，尽管上述技术具有明显的性能优势，但它们往往需要复杂的算法、额外的存储空间或特定任务的知识，因此大大偏离了生物制剂与生俱来的顺序学习能力。
技术实现思路
1、本专利技术公开了一种基于选择性激活的脉冲神经网络连续学习目标识别系统，通过增强智能学习网络(snn)中的神经动态特性来减轻灾难性遗忘，提高连续学习场景下的图像识别的效果，并且扩展了脉冲神经网络的应用场景。
2、一种基于选择性激活的脉冲神经网络连续学习目标识别系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的选择性激活snns模型；
3、所述的选择性激活snns模型包括脉冲神经网络前端的特征提取部分，并在后端采用基于轨迹的k-wta机制和可变阈值机制进行持续学习；
4、具体的，在脉冲神经网络隐藏层中的神经元的动态变化中应用基于轨迹的k-wta机制，以减少不同任务之间的相互干扰，同时，对隐藏层中的神经元使用可变的脉冲发放阈值，以鼓励沉默神经元参与学习，并抑制在旧任务训练过程中已被激活的神经元重新被激活；
5、所述计算机处理器执行所述计算机程序时实现以下步骤：
6、将待识别的图像输入训练好的选择性激活snns模型，得到图像的分类结果。
7、本专利技术保证了脉冲神经元在不同时间步的选择性激活，从而实现在连续学习过程中不同任务选择性地激活特定的脉冲神经元亚群，该系统从脉冲神经网络自身特殊的结构和时空动力学计算的原理出发，实现了基于结构自适应选择的脉冲神经网络连续学习方法，对不同任务具有更强的适应性，克服了原始脉冲神经网络模型在多任务连续学习过程中的灾难性遗忘问题，从而扩展了脉冲神经网络的应用场景。
8、进一步地，基于轨迹的k-wta机制，具体为：
9、在神经元引入了一个名为trace轨迹的内部变量作为时间维度上的k-wta的指标，脉冲神经元的轨迹的计算方法如下：
10、
11、其中，τ是时间常数，它决定了迹线的衰减速度；tr[t]是神经元在时间步长为t时的迹线；s[t+1]表示神经元在步长为t时的脉冲输出。
12、进一步地，对隐藏层中的神经元使用可变的脉冲发放阈值时，随着激活时间的增加，将脉冲发放阈值设置为缓慢增加的方式，脉冲发放阈值不会衰减，通过不可逆的阈值变化来增强旧任务相关记忆的维持能力。
13、进一步地，在神经元中加入基于轨迹的k-wta机制和可变阈值机制后，得到以下神经元动力学模型：
14、h(t)＝f(v[t-1]，x[t])，
15、s[t]＝θ(h(t)-vth)，
16、mask[t＝topk(tr[t])，
17、s*[t]＝s[t]·mask[t]，
18、v[t]＝h[t]-vth·s[t]，
19、其中，x[t]是神经元在时间步长t上的输入；s[t]表示神经元的原始脉冲输出；v[t]和h(t)分别是神经元发放脉冲前和发放脉冲后的膜电位；θ(-)是控制膜电压超过阈值就发放脉冲的函数；topk(-)是基于轨迹的k-wta组件中使用的函数，用于生成一个掩码，得到前k个最大轨迹对应的掩码；s*表示topk函数作用之后的实际激活脉冲输出；f(·)表示神经元的状态更新方程；vth表示神经元模型的可变阈值。
20、神经元模型的可变阈值vth可采用线性可变或者其他非线性映射函数的方式实现，以线性可变方式为例，可变阈值的计算方法如下：
21、
22、其中，thmax和thmin是触发阈值的上下限，c是记录神经元接收的触发次数的计数器，p是控制阈值变化速率的超参数。
23、进一步地，所述神经元模型可以为lif神经元模型、if神经元模型等不同类型的神经元模本文档来自技高网...
【技术保护点】
1.一种基于选择性激活的脉冲神经网络连续学习目标识别系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：所述计算机存储器中存有训练好的选择性激活SNNs模型；
2.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，基于轨迹的K-WTA机制，具体为：
3.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，对隐藏层中的神经元使用可变的脉冲发放阈值时，随着激活时间的增加，将脉冲发放阈值设置为缓慢增加的方式，脉冲发放阈值不会衰减，通过不可逆的阈值变化来增强旧任务相关记忆的维持能力。
4.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，在神经元中加入基于轨迹的K-WTA机制和可变阈值机制后，得到以下神经元动力学模型：
5.根据权利要求4所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，神经元模型的可变阈值Vth采用线性可变或者其他非线性映射函数的方式实现，以线性可
6.根据权利要求4所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，神经元模型为LIF神经元模型或者IF神经元模型。
7.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，对选择性激活SNNs模型的输入层及其相关权重矩阵采用了L2正则化方法来控制稀疏性。
8.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，对选择性激活SNNs模型进行训练时，在每个学习阶段的训练过程中，计算输出与真实标签之间的交叉熵作为损失函数，并使用STBP来训练网络中的可学习参数。
...【技术特征摘要】
1.一种基于选择性激活的脉冲神经网络连续学习目标识别系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：所述计算机存储器中存有训练好的选择性激活snns模型；
2.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，基于轨迹的k-wta机制，具体为：
3.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，对隐藏层中的神经元使用可变的脉冲发放阈值时，随着激活时间的增加，将脉冲发放阈值设置为缓慢增加的方式，脉冲发放阈值不会衰减，通过不可逆的阈值变化来增强旧任务相关记忆的维持能力。
4.根据权利要求1所述的基于选择性激活的脉冲神经网络连续学习目标识别系统，其特征在于，在神经元中加入基于轨迹的k-wta机制和可变阈值机制后，得到以下神经元动...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。