用于尖峰神经网络中的结构化延迟可塑性的方法和装置制造方法及图纸

本公开的某些方面涉及应用于尖峰神经网络中的自适应结构化延迟可塑性的技术。采用所提出的结构化延迟可塑性的方法，可避免对多个具有不同延迟的突触进行建模的需求。在这种情况下，应当只要对少得多的潜在突触进行建模以用于学习。

【技术实现步骤摘要】
【国外来华专利技术】背景领域本公开的某些方面一般涉及神经系统工程，更具体地涉及用于尖峰神经网络中的自适应结构化延迟可塑性的方法和装置。背景神经网络中的神经元可接收来自该网络中的一个或多个其它神经元的潜在输入。输入的相对重要性可被学习，以使得只有一些潜在输入可成为活跃的突触。然而，随着电路或网络中的潜在输入(神经元)的数目增加，处理和存储器访问要求可能显著提高。例如，如果存在M个神经元，每个神经元具有N≤M个可能的输入，则可能存在至少M×N个潜在的突触。另外，如果连接(突触)具有可变的时间延迟(由于变化的连接距离)，则每神经元的潜在输入数目可倍乘以可能的不同时间延迟的数目(例如，从0至T在时间分辨率为dt的情况下得到R=T／dt个可能性，则该网络有总计M×N×R个潜在的突触)。应当注意的是，突触延迟的范围可能为从0至25ms或甚至更高。由于可能要求1毫秒或远小于此(例如，0.1或1微秒)的神经尖峰定时精度，这可能会急剧地提高已经很显著的处理(时间)和存储器要求(例如，分别提高250或25，000倍)。因此，希望得到复杂性降低的计算方案用于机器学习。生物神经网络可采用结构化可塑性(树突或轴突生长或收缩、脊或结翻转、或脊能动性)来解决这一问题。然而，用于在神经系统工程中解决这一问题的方法仍然是未知的。概述本公开的某些方面提供了一种方法。该方法一般包括调适神经网络中的突触前神经元电路和突触后神经元电路之间的突触连接的延迟，其中该调适基于突触后神经元电路的第一尖峰和突触前神经元电路的第二尖峰之间的时间。本公开的某些方面提供了一种用于神经时间编码的装置。该装置一般包括第一电路，所述第一电路被配置成调适神经网络中的突触前神经元电路和突触后神经元电路之间的突触连接的延迟，其中该调适基于突触后神经元电路的第一尖峰和突触前神经元电路的第二尖峰之间的时间。本公开的某些方面提供了一种用于神经时间编码的设备。该设备一般包括用于调适神经网络中的突触前神经元电路和突触后神经元电路之间的突触连接的延迟的装置，其中该调适基于突触后神经元电路的第一尖峰和突触前神经元电路的第二尖峰之间的时间。本公开的某些方面提供一种计算机程序产品。该计算机程序产品一般包括计算机可读介质，该计算机可读介质包括用于调适神经网络中的突触前神经元电路和突触后神经元电路之间的突触连接的延迟的代码，其中该调适基于突触后神经元电路的第一尖峰和突触前神经元电路的第二尖峰之间的时间。附图简要说明为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。图1解说了根据本公开的某些方面的示例神经网络。图2解说了根据本公开的某些方面的突触前和突触后尖峰发放的示例。图3解说了根据本公开的某些方面的突触前和突触后尖峰发放的另一示例。图4解说了根据本公开的某些方面的突触前和突触后尖峰发放的另一示例。图5解说了根据本公开的某些方面的自适应结构化延迟可塑性的示例图表。图6解说了根据本公开的某些方面的自适应结构化延迟可塑性的操作。图6A解说了能够执行图6中解说的操作的示例组件。图7解说了根据本公开的某些方面的突触延迟多样性的示例。图8解说了根据本公开的某些方面的使用通用处理器的自适应结构化延迟可塑性的示例软件实现。图9解说了根据本公开的某些方面的自适应结构化延迟可塑性的示例实现，其中突触延迟存储器与各个分布式处理单元对接。图10解说根据本公开的某些方面的基于分布式突触延迟存储器和分布式处理单元的自适应结构化延迟可塑性的示例实现。详细描述以下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同形式来实施并且不应解释为被限定于本公开通篇给出的任何具体结构或功能。确切而言，提供这些方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用任何数目个本文中所阐述的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各种方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。本文中使用措辞“示例性”来表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。尽管本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的详细描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。示例神经系统图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统100可包括神经元级102，该级神经元102通过突触连接网络104连接到另一级神经元106。为简单起见，图1中仅解说了两级神经元，但在典型的神经系统中可存在更少或更多级神经元。如图1所解说的，级102中的每一神经元可接收输入信号108，输入信号108可以是由前一级(图1中未示出)的多个神经元所生成的。信号108可表示级102的神经元的输入电流。该电流可在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值时，该神经元可激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元(例如，级106)。尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称“突触”)网络104来达成，如图1所解说的。突触104可接收来自级102的神经元的输出信号(即，尖峰)，根据可调节突触权重…，来按比例缩放那些信号(其中P是级102的神经元与级106的神经元之间的突触连接的总数)，并且将经按比例缩放的信号组合为级106中的每一个神经元的输入信号。此外，每个突触104可与一延迟(即，级i的神经元的输出尖峰抵达级i+1的神经元的胞体的时间)相关联。级106中的神本文档来自技高网...

【技术保护点】
一种方法，包括：调适神经网络的突触前神经元电路与突触后神经元电路之间的突触连接的延迟，其中所述调适基于所述突触后神经元电路的第一尖峰与所述突触前神经元电路的第二尖峰之间的时间。

【技术特征摘要】
【国外来华专利技术】2011.09.21 US 13/238,0881.一种方法，包括：
调适神经网络的突触前神经元电路与突触后神经元电路之间的突触连接的
延迟，
其中所述调适基于所述突触后神经元电路的第一尖峰与所述突触前神经元
电路的第二尖峰之间的时间。
2.如权利要求1所述的方法，其特征在于，调适所述延迟包括：
如果所述第一尖峰发生在所述第二尖峰之后，则使所述延迟增加第一量；
以及
如果所述第一尖峰发生在所述第二尖峰之前，则使所述延迟减少第二量。
3.如权利要求2所述的方法，其特征在于，如果在所述第二尖峰之后发生所
述第一尖峰之间的时间段与在所述第一尖峰之后发生所述第二尖峰之间的另一时
间段相同，则所述第二量大于所述第一量。
4.如权利要求1所述的方法，其特征在于，调适所述延迟包括：
如果所述第一尖峰与第二尖峰之间的时间位于一时间范围内，则使所述延
迟增加最大的可能量。
5.如权利要求1所述的方法，其特征在于，如果所述突触后神经元电路和所
述突触前神经元电路不激发，则不改变所述延迟。
6.如权利要求1所述的方法，其特征在于，还包括：
在所述调适之后对突触连接的延迟限界。
7.如权利要求1所述的方法，其特征在于，还包括：
在所述调适之后对突触连接的延迟进行量化。
8.如权利要求1所述的方法，其特征在于，调适所述延迟还包括：
基于对与所述突触连接相关联的权重的标称调节来调节所述延迟。
9.如权利要求1所述的方法，其特征在于，还包括：
在所述调适之前，基于观测到的所述突触连接的延迟来指派所述延迟。
10.一种装置，包括：
第一电路，所述第一电路被配置成调适神经网络的突触前神经元电路与突

\t触后神经元电路之间的突触连接的延迟，
其中所述调适基于所述突触后神经元电路的第一尖峰与所述突触前神经元
电路的第二尖峰之间的时间。
11.如权利要求10所述的装置，其特征在于，所述第一电路还被配置成：
如果所述第一尖峰发生在所述第二尖峰之后，则使所述延迟增加第一量；
以及
如果所述第一尖峰发生在所述第二尖峰之前，则使所述延迟减少第二量。
12.如权利要求11所述的装置，其特征在于，如果在所述第二尖峰之后发
生所述第一尖峰之间的时间段与在所述第一尖峰之后发生所述第二尖峰之间的另
一时间段相同，则所述第二量大于所述第一量。
13.如权利要求10所述的装置，其特征在于，所述第一电路还被配置成：
如果所述第一尖峰与第二尖峰之间的时间位于一时间范围内，则使所述延
迟增加最大的可能量。
14.如权利要求10所述的装置，其特征在于，如果所述突触后神经元电路
和所述突触前神经元电路不激发，则不改变所述延迟。
15.如权利要求10所述的装置，其特征在于，还包括：
第二电路，所述第二电路被配置成在所述调适之后对突触连接的延迟限界。
16.如权利要求10所述的装置，其特征在于，进一步包括：
第二电路，所述第二电路被配置成在所述调适之后对突触连接的延迟进行
量化。
17.如权利要求10所述的装置，其特征在于，所述第一电路还被配置成：
基于对与所述突触连接相关联的权重的标称调节来调节所述延迟。
18.如权利要求10所述的装置，其特征在于，进一步包括：
第二电路，所述第二电路被配置成在所述调适之前，基于观测到的所述突
触连接的延迟来指派所述延迟。
19.一种设备，包括：
用于调适神经网络的突触前神经元电路与突触后神经元电路之间的突触连
接的延迟的装置，
其中所述调适基于所述突触后神经元电路的第一尖峰与所述突...

【专利技术属性】
技术研发人员：J·F·亨泽格，V·H·陈，J·A·莱文，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US