分段线性神经元建模制造技术

用于基于线性化神经元模型在人工神经系统中进行分段线性神经元建模以及实现人工神经元的方法和装置。一种用于操作人工神经元的示例方法一般包括：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程是至少部分地基于与第二区域相对应的第二组参数。

【技术实现步骤摘要】
【国外来华专利技术】分段线性神经元建模根据35U.S.C.§119的优先权要求本申请要求以下美国临时专利申请的权益：于2012年11月20日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/728,360、于2012年12月7日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/734,716、于2012年12月21日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/740,633、以及于2013年1月25日提交的题为“PiecewiseLinearNeuronModeling(分段线性神经元建模)”的美国临时专利申请S/N.61/756,889，上述所有申请的全部内容通过援引纳入于此。背景
本公开的某些方面一般涉及人工神经系统，尤其涉及将神经元模型的非线性函数的至少一部分近似为分段线性函数，以及涉及在一个或多个人工神经元中使用结果所得的线性化神经元模型。
技术介绍
可包括一群互连的人工神经元(即神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应结构和/或功能。然而，人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能，因此这样的网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是特别有用的。一种类型的人工神经网络是尖峰(spiking)神经网络，其将时间概念以及神经元状态和突触状态纳入到其工作模型中，由此提供了丰富的行为集，在神经网络中能从该行为集涌现出计算功能。尖峰神经网络基于以下概念：神经元基于该神经元的状态在一个或多个特定时间激发或“发放尖峰”，并且该时间对于神经元功能而言是重要的。当神经元激发时，它生成一尖峰，该尖峰行进至其他神经元，这些其他神经元继而可基于接收到该尖峰的时间来调整它们的状态。换言之，信息可被编码在神经网络中的尖峰的相对或绝对定时中。概述本公开的某些方面一般涉及将神经元模型的非线性函数的至少一部分近似为分段线性函数。例如，还提供了用于在一个或多个人工神经元中实现结果所得的线性化神经元模型的方法和装置。本公开的某些方面一般涉及用于实现神经元模型的动态的共用且灵活的架构。设计目标包括对动态的低复杂度、准确的建模，以及实现任何神经元模型(一维、二维或更多维)的能力。分段线性近似提供了在这种架构内仅通过替代与各种神经元模型相关联的不同参数来改变神经元模型的简单方式。本公开的某些方面提供了一种用于操作人工神经元的方法。该方法一般包括：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的装置。该装置一般包括处理系统和耦合到处理系统的存储器。处理系统一般被配置成：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的设备。该设备一般包括：用于确定人工神经元的第一状态位于第一区域内的装置；用于至少部分地基于第一组线性方程来确定人工神经元的第二状态的装置，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；用于确定人工神经元的第二状态位于第二区域内的装置；以及用于至少部分地基于第二组线性方程来确定人工神经元的第三状态的装置，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于操作人工神经元的计算机程序产品。该计算机程序产品一般包括计算机可读介质(例如，存储设备)，该计算机可读介质具有可执行以进行以下操作的指令：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的方法。该方法一般包括：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的装置。该装置一般包括处理系统和耦合到处理系统的存储器。该处理系统一般被配置成：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的装置。该装置一般包括：用于将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中的装置；用于至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态的装置；以及用于至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态的装置。本公开的某些方面提供了一种用于在神经处理单元系统中实现多个神经元模型的组合的计算机程序产品。该计算机程序产品一般包括(非瞬态)计算机可读介质，该计算机可读介质具有可执行以进行以下操作的指令：将从多个神经元模型中选择的第一神经元模型的参数加载到第一神经处理单元中；至少部分地基于第一神经元模型的参数来确定第一神经处理单元的第一状态；以及至少部分地基于第一神经元模型的参数并且基于第一状态来确定第一神经处理单元的第二状态。本公开的某些方面提供了一种用于操作人工神经元的方法。该方法一般包括：确定人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定人工神经元的第二状态，其中第一组线性方程至少部分地基于与第一区域相对应的第一组参数；确定人工神经元的第二状态位于第二区域内，其中第一区域或第二区域中的至少一者是由两个或更多个维度来定义的；以及至少部分地基于第二组线性方程来确定人工神经元的第三状态，其中第二组线性方程是至少部分地基于与第二区域相对应的第二组参数。本公开的某些方面提供了一种用于本文档来自技高网...

【技术保护点】
一种用于更新人工神经元的状态的方法，包括：确定所述人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定所述人工神经元的第二状态，其中所述第一组线性方程至少部分地基于与所述第一区域相对应的第一组参数；确定所述人工神经元的所述第二状态位于第二区域内；以及至少部分地基于第二组线性方程来确定所述人工神经元的第三状态，其中所述第二组线性方程至少部分地基于与所述第二区域相对应的第二组参数。

【技术特征摘要】
【国外来华专利技术】2012.11.20 US 61/728,360;2012.12.07 US 61/734,716;1.一种用于更新人工神经元的状态的方法，包括：确定所述人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定所述人工神经元的第二状态，其中所述第一组线性方程至少部分地基于与所述第一区域相对应的第一组参数；确定所述人工神经元的所述第二状态位于第二区域内；以及至少部分地基于不同于所述第一组线性方程的第二组线性方程来确定所述人工神经元的第三状态，其中所述第二组线性方程至少部分地基于与所述第二区域相对应的第二组参数，并且其中所述第一组线性方程和第二组线性方程包括线性时不变(LTI)状态-空间方程的离散时间解。2.根据权利要求1所述的方法，还包括从存储器获取所述第一组参数或所述第二组参数中的至少一组参数。3.根据权利要求2所述的方法，其中所述获取包括：从所述人工神经元本地的存储器获取所述第一组参数或所述第二组参数中的所述至少一组参数。4.根据权利要求1所述的方法，还包括：计算所述第一组参数或所述第二组参数中的至少一组参数的至少一部分。5.根据权利要求4所述的方法，其中所述第一组参数或所述第二组参数中的所述至少一组参数的所述至少一部分是使用从存储器获取的一个或多个值来计算的。6.根据权利要求1所述的方法，其中所述第一组参数或所述第二组参数中的至少一组参数是通过用分段线性函数近似与所述人工神经元相关联的神经元模型中的非线性函数的至少一部分来获得的。7.根据权利要求6所述的方法，其中所述非线性函数包括膜电位(v)乘以依赖于电压的电导(g(v))。8.根据权利要求7所述的方法，其中所述依赖于电压的电导是用分段常数函数来近似的。9.根据权利要求6所述的方法，其中所述非线性函数包括依赖于电压的函数(F(v))，其中v是所述人工神经元的膜电位。10.根据权利要求6所述的方法，其中在所述分段线性函数中，所述第一区域具有与所述第二区域不同的宽度。11.根据权利要求6所述的方法，其中所述分段线性函数中的所述第一区域或所述第二区域的宽度依赖于所述非线性函数。12.根据权利要求6所述的方法，其中所述分段线性函数近似是至少部分地基于以下至少一者：泰勒展开法、一阶线性内插法、最优线性内插法或平均斜率法。13.根据权利要求1所述的方法，其中所述第一组参数或所述第二组参数中的至少一组参数被至少部分地设计成在所述人工神经元中实现特定行为。14.根据权利要求1所述的方法，其中所述人工神经元的所述第一状态、所述第二状态和所述第三状态是由膜电位(v)和恢复电流(u)来定义的。15.根据权利要求14所述的方法，还包括：至少部分地基于确定尖峰事件已发生或将要发生而重置所述人工神经元的所述膜电位或所述恢复电流中的至少一者。16.根据权利要求15所述的方法，其中所述膜电位被重置为静息电位，并且其中所述恢复电流被重置为所述恢复电流的当前值与偏移之和。17.根据权利要求1所述的方法，其中所述第一组线性方程或所述第二组线性方程中的至少一组线性方程至少部分地基于针对所述人工神经元的神经元模型。18.根据权利要求17所述的方法，其中所述神经元模型至少部分地基于以下至少一者：Izhikevich简单模型、指数积分激发(EIF)模型、FitzHugh-Nagumo模型、四次模型或者固有电导模型。19.根据权利要求18所述的方法，其中所述固有电导模型包括被表示为膜电位(v)乘以依赖于电压的电导(g(v))的神经元模型。20.根据权利要求17所述的方法，其中所述神经元模型包括至少两个维度。21.根据权利要求17所述的方法，其中所述神经元模型的时间步长大小至少部分地基于正被建模的所述人工神经元的类型。22.根据权利要求17所述的方法，其中所述神经元模型的时间步长大小是非均匀的。23.根据权利要求22所述的方法，其中特定时间步长的所述时间步长大小是至少部分地基于所述人工神经元的当前或过去状态中的至少一者或者基于特定的一组参数来确定的。24.根据权利要求17所述的方法，其中所述神经元模型是至少部分地基于一个或多个一阶常微分方程(ODE)的。25.根据权利要求1所述的方法，其中确定所述人工神经元的所述第二状态或所述第三状态中的至少一者是至少部分地基于输入所述人工神经元的电流的。26.根据权利要求25所述的方法，其中所述电流包括突触电流，所述突触电流至少部分地基于一个或多个通道中的每一个通道的依赖于时间的电导以及所述一个或多个通道中的每一个通道的逆转电位。27.根据权利要求26所述的方法，其中所述突触电流至少部分地基于所述人工神经元的针对N-甲基-D-天冬氨酸(NMDA)通道的突触后膜电位。28.根据权利要求26所述的方法，其中所述依赖于时间的电导是通过指数函数、阿尔法函数或者差分指数函数来建模的。29.根据权利要求1所述的方法，其中确定所述第一状态和所述第二状态之间的第一时间步长大小不同于确定所述第二状态和所述第三状态之间的第二时间步长大小。30.根据权利要求1所述的方法，其中确定所述人工神经元的所述第二状态是在第一时间步长期间被执行的，并且其中确定所述人工神经元的所述第三状态是在所述第一时间步长之后的第二时间步长期间被执行的。31.一种用于操作人工神经元的装置，包括：处理系统，所述处理系统被配置成：确定所述人工神经元的第一状态位于第一区域内；至少部分地基于第一组线性方程来确定所述人工神经元的第二状态，其中所述第一组线性方程至少部分地基于与所述第一区域相对应的第一组参数；确定所述人工神经元的所述第二状态位于第二区域内；以及至少部分地基于不同于所述第一组线性方程的第二组线性方程来确定所述人工神经元的第三状态，其中所述第二组线性方程至少部分地基于与所述第二区域相对应的第二组参数，并且其中所述第一组线性方程和第二组线性方程包括线性时不变(L...

【专利技术属性】
技术研发人员：R·派多瓦尼，Y·C·尹，N·布衫，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US