模拟神经元的计算高效实施方式制造技术

一种设备包括模拟神经网络、数字控制器和存储器装置。模拟神经网络可以包括具有多个神经元的第一层。多个神经元可以被重复使用以形成模拟神经网络的第二层。每个神经元可以有多个输入。数字控制器可以耦合到模拟神经网络，并且可以为多个输入中的每个输入提供权重。存储器装置可以耦合到数字控制器，以存储多个输入中的每个输入的权重。入中的每个输入的权重。入中的每个输入的权重。

【技术实现步骤摘要】
【国外来华专利技术】模拟神经元的计算高效实施方式


[0001]本文描述的主题涉及可以在神经网络的多个层中重复使用的模拟神经元的计算高效实施方式。

技术介绍

[0002]人工神经网络(本文简称为神经网络)是用于机器学习的计算系统。神经网络可以基于被称为神经元的连接节点的层，该神经元可以宽松地建模生物大脑中的神经元。每层都可以有多个神经元。不同层之间的神经元经由连接件相连接，该连接件对应于生物大脑中的突触。第一层中的一个神经元可以向另一层中的另一个神经元经由这两个神经元之间的连接件发送信号。连接件上发送的信号可以是实数。另一层的另一个神经元可以处理接收到的信号(即实数)，然后将处理的信号发送到另外的神经元。每个神经元的输出可以通过基于该神经元的输入的一些非线性函数来计算。每个连接件都可以具有权重，该权重可以在处理信号和计算输出之前调整信号。
[0003]常规地，这样的神经网络通常以数字方式实施。换句话说，尽管模拟计算可能比数字计算更高效，但是神经网络通常不以模拟形式实施，如下文所述。神经网络具有许多层，每层都需要许多神经元。传统的模拟神经网络需要为神经网络中的每个神经元提供单独的电子组件。当层数增加时，实施模拟神经网络所需的电子组件的数量也增加，这继而可能需要大量的计算需求，包括功率、空间、处理和存储需求。因此，模拟神经网络是罕见的，且传统上当存在时是无效的。

技术实现思路

[0004]一方面，描述了一种设备，该设备包括模拟神经网络、数字控制器和存储器装置。模拟神经网络可以包括具有神经元的第一层。神经元可以被重复使用以形成模拟神经网络的第二层。每个神经元都可以具有输入。数字控制器可以耦合到模拟神经网络以为输入的每个输入提供权重。存储器装置可以耦合到数字控制器，并且可以存储每个输入的权重。
[0005]在一些实施方式中，可以存在一个或多个以下特征。例如，该设备可以包括耦合到模拟神经网络以接收模拟神经网络的模拟输出的模数转换器。模数转换器可以将模拟神经网络的模拟输出转换成与数字控制器兼容的数字输出。模数转换器可以耦合到数字控制器，以将数字输出发送到数字控制器。
[0006]每个神经元的输出可以包括：来自耦合到模拟神经网络的传感器的模拟输入中的模拟输入；以及每个神经元的输出。可以将模拟输入输入到神经网络的第一层。模拟输入的计数可以等于神经元的计数。模拟输入可以被多路复用以形成并行信号的集合(例如，并行信号的六个集合，其中每个集合包括八个信号)。可以由模拟神经网络顺序处理并行信号的集合中的每个集合。
[0007]每个神经元可以包括第一电荷泵、第一运算放大器、第二电荷泵和第二运算放大器。第一电荷泵可以耦合到第一运算放大器。第二电荷泵可以耦合到第二运算放大器。第一
运算放大器可操作为缓冲器以当神经元与第一层相关联时保存神经元的输出，而第二运算放大器可操作为积分器以当神经元被重复使用作第二层的一部分时计算神经元的输出。第二运算放大器可操作来切换为作为另一个缓冲器操作，以当神经元被重复使用作为第二层的一部分时保存神经元的输出，而第一运算放大器可操作来切换为作为另一个积分器操作，以在神经元被进一步重复使用作为神经网络的第三层的一部分时计算神经元的输出。
[0008]第一运算放大器和第二运算放大器中的每一者都可以与被配置为执行偏置补偿的电子组件耦合。第一运算放大器和第二运算放大器中的每一者都可以与被配置为放大模拟神经网络的输出的电子组件耦合。每个神经元还可以包括削波电路，该削波电路被配置为削波第一运算放大器和第二运算放大器中的一者的输出，以将输出保持在电压值的预先确定的范围内。
[0009]神经元中的每个神经元可以具有包括开关的电子电路。开关中每个开关的断开和闭合可以由数字控制器控制。
[0010]另一方面，描述了一种用于神经网络的模拟神经元的电子电路的设备。这种设备可以包括：第一运算放大器，被配置为充当缓冲器以当神经元与神经网络的第一层相关联时保存神经元的输出；以及第二运算放大器，被配置为充当积分器以当神经元被重复使用作为神经网络的第二层的一部分时计算神经元的输出。
[0011]一些实施方式包括以下一个或多个特征。例如，该设备可以包括第一电荷泵和第二电荷泵。第一电荷泵可以耦合到第一运算放大器。第一电荷泵可以改变第一运算放大器的输入处的电压。第二电荷泵可以耦合到第二运算放大器。第二电荷泵可以被配置为改变第二运算放大器的输入处的电压。该设备还可以包括削波电路，该削波电路可以削波第一运算放大器和第二运算放大器中的一者的输出，以将该输出保持在电压值的预先确定的范围内。
[0012]第二运算放大器可以被配置为切换为充当另一个缓冲器，以当神经元被重复使用作为第二层的一部分时保存神经元的输出。第一运算放大器可以被配置为切换到充当另一个积分器，以当神经元被进一步重复使用作为神经网络的第三层的一部分时计算神经元的输出。第一运算放大器和第二运算放大器中的每一者都可以与要执行偏置补偿的电子组件耦合。第一运算放大器和第二运算放大器中的每一者都可以与被配置为放大模拟神经网络的输出的电子组件耦合。
[0013]一些实施方式提供了以下一个或多个优点。神经元在该神经网络内的重复使用可以使该神经网络的电子电路内使用的电子组件的数量最小化，从而最小化计算需求的数量，包括功率、空间、处理和存储需求。此外，该神经网络可以获得非常高的并行性，因为所有神经元可以同时工作。此外，因为该神经网络将计算执行为简单的模拟操作，所以该神经网络可以快速处理数据。此外，因为该神经网络处理数据高效，所以神经元可以需要较低的功率及诸如处理能力、存储器等的其他计算资源。
[0014]下面阐述了一个或多个实施方式的细节。根据详细的说明书、附图和权利要求中，其他特征和优点将变得显而易见。
附图说明
[0015]图1示出了具有模拟神经网络的电子芯片的示例。
[0016]图2示出了神经网络的层的部分。
[0017]图3示出了在神经网络内形成神经元的电子电路的示例。
[0018]图4示出了每个神经元的数字控制器。
[0019]图5示出了说明数字控制器的功能的时序图。
[0020]图6示出了用于为由电子电路表示的一个神经元计算两层的另一时序图。
[0021]图7示出了在神经元的电子电路内的包括电荷泵和积分器的电路部分。
[0022]图8示出了具有向图7的电路部分附加以执行偏置补偿的电子组件附加件的电子电路。
[0023]图9示出了具有向图8的电路部分附加以执行输出放大的电子组件附加件的电子电路。
[0024]图10示出了在神经元的电子电路内执行输出电压的削波的电路部分。
[0025]图11示出了执行输出电压的削波的另一电路部分。
具体实施方式
[0026]图1示出了电子芯片102，其具有包括神经元的模拟神经网络104、可以数字控制模拟神经网络104的电子电路的数字控制器106、可以将每个神经元的模拟输出(例如，输出电压)转换成与数字控制器106本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种设备，包括：模拟神经网络，包括具有多个神经元的第一层，所述多个神经元被配置为被重复使用以形成模拟所述神经网络的第二层，每个神经元具有多个输入；数字控制器，耦合到所述模拟神经网络以为所述多个输入中的每个输入提供权重；以及存储器装置，耦合到所述数字控制器以存储所述多个输入中的每个输入的权重。2.根据权利要求1所述的设备，还包括耦合到所述模拟神经网络以接收所述模拟神经网络的模拟输出的模数转换器，所述模数转换器被配置为将所述模拟神经网络的模拟输出转换成与所述数字控制器兼容的数字输出，所述模数转换器耦合到所述数字控制器以将所述数字输出发送到所述数字控制器。3.根据权利要求1或2所述的设备，其中所述多个神经元中的每个神经元的多个输出包括：来自耦合到所述模拟神经网络的传感器的多个模拟输入中的模拟输入；以及所述多个神经元中的每个神经元的输出。4.根据权利要求3所述的设备，其中：所述多个模拟输入被输入到神经网络的所述第一层；以及所述模拟输入的计数等于所述神经元的计数。5.根据权利要求4所述的设备，其中所述多个模拟输入被多路复用以形成并行信号的集合，所述并行信号的集合中的每个集合由所述模拟神经网络按顺序处理。6.根据前述权利要求中任一项所述的设备，其中每个神经元包括第一电荷泵、第一运算放大器、第二电荷泵和第二运算放大器。7.根据权利要求6所述的设备，其中：所述第一电荷泵耦合到所述第一运算放大器；所述第二电荷泵耦合到所述第二运算放大器；以及所述第一运算放大器可操作为缓冲器，以当所述神经元与所述第一层相关联时保存所述神经元的输出，而所述第二运算放大器可操作为积分器，以当所述神经元被重复使用作为所述第二层的一部分时计算所述神经元的输出。8.根据权利要求7所述的设备，其中所述第二运算放大器可操作来切换为作为另一个缓冲器操作，以当所述神经元被重复使用作为所述第二层的一部分时保存所述神经元的输出，而所述第一运算放大器可操作来切换为作为另一个积分器操作，以当所述神经元被进一步重复使用作为所述神经网络的第三层的一部分时计算所述神经元的输出。9.根据权利要求6至权利要求8中任一项所述的设备，其中所述第一运算放大器和所述第二运算放大器中的每一者都与被配置为执行偏置补偿的电子组件耦合。10.根据...

【专利技术属性】
技术研发人员：B普钦格，E哈塞尔斯泰纳，F梅尔，B米尼克霍夫，G普罗米策，P扬舍尔，
申请(专利权)人：ams国际有限公司，
类型：发明
国别省市：