RPU阵列的噪声和信号管理制造技术

提供了在ANN训练期间用于RPU阵列的高级噪声和信号管理技术。在本发明专利技术的一个方面，一种用于ANN训练的方法包括：提供具有预归一化器和后归一化器的RPU器件的阵列；计算并预归一化属于每个预归一化器的集合组的到阵列的输入向量x的所有元素的平均值和标准偏差；以及计算并后归一化属于每个后归一化器的集合组的输出向量y的所有元素的平均值μ和标准偏差σ。差σ。差σ。

【技术实现步骤摘要】
【国外来华专利技术】RPU阵列的噪声和信号管理


[0001]本专利技术涉及具有电阻处理单元(Resistive Processing Unit，RPU)器件的模拟交叉点阵列的人工神经网络(Artificial Neural Network，ANN)的训练，更具体地，涉及在ANN训练期间用于RPU阵列的高级噪声和信号管理技术。

技术介绍

[0002]人工神经网络(ANN)可以体现在电阻器件的模拟交叉点阵列，例如在Gokmen等人的美国专利申请公开号2017/0109628，题为“Resistive Processing Unit”中描述的电阻处理单元(RPU)。如本文所描述，每个RPU包括第一端子、第二端子和有源区。有源区的导电状态识别RPU的权重值，该权重值可以通过向第一端子/第二端子施加信号来更新/调整。
[0003]基于ANN的模型已经用于各种不同的基于认知的任务，例如对象和语音识别以及自然语言处理。例如，参见Gokmen等人的“Training Deep Convolutional Neural Networks with Resistive Cross
‑
point Devices”，载于Frontiers in Neuroscience(《神经科学前沿》)第11卷538号文章(2017年10月)(13页)。当执行这些任务时，需要神经网络训练来提供高水平的精确度。
[0004]然而，在RPU阵列上执行的向量
‑
矩阵乘法运算本质上是模拟的，因此容易受到各种噪声源的影响。当RPU阵列的输入值很小时(例如对于反向循环传递(backward cycle pass))，输出信号y可能被噪声掩盖，因此产生不正确的结果(即，y＝W.δ+noise，W.δ＜＜noise)。例如，参见Gokmen等人的美国专利申请公开号2018/0293209，题为“Noise and Bound Management for RPU Array”。由于模拟噪声作为因素，使用这种模拟RPU阵列来精确ANN训练是困难的。
[0005]因此，在ANN训练期间使模拟噪声的影响最小化的技术将是合乎需要的。

技术实现思路

[0006]本专利技术提供了在人工神经网络(ANN)训练期间用于电阻处理单元(RPU)阵列的高级噪声和信号管理技术。在本专利技术的一个方面，提供了一种用于具有噪声和信号管理的ANN训练的方法。该方法包括：提供RPU器件的阵列，该RPU器件的阵列具有被配置为处理到该阵列的输入向量x的n个元素的大小为g的集合组的预归一化器，以及具有被配置为处理来自该阵列的输出向量y的m个元素的大小为g的集合组的后归一化器，其中，阵列表示具有m行和n列的ANN的权重矩阵W，其中，权重矩阵W的权重值w被存储为RPU器件的电阻值；跨N个向量计算属于每个预归一化器的集合组的输入向量x的所有元素的平均值μ和标准偏差σ，产生预归一化器的当前平均值μ和标准偏差值σ，其中，平均值μ和标准偏差σ是在N乘以g个输入值上计算的；用折扣因子α更新预归一化器的先前存储的平均值μ和标准偏差值σ，预归一化器的当前平均值μ和标准偏差值σ产生预归一化器的更新的存储的平均值μ和标准偏差值σ；使用预归一化器的更新的存储的平均值μ和标准偏差值σ将N乘以g个输入值预归一化，从所有预归一化器产生N个归一化的输入向量x
norm
，以通过阵列与前向循环传递中的模拟噪
声一起计算W*x
norm
；跨N个向量计算属于每个后归一化器的集合组的输出向量y的所有元素的平均值μ和标准偏差σ，产生后归一化器的当前平均值μ和标准偏差值σ，其中，平均值μ和标准偏差σ是在N乘以g个输入值上计算的；用折扣因子α更新后归一化器的先前存储的平均值μ和标准偏差值σ，后归一化器的当前平均值μ和标准偏差值σ产生后归一化器的更新的存储的平均值μ和标准偏差值σ；使用后归一化器的更新的存储的平均值μ和标准偏差值σ将N乘以g个输出值后归一化，从所有后归一化器产生N个归一化的输出向量y
norm
；使用先前的标准偏差σ变换N个输入向量d，产生N个变换的输入向量d
norm
，以通过阵列与反向循环传递中的模拟噪声一起计算W
T
*d
norm
；以及使用预归一化器的先前的标准偏差σ变换N个输出向量d
’
，以产生N个变换的输出向量d
′
norm
。
[0007]通过参考以下详细描述和附图，将获得对本专利技术的更完整理解以及本专利技术的进一步特征和优点。
附图说明
[0008]图1是示出根据本专利技术的实施例的在电阻处理单元(RPU)器件的模拟交叉点阵列中体现的人工神经网络(ANN)的图；
[0009]图2A是示出根据本专利技术的实施例的用于具有噪声和信号管理的ANN训练的示例性方法200的初始化阶段以及训练阶段的前向循环传递的图；
[0010]图2B(从图2A继续)是示出根据本专利技术的实施例的示例性方法200的训练阶段的反向循环传递的图；
[0011]图2C(从图2B继续)是示出根据本专利技术的实施例的示例性方法200的训练阶段的反向循环传递和更新传递的接续的图；
[0012]图3是示出根据本专利技术的实施例的具有可以实施方法200的预归一化器和后归一化器的示例性RPU阵列的图；以及
[0013]图4是示出根据本专利技术的实施例的可以在执行本技术中的一个或多个时采用的示例性装置的图。
具体实施方式
[0014]如上文所述，由于模拟噪声，利用模拟电阻交叉阵列(例如，模拟电阻处理单元(Resistive Processing Unit，RPU)阵列)的人工神经网络(ANN)训练是困难的。此外，训练过程受到阵列采用的模
‑
数转换器(Analog
‑
to
‑
Digital Converter，ADC)和数
‑
模转换器(Digital
‑
to
‑
Analog Converter，DAC)的有界范围的限制。即，如将在下文详细描述的，DAC和ADC分别用于将到RPU的数字输入转换为模拟信号，以及将来自RPU的输出转换回数字信号。
[0015]有利地，本文提供了相应的对输入和输出进行归一化的技术，以克服这些噪声和信号边界限制。例如，如将在下文详细描述的，通过计算和存储多个输入值和/或输入值集合的均值和方差，并以运行平均方式更新均值和方差，来执行对RPU阵列的输入的归一化(即，归零均值和方差)。
[0016]如上文所述，ANN可以体现在RPU器件的模拟交叉点阵列中。例如，参见图1。如图1所示出，算法(抽象)权重矩阵100的每个参数(权重w
ij
)被映射到硬件上的单个RPU器件
(RPU
ij
)，即RPU器件的物理交叉点阵列102。交叉点阵列102具有一系列导电行线104和一系列导电列线10本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于具有噪声和信号管理的人工神经网络(ANN)训练的方法，所述方法包括以下步骤：提供电阻处理单元(RPU)器件的阵列，所述阵列具有被配置为处理到所述阵列的输入向量x的n个元素的大小为g的集合组的预归一化器，以及具有被配置为处理来自所述阵列的输出向量y的m个元素的大小为g的集合组的后归一化器，其中，所述阵列表示具有m行和n列的所述ANN的权重矩阵W，其中，权重矩阵W的权重值w被存储为所述RPU器件的电阻值；跨N个向量计算属于每个预归一化器的所述集合组的所述输入向量x的所有元素的平均值μ和标准偏差σ，产生所述预归一化器的当前平均值μ和标准偏差值σ，其中，所述平均值μ和所述标准偏差σ是在N乘以g个输入值上计算的；用折扣因子α更新所述预归一化器的先前存储的平均值μ和标准偏差值σ，所述预归一化器的所述当前平均值μ和标准偏差值σ产生所述预归一化器的更新的存储的平均值μ和标准偏差值σ；使用所述预归一化器的所述更新的存储的平均值μ和标准偏差值σ将所述N乘以g个输入值预归一化，从所有所述预归一化器产生N个归一化输入向量x
norm
，以通过所述阵列与前向循环传递中的模拟噪声一起计算W*x
norm
；跨所述N个向量计算属于每个所述后归一化器的所述集合组的所述输出向量y的所有元素的所述平均值μ和所述标准偏差σ，产生所述后归一化器的当前平均值μ和标准偏差值σ，其中，所述平均值μ和所述标准偏差σ是在N乘以g个输入值上计算的；用折扣因子α更新所述后归一化器的先前存储的平均值μ和标准偏差值σ，所述后归一化器的所述当前平均值μ和标准偏差值σ产生所述后归一化器的更新的存储的平均值μ和标准偏差值σ；使用所述后归一化器的所述更新的存储的平均值μ和标准偏差值σ将所述N乘以g个输出值后归一化，从所有所述后归一化器产生N个归一化输出向量y
norm
；使用所述先前的标准偏差σ变换N个输入向量d，产生N个变换的输入向量d
norm
，以通过所述阵列与反向循环传递中的模拟噪声一起计算W
T
*d
norm
；以及使用所述预归一化器的所述先前的标准偏差σ变换N个输出向量d
’
，以产生N个变换的输出向量d
′
norm
。2.根据权利要求1所述的方法，还包括以下步骤：初始化所述预归一化器和所述后归一化器中的每一个以使存储的平均值被设置为0，并且存储的标准偏差值被设置为1。3.根据权利要求1所述的方法，还包括以下步骤：在更新循环传递中利用来自所述前向循环传递的x
norm
和来自所述反向循环传递的d
norm
更新所述阵列。4.根据权利要求1所述的方法，还包括以下步骤：使用所述折扣因子α以(1
‑
α)*v
old
+α*v
new
更新所述预归一化器的所述先前存储的平均值μ和标准偏差值σ，其中，ν
old
是所述预归一化器的所述先前平均值和标准偏差，v
new
是针对所述输入向量x的元素计算的所述平均值和标准偏差。5.根据权利要求4所述的方法，还包括以下步骤：初始地设置所述折扣因子α的值大于0且小于1。
6.根据权利要求1所述的方法，还包括以下步骤：使用所述折扣因子α以(1
‑
α)*v
old
+α*v
new
更新所述后归一化器的所述先前存储的平均值μ和标准偏差值σ，其中，v
old
是所述后归一化器的所述先前平均值和标准偏差，v
new
是针对所述输出向量y的元素计算的所述平均值和标准偏差。7.根据权利要求6所述的方法，还包括以下步骤：初始地设置所述折扣因子α的值大于0且小于1。8.根据权利要求1所述的方法，其中，所述预归一化步骤包括以下步骤：对于所述预归一化器中的每一个，将所述N乘以g个值减去所述预归一化器的所述先前的平均值μ以获得结果；以及将所述结果除以所述预归一化器的所述先前的标准偏差σ。9.根据权利要求1所述的方法，还包括以下步骤：将所述N个变换后的输入向量d
norm
转换成模拟脉冲宽度；使用所述阵列计算具有模拟噪声的W
T
*d
norm
；以及以数字形式表示来自所述阵列的所述输出向量y。10.根据权利要求1所述的方法，还包括以下步骤：将所述N个变换后的输入向量x
norm
转换成模拟脉冲宽度；使用所述阵列计算具有模拟噪声的W*x
norm...

【专利技术属性】
技术研发人员：MJ拉施，T戈克曼，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：