学习神经网络及其方法技术

一种尽可能减少神经网络中权重调整的计算复杂性的方法，其特征在于包含以下步骤： 从初始状态以增量变化为单位随机改变权重； 如果改变所述权重后网络误差降低，则迭代所述增量变化直到所述网络误差增加；以及 如果改变所述权重后所述网络误差增加，则再次随机改变所述权重。（*该技术在2014年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术大致涉及神经网络，具体而言，涉及包含学习算法的学习神经网络，该学习算法用来调整学习神经网络的参数以实现特定的函数形式。
技术介绍
神经网络是以人脑结构为模型的计算结构。如附图说明图1所示，神经网络12通常接收若干输入I0—Im，基于所希的函数在输入I0—Im上运算，并产生若干神经网络的输出O0—Op。由于与本质上是串行处理的计算机相反，神经网络12并行处理I0—Im，所以它的处理速度极快。在这样的结构中，神经网络12包含若干以一系列连续层形式组织的“神经元”14。最靠近输出O0—Om的层称为“输出层神经元”，而位于输出层神经元前面的层称为“隐藏层神经元”。每个神经元14通常都包含如图2所示的结构。可以向每个神经元14提供各种输入的组合。在每个神经元14中，先要对与神经元14连接的每个输入I赋予权重。例如，图2示出了经过神经元14以提供输出Oq的输入I0—Ik。权重施加装置16分别将权重W0—Wk赋予输入I0—Ik，权重施加装置16可以仅仅是将权重与输入I相乘的乘法器。在将权重W0—Wk赋予各个输入I0—Ik之后，如图2中加法块18所示，对信号进行求和运算。接下来，来自加法块18的信号送至非线性电路22(在现有技术中有时被称为“sigmoid”)，信号经过非线性变换以提供输出Oq。在每个神经网络中，权重施加装置16的数量一般都很多，而权重施加装置16可施加的权重值同样也很多。，由于无法避开复杂的数学，所以要确定赋予一组特定输入的权重从而实现一种所希的神经网络12的函数形式和一组所希的输出是及其困难的。有鉴于此，人们在创造学习算法或训练算法的研究上花费了很大的力气，这类算法用来确定所要赋予的合适权重以实现确定的网络函数形式。学习算法一般将一组对应的所希数值O0′—Op′与一组实际网络输出O0—Op进行比较。该所希数值组O0′—Op′基于神经网络12的所希函数形式。由图1可见，这两组数值的比较产生了一组误差E0—Ep，如误差块24所示。而且，误差E0—Ep通常取为正数从而确保最小误差表示的是网络函数形式与所要得到的函数形式之间的最佳匹配。该程序可以由平方运算实现，如指向乘法块25的双箭头所示。随后，平方值在加法块26处经过求和运算得到一组整体网络误差EN。接着将该组网络误差EN送至权重调整装置28，该权重调整装置28不时地产生引导神经元14中权重向何方向变化的方向(对于每个权重不是+D就是-D)。如图1和2所示，该方向(+D或-D)经过许多并行连接29送至属于增益控制类型的幅度调整装置31，而幅度调整装置31决定了权重变化的幅度δ并将该幅度与相应方向的符号结合起来。由此向每个权重16提供不是+δ就是-δ的增量变化。在权重调整装置28中采用的技术中，众所周知的有反向传播学习算法。对该主题已有完整的专著进行论述。根据反向传播学习算法，要确定每个权重的误差梯度(曲线的斜率)，而该梯度表示了处理权重的方向。在数学中，该技术有时被称为梯度下降法。但是，大多数学习算法(包括反向传播学习算法)都需要复杂的乘法、求和以及微分运算。这些数学运算要求巨大的处理支持能力，而且为了以乘法器和加法器的形式实现，必须占用很大的空间，特别是用到大量的神经元14时。数字电路的串行操作可以用来减少空间的大小，但这会导致处理速度减慢和学习周期延长。如果利用并行模拟电路，则可以加快学习速度并减少所需空间；但是模拟电路的非理想特性使得学习算法要达到预期效果变得非常困难，从而导致学习能力降低或者有时甚至不具备学习能力。反向传播学习算法对这些非理想特性特别敏感。由此得出的结论是，工业界要求提供一种可以与神经网络结合在一起使用并在无需复杂电路(例如乘法电路)的前提下改善信号处理速度和学习周期的学习算法。
技术实现思路
简而言之，本专利技术提供一种调整神经网络权重的方法和提供一种具有能自适应地修改相应权重的学习算法的学习神经网络以实现特定的网络函数形式。根据该方法，权重从初始状态开始以增量变化(+δ或-δ)为单位随机变化。而且，如果改变权重后网络误差减少，则迭代该增量变化直到网络误差增加，而如果改变权重后网络误差增加，则再次随机变化权重。不断迭代该程序直到网络误差接近于零。前述方法可以更为详细地描述如下。对于网络第一次权重内的各增量变化(δ)，任意选择(可能是随机地)一组第一方向(例如+或-)。第一次权重以各增量变化为单位增加从而形成第二次权重。随后从一组网络输入结合第二次权重产生一组网络输出。通过将网络输出与所要得到的对应于网络输入的输出进行数学组合，产生涉及一组网络输出的整体网络误差。当整体网络误差的数值减小时，沿着第一方向以各增量变化为单位再次增加第二次网络权重从而形成第三次权重，并从该组网络输入结合第三次权重产生一组网络输出。当误差的数值增加时，对各增量变化任意选择(可能是随机地)一组第二方向，第二次权重以各增量变化为单位沿着第二方向增加从而形成第四次权重，并且从该组网络输入结合第四次权重产生一组网络输出。根据本专利技术的另一个特点，可以通过将随机数连续移位至网络的各种权重装置上来产生权重变化的方向，而且随机数(例如随机选取+1或-1)用于指示权重变化的方向。本专利技术的一个优点是，与现有技术相比，信号处理速度、学习周期和能力都得到了加强。本专利技术的另一个优点是，可以在不使用复杂的乘法电路的前提下实现新颖的学习算法，因而有利于用电子线路实现并减少了实现所需占用的空间。本专利技术的另一个优点是，通过产生一个随机数并随后连续移位至网络内的每个权重装置上，最大程度地缩小了处理电路的尺寸，这里的随机数指示了权重变化的方向。本专利技术的另一个优点是，可以利用学习神经网络充分而精确地控制未知设备，它们可以是非线性或线性设备并可有任意阶次复杂性。对于本领域内的技术人员来说，以下的附图和详细论述将使他们能理解本专利技术的其它目标、特点及其优点。附图的简要说明借助以下附图可以更好地理解本专利技术。附图中网络规模的大小并不重要，重点放在如何清楚地论述本专利技术的原理上。图1为普通具有用于实现网络内权重调整的学习算法的权重调整设备的学习神经网络的示意框图；图2为图1中神经元的示意框图；图3为按照本专利技术的学习神经网络的示意框图；图4为普通的反向传播学习算法与本专利技术的随机权重变化学习算法进行比较的三维曲线图；图5为图3中神经元的示意框图； 图6为图5中权重施加设备的示意框图；以及图7为应用图3的学习神经网络的示意框图，其中由学习神经网络控制未知设备。实施专利技术的详细描述现参照附图，其中各张附图中相同的标号表示相似的部分，图3示出了一种新的实现了按照本专利技术的随机权重变化学习算法的学习神经网络30。学习神经网络30包含从若干输入I0—Im与经过权重调整装置28处理的若干权重W0—Wp的组合中产生若干输出O0—Op的若干学习神经元14′。神经网络30可以包含任意数量的神经元层。而且，可以向每个神经元14提供可用输入的任意组合。换句话说，图3所示第一层内的每个神经元14可以接收输入I0—Im的任意组合而每个外层神经元14可以接收来自隐藏层神经元的任意组合的神经元输出。而且，输出O0—Op中的每一个与各个所要得到的输出O0′—Op′进行比较以产生在块24处所指的各个误差E0—Ep。这些误差E0本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：K·赫鲁兹，M·A·布鲁克，
申请(专利权)人：乔冶亚技术研究公司，
类型：发明
国别省市：