一种多层输出的神经网络训练方法、系统及装置制造方法及图纸

本发明专利技术提供一种多层输出的神经网络训练方法，包括：S1，将神经网络划分为按照顺序依次连接的N个子网络，N为正整数，每一子网络对应设有输出层；S2，通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个子网络的迭代训练相互独立，直至N个子网络均收敛；S3，按照所述子网络的连接顺序，依次使第i个子网络(1≤i≤N

【技术实现步骤摘要】
一种多层输出的神经网络训练方法、系统及装置


[0001]本专利技术涉及人工智能领域，具体涉及一种多层输出的神经网络训练方法、系统及装置。

技术介绍

[0002]在计算机视觉如图像识别或者目标检测问题中，所使用的神经网络的层数往往高达50层、甚至100层以上。在训练过程中，如此多的层数，只有末尾的若干层能够对输出层产生较大影响，而前层参数对输出层的影响则较小，原因是使用梯度下降法计算梯度时，梯度从后向前经过层层传递逐渐失真，前层已经无法获得有效的梯度信息，导致前层参数很难得以有效更新。
[0003]目前，针对此问题，比较广泛使用的方法是使用残差网络，但是此方法对前层参数更新效率的提升幅度有限，原因是其在训练过程中基于损失函数所计算出的梯度要到达前层，仍然需要多层传递，梯度的传输路径较长，导致前层参数更新效率低，也致使后层神经网络检测精度降低。

技术实现思路

[0004]针对上述
技术介绍
中提出的问题，本专利技术提供一种提高神经网络前层参数更新效率的多层输出的神经网络训练方法。
[0005]为达到上述目的，本专利技术所采用的技术方案是：
[0006]一种多层输出的神经网络训练方法，包括以下步骤：
[0007]S1，将神经网络划分为按照顺序依次连接的N个子网络，N为正整数，每一子网络对应设有输出层；
[0008]S2，通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个子网络的迭代训练相互独立，直至N个子网络均收敛；
[0009]S3，按照所述子网络的连接顺序，依次使第i个子网络(1≤i≤N
‑
1)的输出层停止工作；
[0010]S4，当第i个子网络的输出层停止工作后，使用第i+1个子网络的输出层获得前i+1个子网络构成的整体网络的梯度，并基于所得到的梯度值更新前i+1个子网络的参数；
[0011]S5，重复步骤S4对所述整体网络进行迭代训练直至所述整体网络收敛。
[0012]进一步地，采用梯度下降法计算相应子网络的梯度值。
[0013]进一步地，所述N的取值为4～5。
[0014]进一步地，所有输出层执行相同的任务。
[0015]进一步地，将输出层的输出值与同一个标签值的差值作为梯度值。
[0016]进一步地，通过N
‑
1次下采样将神经网络分为N个子网络。
[0017]本专利技术还提供一种多层输出的神经网络训练系统，包括：
[0018]网络划分模块，用于将神经网络划分为按照顺序依次连接的N个子网络，N为正整
数，每一子网络对应设有输出层；
[0019]第一网络训练模块，用于通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个子网络的迭代训练相互独立，直至N个子网络均收敛；
[0020]第二网络训练模块，用于按照所述子网络的连接顺序，依次使第i个子网络(1≤i≤N
‑
1)的输出层停止工作，使用第i+1个子网络的输出层获得前i+1个子网络构成的整体网络的梯度，并基于所得到的梯度值更新前i+1个子网络的参数，直至所述整体网络收敛。
[0021]本专利技术进一步提供一种基于多层输出的神经网络的图像处理方法，包括以下步骤：
[0022]S1，将神经网络划分为按照顺序依次连接的N个子网络，每一子网络对应设有输出层；
[0023]S2，通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个子网络的迭代训练相互独立，直至N个子网络均收敛；
[0024]S3，按照所述子网络的连接顺序，依次使第i个子网络(1≤i≤N
‑
1)的输出层停止工作；
[0025]S4，使用第i+1个子网络的输出层获得前i+1个子网络构成的整体网络的梯度，并基于所得到的梯度值更新前i+1个子网络的参数；
[0026]S5，重复步骤S4所述整体网络进行迭代训练直至所述整体网络收敛，完成对神经网络的训练；
[0027]S6，使用完成训练后的神经网络对待处理的图像进行处理，保留第N个子网络输出层的输出结果作为图像的处理结果。
[0028]本专利技术进一步提供一种多层输出的神经网络训练装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现任一所述的多层输出的神经网络训练方法。
[0029]本专利技术进一步提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现任一所述的多层输出的神经网络训练方法。
[0030]由于采用上述技术方案，本专利技术具有以下有益效果：
[0031]上述多层输出的神经网络训练方法，其从神经网络的不同深度处，引出多个输出层，使得梯度传输路径相较现有方法大幅缩短，在神经网络训练过程中提高了前层子网络参数的参与度，因此大幅提升了神经网络前层参数更新的效率，提高了后层神经网络的检测精度。
附图说明
[0032]图1为本专利技术一较佳实施方式的多层输出的神经网络训练方法的流程图。
[0033]图2为现有技术的神经网络的示意图。
[0034]图3为本专利技术较佳实施方式的神经网络的示意图。
[0035]图4为本专利技术较佳实施方式的多层输出的神经网络训练系统的模块图。
[0036]图5为本专利技术较佳实施方式的基于多层输出的神经网络的图像处理方法的流程图。
具体实施方式
[0037]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0038]需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0039]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0040]请参见图1，本专利技术一较佳实施方式提供一种多层输出的神经网络训练方法，包括以下步骤：
[0041]S1，将神经网络划分为按照顺序依次连接的N个子网络，N为正整数，每一子网络对应设有输出层；
[0042]S2，通过每个子网络对应的输出层获得相应子网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层输出的神经网络训练方法，其特征在于，包括以下步骤：S1，将神经网络划分为按照顺序依次连接的N个子网络，N为正整数，每一子网络对应设有输出层；S2，通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个子网络的迭代训练相互独立，直至N个子网络均收敛；S3，按照所述子网络的连接顺序，依次使第i个子网络(1≤i≤N
‑
1)的输出层停止工作；S4，当第i个子网络的输出层停止工作后，使用第i+1个子网络的输出层获得前i+1个子网络构成的整体网络的梯度，并基于所得到的梯度值更新前i+1个子网络的参数；S5，重复步骤S4对所述整体网络进行迭代训练直至所述整体网络收敛。2.如权利要求1所述的多层输出的神经网络训练方法，其特征在于，采用梯度下降法计算相应子网络的梯度值。3.如权利要求1所述的多层输出的神经网络训练方法，其特征在于，所述N的取值为4～5。4.如权利要求1所述的多层输出的神经网络训练方法，其特征在于，所有输出层执行相同的任务。5.如权利要求1所述的多层输出的神经网络训练方法，其特征在于，所述梯度值是基于输出层的输出值与训练样本设定的标签的差值，求出损失函数对所述差值的偏导数而得。6.如权利要求1所述的多层输出的神经网络训练方法，其特征在于，通过N
‑
1次下采样将神经网络分为N个子网络。7.一种多层输出的神经网络训练系统，其特征在于，包括：网络划分模块，用于将神经网络划分为按照顺序依次连接的N个子网络，N为正整数，每一子网络对应设有输出层；第一网络训练模块，用于通过每个子网络对应的输出层获得相应子网络的梯度并基于所得到的梯度值更新相应子网络的参数，N个...

【专利技术属性】
技术研发人员：蔡启明，杨蓉，黄俊明，李宇挺，章伟，
申请(专利权)人：广西大学，
类型：发明
国别省市：