基于遗传算法的多阶段神经网络模型训练方法技术

本发明专利技术涉及一种基于遗传算法的多阶段神经网络模型训练方法，其技术特点是包括以下步骤：对数据进行预处理以消除字段的量纲影响；根据输入层、隐含层、输出层节点数，构建多输入层网络结构；采用遗传算法训练初始权重和阈值；利用迭代算法更新权重；根据迭代次数及模型误差判断是否满足模型终止条件：如果满足，则模型结束，否则重新更新权重。本发明专利技术针对过程控制中参数分阶段影响输出的问题，构建一个多阶段神经网络结构，根据遗传算法具有全局搜索的特点，采用其为网络结构选择一组较合理的初始权重，从而尽可能地防止网络训练进行局部极小点，解决了只有一个输入层的神经网络结构无法解决工程控制中具有前后顺序的参数影响产品加工的问题。

【技术实现步骤摘要】

本专利技术属于数据挖掘
，具体涉及一种基于遗传算法的多阶段神经网络模 型训练方法。
技术介绍
随着计算机技术的飞速发展，特别是Internet技术的不断应用，人们利用网络信 息技术产生和搜集数据的能力有了很大幅度的提高，数据呈现了飞快的增长趋势。如何从 海量的数据中获取所需要的信息成为了一个迫切需要研究的问题。面对这样的挑战，数据 挖掘（Data Mining)技术应运而生，使用数据挖掘技术能够从这些海量数据中获取隐含的 有用信息。然而，由于数据的爆炸性增长，如何使用数据挖掘技术快速有效地从海量数据中 获取隐含有用的信息变得越来越重要。因此，数据挖掘技术成为大数据技术中核心技术之 〇 在工程控制中，存在很多输入参数分阶段影响输出的情况。比较典型的就是在钢 铁企业的多辊热连乳机质量控制中，如何在热连乳产品物理性能指标给定的情况下，确定 影响热连乳过程的炼钢参数、乳制参数等变量的变化范围，达到所要求的质量标准，这是长 期困扰工程技术人员的难题。随着数据挖掘技术的兴起，数据挖掘方法成为解决这一问题 的有效途径。但是由于产品加工工序的特殊性，即存在先后顺序的特点，如热乳产品的质量 主要决定于炼钢、乳钢等过程中的众多参数，在炼钢过程结束后，炼钢过程中的全部参数由 钢铁质量体现，这时热乳板材的质量取决于钢铁质量参数和热乳过程中的其他参数，将所 有输入变量作为同等输入的一般数据挖掘方法很难达到理想的效果。只有将不同阶段的参 数作为不同的输入层才更能描述这一问题，多阶段的神经网络算法应运而生。 神经网络算法的模型优劣受初始权重影响很大，传统的随机生成初始权重的方法 很难保证模型的稳健性。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于遗传算法的多阶段神经网 络模型训练方法，解决工程中输入参数分阶段影响输出的控制问题。 本专利技术解决其技术问题是采取以下技术方案实现的： -种，包括以下步骤： 步骤1、对数据进行预处理以消除字段的量纲影响； 步骤2、根据输入层、隐含层、输出层节点数，构建多输入层网络结构； 步骤3、采用遗传算法训练初始权重和阈值； 步骤4、利用迭代算法更新权重； 步骤5、根据迭代次数及模型误差判断是否满足模型终止条件：如果迭代次数达 到设置值时，则模型结束；否则计算模型误差，如果模型误差小于阈值，则模型结束，否则转 到步骤4。 所述步骤1对数据进行预处理包括去掉训练集目标字段取值为空的记录、对字段 缺失值进行处理、字符字段二值化及数值字段正则化。 所述步骤3的具体方法包括以下步骤： (1)设置基因的杂交概率和基因的变异概率； (2)对神经网络的权重和阈值进行编码； (3)根据误差精确度确定基因码长； ⑷初始化种群； (5)种群评估； (5)根据种群评估结果，如果最优个体与最差个体的评估值之差小于阈值，则转至 步骤（9)，否则转至步骤（6); (6)杂交操作； (7)变异操作； (8)适应度评估； (9)遗传算法终止，选择误差最小的个体为最优个体作为初始权重。 所述步骤（2)对神经网络的权重和阈值进行编码采用二进制编码，将权值和阈值 的取值区间限定在了 之间。 所述步骤（4)初始化种群规模设定为100。 所述步骤（5)种群评估采用适应度函数作为总误差，并计算每个个体的误差。 所述步骤（6)杂交操作的方法为：通过将原有的最优的两个个体进行交叉，生成 新个体，并替代最差的个体。 所述步骤（7)变异操作的方法为：通过对最差的个体进行变异，产生新个体。 所述步骤（8)适应度评估的方法为：对交叉和变异后产生的新个体进行解码，转 换为的权重取值后对新个体进行评估。 所述步骤4是采用BFGS迭代算法更新权重的，在迭代过程中采用采用黄金分割法 搜索步长。 本专利技术的优点和积极效果是： 1、本专利技术采用遗传算法为神经网络训练初始权值，降低网络训练进入局部极小的 可能性，在其它条件不变的情况下，采用初始权重随机取值和GA训练初始权重两种方法， 分别进行20次试验，利用GA选择初始权重所得的结果优于随机产生初始权重所得的结果。 2、本专利技术引入了多阶段输入的思想，通过对传统神经网络结构改造，使其能够适 应类似产品工艺流程改进等影响因素分成多个阶段对目标进行影响的应用场景，使得相应 问题预测效果更优。【附图说明】 图1为本专利技术的多阶段神经网络结构图； 图2为本专利技术的算法流程图。【具体实施方式】 以下结合附图对本专利技术实施例做进一步详述： 一种，是针对多阶段神经网络实现 的，多阶段神经网络是具有多个输入层的神经网络结构。多阶段神经网络系统主要用于工 程控制中输入参数具有前后时间顺序的情况，即产品加工工序前后不同，只有一个输入层 的神经网络结构无法得到准确的参数控制结果。神经网络模型的优劣受初始权重和阈值影 响很大，采用遗传算法，凭借其全局搜索的特点，为神经网络选择一组较合理的初值权重， 从而尽可能地将网络初始权重设置在局部极小点附近。基于遗传算法产生的初始权重和阈 值，进一步训练迭代多阶段神经网络模型，优化初始权重和阈值。 下面结合一个实施例对本方法进行说明： 在钢铁企业的多辊热连乳机质量控制中，困扰工程技术人员的难题是热连乳产品 物理性能指标给定的情况下，如何确定在热连乳过程中能够影响它的炼钢参数、乳制参数 等变量的变化范围，达到所要求的质量标准。针对产品加工工序的前后不同，多阶段神经网 络可以很好地解决这一问题。将前后不同阶段的参数作为不同的输入层，一般来说，具有两 个输入层的神经网络基本可以比较精确的反映热乳产品的质量。另外，传统的神经网络训 练方法对初始网络权重和阈值较为依赖，而初始网络权重和阈值又都是随机产生，因此模 型结果很不稳定。因此，本实施方案中采用遗传算法初步优化初始网络权重和阈值。 具有两个输入层的神经网络结构如图1所示，输入层有Ii1个输入结点，第一隐含 层有n2个隐结点和m个输入结点，第二隐含层有n/h隐结点。由输入层的结点i到第一隐含 层的隐结点j的连接权值为由第一隐含层的隐结点i到第 二隐含层的隐结点j的连接权值为由第一隐含层的输入 结点i到第二隐含层的隐结点j的连接权值为Wu (i = n2+l, n2+2,…，n2+m ; j = 1，2,…，n3)。 由第二隐含层的隐结点i到输出结点的连接权值为Wfi = …w;)。 设X= (kXl)N>Knl+ni)为输入矩阵，共有N组输入数据，kXl表示第k组输入数据的第 i个输入参数的值A (X)为第i层的激活函数α = 1，2, 3);第k组输入数据的第q层第i 个神经元的输入为kSiq_1>,输出为kY"，阈值为则有 其中ky( θ )为对应于第k组输入数据计算所得的网络输出，Θ为所有权值和阈值 构成的向量空间。 记对应于第k组输入数据，训练样本的拟合误差为 ke ( Θ ) = ky-ky ( θ ) 定义总误差为 所谓训练网络，就是利用训练数据，选择一定的优化算法，不断调整权值和阈值， 从而使总误差Ε( Θ )达到最小。 总误差E ( Θ )分别对各层权值和阈值求偏导数，结果为 其中q = 1，2, 3。因此，只需算 神经网络模型的优劣受初始权重和阈值影响很大，初始权重和阈值选取合适，模 型能够较快的收本文档来自技高网...

【技术保护点】
一种基于遗传算法的多阶段神经网络模型训练方法，其特征在于包括以下步骤：步骤1、对数据进行预处理以消除字段的量纲影响；步骤2、根据输入层、隐含层、输出层节点数，构建多输入层网络结构；步骤3、采用遗传算法训练初始权重和阈值；步骤4、利用迭代算法更新权重；步骤5、根据迭代次数及模型误差判断是否满足模型终止条件：如果迭代次数达到设置值时，则模型结束；否则计算模型误差，如果模型误差小于阈值，则模型结束，否则转到步骤4。

【技术特征摘要】

【专利技术属性】
技术研发人员：王洋，黄瑞，陈训逊，苏卫卫，吴震，田凯，蒋旭，
申请(专利权)人：国家计算机网络与信息安全管理中心，天津神舟通用数据技术有限公司，
类型：发明
国别省市：北京;11