参数调整方法和装置制造方法及图纸

本申请实施例公开了一种参数调整方法和装置。所述方法包括：获取需要调整的m个参数对应的初始化种群，其中所述初始化种群包括λ个个体，每个个体包括m个参数对应的初始值，其中m为正整数；重复执行如下步骤，直到获得λ个最优个体或者迭代次数达到预设的最大迭代次数T，所述步骤包括：从所述初始化种群中的λ个个体中，选择λ对父母个体；确定所述λ对父母个体对应的λ个后代个体；从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体；在获得λ个最优个体或者迭代次数达到所述最大迭代次数T后，从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体，确定m个参数对应的参数值。

Parameter adjustment method and device

【技术实现步骤摘要】
参数调整方法和装置
本申请实施例涉及信息处理领域，尤指一种参数调整方法和装置。
技术介绍
机器学习算法往往是为了解决某一问题而针对收集到的样本数据进行建模，发现数据中的规律。需要解决的问题往往没有精确解，一般需要转为最优化问题，不断逼近最优解。模型的性能往往是跟模型的参数紧密相关的，即是否能更好地解决提出的问题需要高效、准确地调整模型的参数。其中，参数是机器学习中的算法参数一般分为模型参数和模型超参数，是算法的关键。模型参数是根据数据来学习得到，不需要手动设置，比如支持向量机模型里的支持向量或者逻辑回归中的系数等。而模型超参数是需要模型使用者的手动配置的，比如决策树中每个节点需要使用的特征的比例。针对模型的超参数，在相关技术中，参数调整的方法主要是手动调整和自动调整。手动调整参数主要是根据模型的使用经验来决定参数如何变化以使得模型评估指标更高或者更低，需要模型使用者有较好的相关专业知识和较多的实践经验，否则效率会很低，耗费的时间成本会随着模型超参数的个数增多而升高。为了解决手动调参的以上缺点，自动调参算法被提出了，主要有搜索算法和贝叶斯优化算法。搜索算法为了得到模型目标函数的全局最优值，自动遍历每个参数的取值空间，获得最优化目标函数的取值点，但是搜索代价很大，很难高效率和高精度地逼近最优解。贝叶斯优化算法通过学习目标函数的先验只是，并且将其与样本的信息融合，利用贝叶斯公式求得目标函数的后验信息，就可以推断该函数在参数空间内何处可以得到最优解。贝叶斯优化算法需要假设模型的优化函数时服从高斯分布的，这极大的限制了该方法的普适性。因此，如何高效准确地完成参数的调整是亟待解决的问题。
技术实现思路
为了解决上述任一技术问题，本申请实施例提供了一种参数调整方法和装置。为了达到本申请实施例目的，本申请实施例提供了一种参数调整方法，包括：获取需要调整的m个参数对应的初始化种群，其中所述初始化种群包括λ个个体，每个个体包括m个参数对应的初始值，其中m为正整数；重复执行如下步骤，直到获得λ个最优个体或者迭代次数达到预设的最大迭代次数T，所述步骤包括：从所述初始化种群中的λ个个体中，选择λ对父母个体；确定所述λ对父母个体对应的λ个后代个体；从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体；在获得λ个最优个体或者迭代次数达到所述最大迭代次数T后，从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体，确定m个参数对应的参数值。在一个示例性实施例中，通过如下方式获取一个个体中m个参数对应的初始值，包括：获取参数pi的取值空间[ai,bi]，其中i为大于等于1，且小于等于m的整数，ai，bi为实数；对取值空间[ai,bi]等宽划分，得到个初始的取值区间，其中为从参数pi的个取值区间中选择一个取值区间，并从该取值区间选择一个数值作为该参数pi对应的初始值。在一个示例性实施例中，从所述初始化种群中的λ个个体中，选择λ对父母个体，包括：根据预先设置的适应度计算策略，计算每个个体的适应度信息；从所述λ个个体中选择n个个体，从所述n个个体中选择适应度信息符合预先设置的最优选择策略的2个个体作为1对父母个体，以此类推，直到选取出λ对父母个体，其中n为大于2的整数。在一个示例性实施例中，一个后代个体是通过如下方式得到的，包括：其中，分别表示第t代种群中父母个体,1≤i,j≤λ；ωi、ωj分别为第t代种群中父母个体的适应度归一化后的值，其中t为正整数，小于等于最大迭代次数T。在一个示例性实施例中，所述从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体，包括：确定λ对父母个体中对应的个体和λ个后代个体对应的适应度信息，其中所述适应度信息是根据预先设置的适应度计算策略确定的；从所述λ对父母个体中对应的个体和λ个后代个体中，选择适应度信息符合预先设置的最优选择策略的λ个最优个体。在一个示例性实施例中，所述从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体之前，所述方法还包括：计算所述最优个体的变异概率；依据变异概率对至少一个最优个体中至少一个参数执行变异操作，得到变异操作所产生的新的种群。在一个示例性实施例中，一个最优个体的变异概率是通过如下方式计算的，包括：其中，i代表第i个个体，t代表第t代种群，分别是第t代种群种最大的适应度和平均适应度，σ(t)是第t代种群适应度的方差，是第i个个体在第t代的适应度，k(t)是第t代的变异因子，是一个常数。在一个示例性实施例中，通过如下方式对一个最优个体进行变异操作，包括：判断所述最优个体的变异概率是否符合预先设置的变异判断策略，得到判断结果；如果所述判断结果为符合所述变异判断策略，则从所述最优个体中选择至少一个参数作为变异参数；根据所述变异参数对应的取值范围和预先设置的噪声计算策略，计算所述变异参数对应的噪声；如果产生的噪声范围在所述变异参数对应的取值范围，则在该分量上加上所述噪声，得到变异处理后新的个体。在一个示例性实施例中，如果变异参数的取值范围为则变异参数所增加的的拉普拉斯噪声范围为：其中，为实数。一种参数调整装置，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器调用所述存储器中的计算机程序以实现上文任一所述的方法。本申请实施例提供的方案，获取需要调整的m个参数对应的初始化种群，其中所述初始化种群包括λ个个体，每个个体包括m个参数对应的初始值，其中m为正整数；重复执行如下步骤，直到获得λ个最优个体或者迭代次数达到预设的最大迭代次数T，所述步骤包括：从所述初始化种群中的λ个个体中，选择λ对父母个体；确定所述λ对父母个体对应的λ个后代个体；从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体；在获得λ个最优个体或者迭代次数达到所述最大迭代次数T后，从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体，确定m个参数对应的参数值，借鉴遗传算法进行调参，实现自动调参的高效性和准确性。另外，即使数据有噪声，借助对参数的变异处理，使得确定的参数结果有较好的鲁棒性。本申请实施例的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本申请实施例技术方案的进一步理解，并且构成说明书的一部分，与本申请实施例的实施例一起用于解释本申请实施例的技术方案，并不构成对本申请实施例技术方案的限制。图1为本申请实施例提供的参数调整方法的流程图；图2为本申请实施例提供的参数自动调整方法的流程图；图3为本申请实施例提供的部分个体变异处理方法的流程图。具体实施方式为使本申本文档来自技高网...

【技术保护点】
1.一种参数调整方法，其特征在于，包括：/n获取需要调整的m个参数对应的初始化种群，其中所述初始化种群包括λ个个体，每个个体包括m个参数对应的初始值，其中m为正整数；/n重复执行如下步骤，直到获得λ个最优个体或者迭代次数达到预设的最大迭代次数T，所述步骤包括：/n从所述初始化种群中的λ个个体中，选择λ对父母个体；/n确定所述λ对父母个体对应的λ个后代个体；从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体；/n在获得λ个最优个体或者迭代次数达到所述最大迭代次数T后，从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体，确定m个参数对应的参数值。/n

【技术特征摘要】
1.一种参数调整方法，其特征在于，包括：
获取需要调整的m个参数对应的初始化种群，其中所述初始化种群包括λ个个体，每个个体包括m个参数对应的初始值，其中m为正整数；
重复执行如下步骤，直到获得λ个最优个体或者迭代次数达到预设的最大迭代次数T，所述步骤包括：
从所述初始化种群中的λ个个体中，选择λ对父母个体；
确定所述λ对父母个体对应的λ个后代个体；从λ对父母个体中的个体和λ个后代个体，选择λ个最优个体；
在获得λ个最优个体或者迭代次数达到所述最大迭代次数T后，从所述λ个最优个体中，选择一个符合预设的最优化判断策略的个体，确定m个参数对应的参数值。


2.根据权利要求1所述的方法，其特征在于，通过如下方式获取一个个体中m个参数对应的初始值，包括：
获取参数pi的取值空间[ai,bi]，其中i为大于等于1，且小于等于m的整数，ai，bi为实数；
对取值空间[ai,bi]等宽划分，得到个初始的取值区间，其中为
从参数pi的个取值区间中选择一个取值区间，并从该取值区间选择一个数值作为该参数pi对应的初始值。


3.根据权利要求1所述的方法，其特征在于，从所述初始化种群中的λ个个体中，选择λ对父母个体，包括：
根据预先设置的适应度计算策略，计算每个个体的适应度信息；
从所述λ个个体中选择n个个体，从所述n个个体中选择适应度信息符合预先设置的最优选择策略的2个个体作为1对父母个体，以此类推，直到选取出λ对父母个体，其中n为大于2的整数。


4.根据权利要求1所述的方法，其特征在于，一个后代个体是通过如下方式得到的，包括：



其中，分别表示第t代种群中父母个体,1≤i,j≤λ；ωi、ωj分别为第t代种群中父母个体的适应度归一化后的值，其中t为正整数，小于等于最大迭代次数T。


5.根据权利要求1所述的方法，其特征在于，所述从λ对父母个体中的个体和λ个后代个...

【专利技术属性】
技术研发人员：范慧婷，卢亿雷，
申请(专利权)人：恩亿科北京数据科技有限公司，
类型：发明
国别省市：北京;11