本公开关于一种超参数处理方法、装置、电子设备及存储介质，所述方法包括：获取与历史超参数对应的历史验证结果；所述历史验证结果用于表征与所述历史超参数对应的已训练模型的性能数据；所述与所述历史超参数对应的已训练模型基于所述历史超参数对待训练模型进行训练得到；基于所述历史验证结果对未返回验证结果的目标超参数进行验证结果插补，得到所述目标超参数的插补结果；基于所述历史验证结果，以及所述目标超参数的插补结果，生成待验证超参数；将所述待验证超参数发送至队列；从所述队列中获取对所述待验证超参数的验证结果。本公开能够解决对超参数空间的探索性下降以及浪费验证资源的问题。以及浪费验证资源的问题。以及浪费验证资源的问题。
【技术实现步骤摘要】
超参数处理方法、装置、电子设备及存储介质
[0001]本公开涉及机器学习
，尤其涉及一种超参数处理方法、装置、电子设备及存储介质。
技术介绍
[0002]使用机器学习模型需要指定一系列超参数，这些超参数在很大程度上影响了机器学习模型的最终效果。通常情况下，机器学习应用开发者需要对超参数进行优化，给机器学习算法选择一组最优超参数，以提高学习的性能和效果。例如，以模型的学习率为例，过大的学习率可能使得模型收敛效果差，过小的学习率可能使得模型收敛慢，并且陷入局部最优点。为得到一个性能优异的模型，往往需要大量的时间尝试各种超参数配置以获得更好的效果。
[0003]相关技术中，在进行并行超参数优化与验证的过程中，在给出新的超参数推荐时，都可能存在正在运行验证还没有返回验证结果的超参数，未返回验证结果的超参数的存在可能导致优化算法并行推荐效果下降，这是因为当优化算法基于验证历史结果进行推荐时，在返回的验证历史结果不变的情况下，如果要求优化算法给出多组超参数，这些超参数可能相同或者十分相似，从而造成优化算法对超参数空间的探索性下降，并且对于相同或者十分相似的超参数进行重复验证会造成验证资源的浪费。
技术实现思路
[0004]本公开提供一种超参数处理方法、装置、电子设备及存储介质，以至少解决相关技术中对超参数空间的探索性下降以及浪费验证资源的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种超参数处理方法，包括：
[0006]获取与历史超参数对应的历史验证结果；所述历史验证结果用于表征与所述历史超参数对应的已训练模型的性能数据；所述与所述历史超参数对应的已训练模型基于所述历史超参数对待训练模型进行训练得到；
[0007]基于所述历史验证结果对未返回验证结果的目标超参数进行验证结果插补，得到所述目标超参数的插补结果；
[0008]基于所述历史验证结果，以及所述目标超参数的插补结果，生成待验证超参数；
[0009]将所述待验证超参数发送至队列；
[0010]从所述队列中获取对所述待验证超参数的验证结果；所述待验证超参数的验证结果是通过分布式集群中的多个验证节点从所述队列中获取所述待验证超参数，对获取的所述待验证超参数进行验证得到的。
[0011]在一示例性实施例中，所述基于所述历史验证结果对目标超参数进行验证结果插补，得到所述目标超参数的插补结果包括：
[0012]对所述历史超参数对应的历史验证结果进行计算，得到验证结果计算值；
[0013]将所述验证结果计算值确定为所述目标超参数的插补结果。
[0014]在一示例性实施例中，所述历史验证结果包括基于全量资源对所述历史已验证超参数进行验证得到的全量资源验证结果，以及基于部分资源对所述历史超参数进行验证得到的部分资源验证结果；
[0015]所述对所述历史超参数对应的历史验证结果进行计算，得到验证结果计算值包括：
[0016]确定所述目标超参数的资源量；所述资源量用于表征对一个超参数进行验证时所基于的资源数量信息；
[0017]当所述资源量为全量资源时，对所述全量资源验证结果进行计算，得到第一计算值；
[0018]当所述资源量为部分资源时，对所述部分资源验证结果进行计算，得到第二计算值；
[0019]将所述第一计算值或所述第二计算值确定为所述验证结果计算值。
[0020]在一示例性实施例中，所述基于所述历史验证结果，以及所述目标超参数的插补结果，生成待验证超参数包括：
[0021]基于所述历史验证结果，以及所述目标超参数的插补结果，对当前集成概率代理模型进行更新，得到更新后的集成概率代理模型；
[0022]基于所述更新后的集成概率代理模型生成所述待验证超参数。
[0023]在一示例性实施例中，所述方法还包括：
[0024]获取初始全量资源代理模型和至少一个初始部分资源代理模型；
[0025]为所述初始全量资源代理模型和所述至少一个初始部分资源代理模型分配权重；其中所述初始全量资源代理模型对应的权重与所述至少一个初始部分资源代理模型对应的权重之和为1；
[0026]基于所述初始全量资源代理模型、所述初始全量资源代理模型的权重、所述至少一个初始部分资源代理模型，以及所述至少一个初始部分资源代理模型的权重，生成所述集成概率代理模型。
[0027]在一示例性实施例中，所述基于所述历史验证结果，以及所述目标超参数的插补结果，对当前集成概率代理模型进行更新，得到更新后的集成概率代理模型包括：
[0028]当所述目标超参数的插补结果中包括与全量资源对应的全量资源插补结果时，采用所述全量资源插补结果对所述当前集成概率代理模型中的当前全量资源代理模型进行更新；
[0029]当所述目标超参数的插补结果中包括与部分资源对应的部分资源插补结果时，采用所述部分资源插补结果对所述当前集成概率代理模型中的当前部分资源代理模型进行更新；
[0030]基于更新后的当前全量资源代理模型，以及更新后的当前部分资源代理模型，得到所述更新后的集成概率代理模型。
[0031]在一示例性实施例中，所述方法还包括：
[0032]选取至少一组超参数组合；所述超参数组合中包括至少两个超参数；
[0033]确定与所述至少一组超参数组合对应的第一验证结果；所述第一验证结果是基于全量资源对所述至少一组超参数组合进行验证得到的结果；
[0034]确定与所述至少一组超参数组合对应的第二验证结果；所述第二验证结果是基于部分资源对所述至少一组超参数组合进行验证得到的结果；
[0035]对所述第一验证结果的偏序关系和所述第二验证结果的偏序关系进行一致性校验；
[0036]基于一致性校验结果调整所述全量资源代理模型和所述至少一个部分资源代理模型的权重。
[0037]在一示例性实施例中，所述方法还包括：
[0038]基于当前全量资源代理模型的权重，以及当前全量资源代理模型对应的资源量，得到第一资源量；
[0039]基于当前部分资源代理模型的权重，以及当前部分资源代理模型对应的资源量，得到第二资源量；
[0040]根据所述第一资源量和所述第二资源量，计算对所述待验证超参数进行验证时所采用的初始资源量。
[0041]根据本公开实施例的第二方面，提供一种超参数处理装置，包括：
[0042]历史验证结果获取单元，被配置为执行获取与历史超参数对应的历史验证结果；所述历史验证结果用于表征与所述历史超参数对应的已训练模型的性能数据；所述与所述历史超参数对应的已训练模型基于所述历史超参数对待训练模型进行训练得到；
[0043]结果插补单元，被配置为执行基于所述历史验证结果对未返回验证结果的目标超参数进行验证结果插补，得到所述目标超参数的插补结果；
[0044]待验证超参数生成单元，被配置为执行基于所述历史验证结果，以及所述目标超参数的插补本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种超参数处理方法，其特征在于，所述方法包括：获取与历史超参数对应的历史验证结果；所述历史验证结果用于表征与所述历史超参数对应的已训练模型的性能数据；所述与所述历史超参数对应的已训练模型基于所述历史超参数对待训练模型进行训练得到；基于所述历史验证结果对未返回验证结果的目标超参数进行验证结果插补，得到所述目标超参数的插补结果；基于所述历史验证结果，以及所述目标超参数的插补结果，生成待验证超参数；将所述待验证超参数发送至队列；从所述队列中获取对所述待验证超参数的验证结果；所述待验证超参数的验证结果是通过分布式集群中的多个验证节点从所述队列中获取所述待验证超参数，对获取的所述待验证超参数进行验证得到的。2.根据权利要求1所述的一种超参数处理方法，其特征在于，所述基于所述历史验证结果对目标超参数进行验证结果插补，得到所述目标超参数的插补结果包括：对所述历史超参数对应的历史验证结果进行计算，得到验证结果计算值；将所述验证结果计算值确定为所述目标超参数的插补结果。3.根据权利要求2所述的一种超参数处理方法，其特征在于，所述历史验证结果包括基于全量资源对所述历史超参数进行验证得到的全量资源验证结果，以及基于部分资源对所述历史超参数进行验证得到的部分资源验证结果；所述对所述历史超参数对应的历史验证结果进行计算，得到验证结果计算值包括：确定所述目标超参数的资源量；所述资源量用于表征对一个超参数进行验证时所基于的资源数量信息；当所述资源量为全量资源时，对所述全量资源验证结果进行计算，得到第一计算值；当所述资源量为部分资源时，对所述部分资源验证结果进行计算，得到第二计算值；将所述第一计算值或所述第二计算值确定为所述验证结果计算值。4.根据权利要求1所述的一种超参数处理方法，其特征在于，所述基于所述历史验证结果，以及所述目标超参数的插补结果，生成待验证超参数包括：基于所述历史验证结果，以及所述目标超参数的插补结果，对当前集成概率代理模型进行更新，得到更新后的集成概率代理模型；基于所述更新后的集成概率代理模型生成所述待验证超参数。5.根据权利要求4所述的一种超参数处理方法，其特征在于，所述方法还包括：获取初始全量资源代理模型和至少一个初始部分资源代理模型；为所述初始全量资源代理模型和所述至少一个初始部分资源代理模型分配权重；其中所述初始全量资源代理模型对应的权重与所述至少一个初始部分资源代理模型对应的权重之...
【专利技术属性】
技术研发人员：崔斌，黎洋，沈彧，姜淮钧，刘霁，姚鹏，李吉祥，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。