超参数确定方法、装置及设备制造方法及图纸

本说明书实施例公开了一种超参数确定方法、装置及设备。方案包括：通过将分类模型的各个超参数的一个取值构成预设数量的数值组合，然后将数值组合中超参数的取值作为分类模型的超参数的取值，获得分类模型的若干评价指标，并根据预设的权重规则来获得相应权重，最后通过建立数值组合与权重的映射关系，并从映射关系中确定出分类模型的最优超参数。

Method, Device and Equipment for Determining Super-parameters

【技术实现步骤摘要】
超参数确定方法、装置及设备
本说明书涉及计算机
，尤其涉及一种超参数确定方法、装置及设备。
技术介绍
分类模型的超参数是在模型学习前，就需要设置的模型外部参数，且超参数无法像模型内部参数那样可通过模型学习后得到，还有超参数不仅仅是一个简单的数值，同时控制着模型训练的行为，还在很大程度上影响着模型的分类性能，因此预设的超参数是否合适，不仅会影响模型的学习性能，还会影响模型的分类效果。目前，经常通过人工手动对超参数进行调优，也就是根据人的经验来选择可能的最优超参数取值，然后将选择的最优超参数作为模型的超参数，通过数据集对模型进行训练得到模型的评价指标，进而通过一遍遍地挑选超参数、训练模型和得到模型的评价指标，最后根据评价指标从这些超参数中确定出模型的最优超参数，这样基于确定出的最优超参数，虽然可能会得到性能较好的模型，但是，由于依靠人的经验，容易出现偏差，很难得到真正最优超参数，且手动调优还费时费力，在大数据应用中也无法同时对模型在应用于多个任务时的超参数进行调优。虽然也有采用自动调优方法，比如网络搜索、随机搜索、贝叶斯优化方法等，但这些方法需要大量算力，以及仍需花费很长时间，这样在大数据应用中，也无法保证在模型应用于多个任务时都能确定出最优超参数。基于此，需要能够确定分类模型最优超参数的方案。
技术实现思路
有鉴于此，本说明书实施例提供了一种超参数确定方法、装置及设备，以确定出分类模型的最优超参数。本说明书实施例采用下述技术方案：本说明书实施例提供一种超参数确定方法，包括：获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；建立所述数值组合与所述权重的映射关系；确定所述分类模型的最优超参数，所述最优超参数为在所述映射关系中，最大的所述权重所对应的所述数值组合中的超参数。本说明书实施例还提供一种超参数确定装置，包括第一获取模块、第二获取模块、计算模块、映射模块和确定模块；所述第一获取模块用于获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；所述第二获取模块用于获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；所述计算模块用于根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；所述映射模块用于建立所述数值组合与所述权重的映射关系；所述确定模块用于确定所述分类模型的最优超参数，所述最优超参数为在所述映射关系中，最大的所述权重所对应的所述数值组合中的超参数。本说明书实施例还提供一种用于确定超参数的电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；建立所述数值组合与所述权重的映射关系；确定所述分类模型的最优超参数，所述最优超参数为在所述映射关系中，最大的所述权重所对应的所述数值组合中的超参数。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：通过将分类模型的各个超参数的一个取值构成预设数量的数值组合，来获得尽可能多的超参数的取值组合；然后将数值组合中超参数的取值作为分类模型的超参数的取值，来获得分类模型在预设数据集上每一所述数值组合对应的若干评价指标，并根据预设的权重规则来获得权重，其中权重融合了多个评价指标，这样权重可有效地表征该数值组合下模型的综合表现，权重规则可根据分类模型在不同任务场景中的分类需要来预设；最后通过建立数值组合与权重的映射关系，可快速地从该映射关系中确定出不同任务中模型的最优超参数，这样可在任务量大的时候，也能保证每个任务中都能确定出最优超参数，提高模型超参数的调优效率。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书实施例提供的一种超参数确定方法的整体思路示意图。图2为本说明书实施例提供的一种超参数确定方法在一任务中确定超参数的示意图。图3为本说明书实施例提供的一种超参数确定方法的流程图。图4为本说明书实施例提供的一种超参数确定方法在一任务中映射关系的热力图。图5为本说明书实施例提供的一种超参数确定装置的结构示意图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。正如前述，不管人工调优还是自动调优，通常采用的都是迭代思想，比如根据超参数的重要程度，对重要和次重要的参数进行迭代优化。具体地，先根据经验确定出超参数的一个较大取值范围，然后在该较大取值范围进行粗粒度的超参数的最优值搜索，再然后将表现较好的取值区域确定为新的取值区域，并在该新的取值区域进行更细粒度的超参数的最优值搜索，这样通过不断迭代，来获取出想要的结果。由于在模型中，各个超参数并非完全独立，这样各个超参数的取值也将影响模型，因而迭代后往往可能得到局部的最优超参数，而很难得到真正最优的超参数，且迭代也费时费力。而本说明书实施例中提供的超参数确定方法，可采用如图1所示的整体思路：先获取出分类模型的每个超参数的取值，然后利用这些取值来构成预设数量的数值组合，比如超参数共n个，这n个超参数的取值可构成m个所述数值组合，其中m、n为自然整数，且每一数值组合包括每个超参数的一个取值，这样就尽可能多的获取到超参数的取值组合，可避免全局最优的超参数在取值时就被漏掉；然后将数值组合中包括的超参数的取值作为模型的超参数的取值，进而获得模型在预设数据集上的若干评价指标，再根据预设的权重规则来获得该数值组合对应的权重，其中权重按权重规则对多个评价指标进行融合，这样权重就可有效地表征该数值组合下模型的综合表现，权重规则可根据模型在不同任务场景中的分类需求来预设；最后通过建立数值组合与权重的映射关系，进而可快速地从该映射关系中确定出任务中模型的最优超参数，提高模型超参数的调优效率，并在大量的任务量中，也能快速、有效地确定出每个任务中模型的最优超参数。具体实施中，在一个任务采用本说明书实施例中提供的超参数确定方法去确定超参数的流程示意可如图2所示，基于大数据处理，可将前述m组数值组合的超参数的取值作为模型的超参数的取值，进而获取出不同所述本文档来自技高网...

【技术保护点】
1.一种超参数确定方法，包括：获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；建立所述数值组合与所述权重的映射关系；确定所述分类模型的最优超参数，所述最优超参数为在所述映射关系中，最大的所述权重所对应的所述数值组合中的超参数。

【技术特征摘要】
1.一种超参数确定方法，包括：获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；建立所述数值组合与所述权重的映射关系；确定所述分类模型的最优超参数，所述最优超参数为在所述映射关系中，最大的所述权重所对应的所述数值组合中的超参数。2.如权利要求1所述的超参数确定方法，获取预设数量的数值组合，包括：在各个所述超参数的取值范围内，随机选取所述每个超参数的一个取值；根据选取的所述每个超参数的取值构成预设数量的所述数值组合。3.如权利要求1所述的超参数确定方法，所述每个超参数采用域空间表示。4.如权利要求1所述的超参数确定方法，在建立所述映射关系后，所述超参数确定方法还包括：采用热力图展示所述映射关系。5.如权利要求1所述的超参数确定方法，当存在多个最大的所述权重时，所述确定所述分类模型的超参数的最优值包括：按预设的选取策略，从多个最大的所述权重所对应的所述数值组合确定一个所述分类模型的超参数的最优值。6.如权利要求1-5中任意一项所述的超参数确定方法，所述若干评价指标包括精确率和召回率；根据预设的权重规则，计算每一所述数值组合对应的权重，包括：按以下公式计算每一所述数值组合对应的权重：其中，β为预设数值，β用于表征召回率的权重是精确率的权重的倍数。7.一种超参数确定装置，包括第一获取模块、第二获取模块、计算模块、映射模块和确定模块；所述第一获取模块用于获取预设数量的数值组合，所述数值组合包括分类模型的每个超参数的一个取值；所述第二获取模块用于获取所述分类模型在预设数据集上每一所述数值组合对应的若干评价指标；所述计算模块用于根据预设的权重规则，计算每一所述数值组合对应的权重，所述权重用于表征在所述分类模型中所述若干评价指标的综合评价；...

【专利技术属性】
技术研发人员：刘向峰，刘颖蓓，赵祎喆，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY