基于算法筛选的模型配置方法、装置、设备、存储介质制造方法及图纸

本发明专利技术属于人工智能领域，提供了一种基于算法筛选的模型配置方法、装置、设备、存储介质，方法包括：获取历史数据和历史参考结果，将历史数据输入至目标模型；根据历史数据离线运行多个候选算法得到对应的离线运行结果，根据离线运行结果确定可用算法；获取评估样本组和参考评估结果，根据预设策略为每个样本流量分配所对应的可用算法，运行可用算法得到所对应的测试评估结果；根据测试评估结果确定为目标算法并配置目标模型。根据本实施例的技术方案，能够通过历史数据对候选算法进行筛选，减少通过样本流量进行筛选的算法数量，在样本流量受限的情况下能够实现目标算法的筛选，提高了模型配置的效率和准确性。了模型配置的效率和准确性。了模型配置的效率和准确性。

【技术实现步骤摘要】
基于算法筛选的模型配置方法、装置、设备、存储介质


[0001]本专利技术属于人工智能领域，尤其涉及一种基于算法筛选的模型配置方法、装置、设备、存储介质。

技术介绍

[0002]随着计算机技术的发展，人工智能模型在各行各业得到了广泛的应用，能够有效提高工作效率和用户体验。人工智能模型的功能通常比较复杂，因此需要在开发阶段对可选的算法进行测试，根据不同算法得到的效果进行评估，从而选取出最能满足需求的算法。AB测试是常见的测试方法，通过设置实验组和对照组，并在不同的分组应用不同的算法，根据得到的评估结果确定目标算法。但是通过AB测试进行算法筛选通常需要较多的样本流量，在样本流量受限的情况下很难实现算法筛选，影响模型开发的效率。

技术实现思路

[0003]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0004]本专利技术实施例提供了一种基于算法筛选的模型配置方法、装置、设备、存储介质，能够根据较少的样本流量完成模型配置，提高模型配置的效率和准确性。
[0005]第一方面，本专利技术实施例提供了一种基于算法筛选的模型配置方法，包括：
[0006]获取历史数据和历史参考结果，将所述历史数据输入至目标模型；
[0007]获取多个候选算法，将每个所述候选算法应用至所述目标模型进行离线运行，根据所述历史数据得到每个所述候选算法所对应的离线运行结果；
[0008]确定所述历史参考结果和每个所述离线运行结果的第一相似度，将所述第一相似度大于第一预设阈值的所述离线运行结果确定为可用离线结果；
[0009]将所述可用离线结果所对应的所述候选算法确定为可用算法；
[0010]获取评估样本组和参考评估结果，将所述评估样本组输入至所述目标模型，所述评估样本组包括多个样本流量；
[0011]根据预设策略为每个所述样本流量分配所对应的所述可用算法，运行所述可用算法得到所对应的测试评估结果；
[0012]将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，根据所述目标算法配置所述目标模型。
[0013]在一些实施例中，所述预设策略为I nter l eavi ng模型，且每个所述样本流量的权重相同。
[0014]在一些实施例中，所述将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，包括：
[0015]获取第二预设阈值；
[0016]确定所述参考评估结果和每个所述测试评估结果的第二相似度；
[0017]将最高的所述第二相似度所对应的所述测试评估结果确定为目标评估结果；
[0018]将所述目标评估结果所对应的所述可用算法确定为所述目标算法。
[0019]在一些实施例中，在所述根据所述目标算法配置所述目标模型之后，所述方法还包括：
[0020]确定所述目标模型的多个功能模块；
[0021]根据所述目标模型确定多个参数组，不同的所述参数组之间至少有一个所述功能模块的参数值不同；
[0022]根据多个所述参数组对所述目标模型进行AB测试。
[0023]在一些实施例中，所述根据多个所述参数组对所述目标模型进行AB测试，所述方法还包括：
[0024]获取所述AB测试的测试指标和参考流量；
[0025]将所述参考流量确定为所述AB测试的测试流量；
[0026]对所述测试指标的进行调整以改变所述测试流量，将得到的最小测试流量确定为目标测试流量；
[0027]根据所述目标测试流量和所述多个所述参数组对所述目标模型进行AB测试。
[0028]在一些实施例中，所述测试指标包括如下至少之一：
[0029]CTR；
[0030]置信水平；
[0031]统计功效；
[0032]指标计算策略；
[0033]导流类型；
[0034]指标的标准差。
[0035]在一些实施例中，所述根据所述目标测试流量和所述多个所述参数组对所述目标模型进行AB测试，包括：
[0036]确定所述AB测试的实验组和对照组；
[0037]将所述目标测试流量在每个所述参数组中触发的测试结果添加到所述实验组，或者，将所述目标测试流量在每个所述参数组中未触发的测试结果添加到所述对照组；
[0038]根据所述实验组和所述对照组所记载的所述测试结果确定所述AB测试的测试结果。
[0039]第二方面，本专利技术实施例提供了一种基于算法筛选的模型配置装置，包括：
[0040]历史数据获取单元，用于获取历史数据和历史参考结果，将所述历史数据输入至目标模型；
[0041]候选算法获取单元，用于获取多个候选算法，将每个所述候选算法应用至所述目标模型进行离线运行，根据所述历史数据得到每个所述候选算法所对应的离线运行结果；
[0042]离线运行单元，用于确定所述历史参考结果和每个所述离线运行结果的第一相似度，将所述第一相似度大于第一预设阈值的所述离线运行结果确定为可用离线结果；
[0043]可用算法确定单元，用于将所述可用离线结果所对应的所述候选算法确定为可用算法；
[0044]评估样本获取单元，用于获取评估样本组和参考评估结果，将所述评估样本组输
入至所述目标模型，所述评估样本组包括多个样本流量；
[0045]测试单元，用于根据预设策略为每个所述样本流量分配所对应的所述可用算法，运行所述可用算法得到所对应的测试评估结果；
[0046]模型配置单元，用于将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，根据所述目标算法配置所述目标模型。
[0047]第三方面，本专利技术实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于算法筛选的模型配置方法。
[0048]第四方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于执行如第一方面所述的基于算法筛选的模型配置方法。
[0049]本专利技术实施例包括：获取历史数据和历史参考结果，将所述历史数据输入至目标模型；获取多个候选算法，将每个所述候选算法应用至所述目标模型进行离线运行，根据所述历史数据得到每个所述候选算法所对应的离线运行结果；确定所述历史参考结果和每个所述离线运行结果的第一相似度，将所述第一相似度大于第一预设阈值的所述离线运行结果确定为可用离线结果；将所述可用离线结果所对应的所述候选算法确定为可用算法；获取评估样本组和参考评估结果，将所述评估样本组输入至所述目标模型，所述评估样本组包括多个样本流量；根据预设策略为每个所述样本流量分配所对应的所述可用算法，运行所述可用算法得到所对应的测试评估结果；将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，根据所述目标算法配置所述目标模型。根据本实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于算法筛选的模型配置方法，其特征在于，包括：获取历史数据和历史参考结果，将所述历史数据输入至目标模型；获取多个候选算法，将每个所述候选算法应用至所述目标模型进行离线运行，根据所述历史数据得到每个所述候选算法所对应的离线运行结果；确定所述历史参考结果和每个所述离线运行结果的第一相似度，将所述第一相似度大于第一预设阈值的所述离线运行结果确定为可用离线结果；将所述可用离线结果所对应的所述候选算法确定为可用算法；获取评估样本组和参考评估结果，将所述评估样本组输入至所述目标模型，所述评估样本组包括多个样本流量；根据预设策略为每个所述样本流量分配所对应的所述可用算法，运行所述可用算法得到所对应的测试评估结果；将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，根据所述目标算法配置所述目标模型。2.根据权利要求1所述的基于算法筛选的模型配置方法，其特征在于：所述预设策略为Interleaving模型，且每个所述样本流量的权重相同。3.根据权利要求1所述的基于算法筛选的模型配置方法，其特征在于，所述将与所述参考评估结果最接近的所述测试评估结果所对应的所述可用算法确定为目标算法，包括：获取第二预设阈值；确定所述参考评估结果和每个所述测试评估结果的第二相似度；将最高的所述第二相似度所对应的所述测试评估结果确定为目标评估结果；将所述目标评估结果所对应的所述可用算法确定为所述目标算法。4.根据权利要求1所述的基于算法筛选的模型配置方法，其特征在于，在所述根据所述目标算法配置所述目标模型之后，所述方法还包括：确定所述目标模型的多个功能模块；根据所述目标模型确定多个参数组，不同的所述参数组之间至少有一个所述功能模块的参数值不同；根据多个所述参数组对所述目标模型进行AB测试。5.根据权利要求4所述的基于算法筛选的模型配置方法，其特征在于，所述根据多个所述参数组对所述目标模型进行AB测试，所述方法还包括：获取所述AB测试的测试指标和参考流量；将所述参考流量确定为所述AB测试的测试流量；对所述测试指标的进行调整以改变所述测试流量，将得到的最小测试流量确定为目标测试流量；根据所述目标测试流量和...

【专利技术属性】
技术研发人员：王志超，王铭，金竹青，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：