一种模型优化方法、装置、系统及设备制造方法及图纸

本申请公开了一种模型优化方法、装置、系统及设备，包括：接收客户端发送的业务场景类型和入参信息；根据业务场景类型从预设模型库中确定目标运算模型，利用入参信息中的输入特征对目标运算模型进行配置；基于ABTest实验框架利用配置后的目标运算模型进行相应的运算处理以得到与业务场景类型对应的模型运算结果，将模型运算结果返回至客户端；获取客户端返回的能表征对模型运算结果的认可程度的效果数据，并基于效果数据从目标运算模型中确定出最优模型。本申请基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定最优模型，缩短优化周期，提高优化效率。提高优化效率。提高优化效率。

【技术实现步骤摘要】
一种模型优化方法、装置、系统及设备


[0001]本专利技术涉及计算机
，特别涉及一种模型优化方法、装置、系统及设备。

技术介绍

[0002]通常与大数据相关的业务，都或多或少存在使用计算模型的情况，根据用户使用等效果数据进行训练，不断优化模型，提升模型计算的精准度。但模型的优化训练，需要根据收集的效果数据，也即模型计算的结果，进行前后对比，选择使用效果更好的模型，或者根据现有效果在对模型的算法进行调整的基础上进一步测试。这种离线训练的方式，需要每次更新模型后，重新发送到线上运行一段时间后收集效果数据，才能再次进行对比优化。这种优化方式效率低周期长，而且会和业务发布耦合，造成很大的项目风险。另外线上效果查询都要去查询数据库报表，进行数据对比十分麻烦不够直观。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种模型优化方法、装置、设备及存储介质，基于ABTest实验框架对指定业务场景类型下的多个离线运算模型进行测试，通过线上查看并分析客户端返回的效果数据确定出最优模型，缩短了模型优化周期，提高了优化效率，且无需关心模型的具体内容，只需根据业务场景调用模型接口传参即可，减少了模型升级部署成本，加快了模型更新迭代频率。其具体方案如下：
[0004]本申请的第一方面提供了一种模型优化方法，应用于服务端，包括：
[0005]接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
[0006]根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
[0007]基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
[0008]获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
[0009]可选的，所述利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，包括：
[0010]利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。
[0011]可选的，所述基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端，包括：
[0012]对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；
[0013]启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。
[0014]可选的，所述基于所述效果数据从所述目标运算模型中确定出最优模型，包括：
[0015]利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型。
[0016]本申请的第一方面还提供了一种模型优化方法，应用于客户端，包括：
[0017]根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务端根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
[0018]接收服务端返回的所述模型运算结果，并获取能表征对所述模型运算结果的认可程度的效果数据；
[0019]将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
[0020]可选的，所述获取能表征对所述模型运算结果的认可程度的效果数据，包括：
[0021]通过前端打点方式和/或后端打点方式获取能表征对所述模型运算结果的认可程度的效果数据。
[0022]本申请的第二方面提供了一种模型优化装置，应用于服务端，包括：
[0023]接收模块，用于接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；
[0024]配置模块，用于根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；
[0025]实验模块，用于基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；
[0026]确定模块，用于获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。
[0027]本申请的第二方面还提供了一种模型优化装置，应用于客户端，包括：
[0028]第一发送模块，用于根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务根据所述业务场景类型从预设模型库中确定目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；
[0029]获取模块，用于接收服务端返回的所述模型运算结果，并获取能表征对所述模型
运算结果的认可程度的效果数据；
[0030]第二发送模块，用于将所述效果数据发送至所述服务端，以便所述服务端基于所述效果数据从所述目标运算模型中确定出最优模型。
[0031]本申请的第三方面提供了一种模型优化系统，包括前文所述的应用于服务端的模型优化装置和应用于客户端的模型优化装置。
[0032]本申请的第四方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述模型优化方法。
[0033]本申请的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述模型优化方法。
[0034]本申请中，首先接收客户端发送的业务场景类型和入参信息，其中，所述入参信息包含所述目标运算模型的输入特征。接着根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型优化方法，其特征在于，应用于服务端，包括：接收客户端发送的业务场景类型和入参信息；其中，所述入参信息包含所述目标运算模型的输入特征；根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置；其中，所述目标运算模型为所述业务场景类型下的多个离线运算模型；基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；获取所述客户端返回的能表征对所述模型运算结果的认可程度的效果数据，并基于所述效果数据从所述目标运算模型中确定出最优模型。2.根据权利要求1所述的模型优化方法，其特征在于，所述利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，包括：利用所述入参信息中的所述输入特征对所述目标运算模型对应的模型文件和特征列表进行相应的配置。3.根据权利要求1所述的模型优化方法，其特征在于，所述基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端，包括：对所述目标运算模型中的每个所述离线运算模型配置ABTest实验；启动配置好的所述ABTest实验以使所述目标运算模型中的所述离线运算模型在对应的所述ABTest实验下进行相应的运算处理，得到每个所述离线运算模型的模型运算结果，并将所述模型运算结果返回至所述客户端。4.根据权利要求1所述的模型优化方法，其特征在于，所述基于所述效果数据从所述目标运算模型中确定出最优模型，包括：利用所述效果数据生成实验报表，并根据所述实验报表从所述目标运算模型中确定出最优模型。5.一种模型优化方法，其特征在于，应用于客户端，包括：根据目标需求向服务端发送业务场景类型和入参信息，其中，所述入参信息包含目标运算模型的输入特征，以便所述服务端根据所述业务场景类型从预设模型库中确定所述目标运算模型，并利用所述入参信息中的所述输入特征对所述目标运算模型进行配置，以及基于ABTest实验框架利用配置后的所述目标运算模型进行相应的运算处理以得到与所述业务场景类型对应的模型运算结果，并将所述模型运算结果返回至所述客户端；所述目标运算模型为所述业务场景类型下的多个离线运算模型；接收服务端返回的所述模型运算结果，并获取能表征对所述模型运...

【专利技术属性】
技术研发人员：吴限亮，
申请(专利权)人：上海销氪信息科技有限公司，
类型：发明
国别省市：