DEBUG管理的方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供了一种DEBUG管理的方法、装置、电子设备和存储介质，其中，DEBUG管理的方法包括：获取AB测试埋点日志和排序服务埋点日志；解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；查询所述结构化数据，进行排名解释。行排名解释。行排名解释。

【技术实现步骤摘要】
DEBUG管理的方法、装置、电子设备和存储介质


[0001]本专利技术涉及DEBUG领域。

技术介绍

[0002]在线解释与调优平台主要是针对搜索推荐、广告等Feeds流智能化场景排名解释及特征、模型、策略编排的DEBUG而构建。现有技术主要存在以下几方面的问题：
[0003]第一：在搜索推荐等智能化场景中，整个流程经过召回、预测、排序、重排等过程，链路比较长，往往最终输出的列表排序的可解释性是业务比较关注的，但是因为过程中设计到不同服务(召回服务、模型预测服务、策略排序服务、业务重排服务、AB平台服务等)，最终的排序结果的解释会变得非常复杂，需要找到每个服务的日志进行拼接然后把所有的工程服务逻辑再走一遍才能排查出具体原因。
[0004]第二：在算法开发过程中，模型上线前算法希望模拟在线的过程来调试自己的算法是符合预期，并能够通过编辑历史特定的请求(特征)来通过未上线的模型预测最后的排序列表。
[0005]第三：搜索推荐的策略产品往往希望自己能够实时的调整线上策略，来验证自己的改进想法，也希望能够有个地方能够在历史的策略执行快照上能够验证下自己改进的策略对排序的影响(不影响线上)，
[0006]第四：排查该排序问题的人员往往希望通过调整问题点以期解决问题(达到期望的排序)，现有技术方案是无法实现的。

技术实现思路

[0007]下文呈现各种示例性技术方案的概述。在以下概述中可以进行一些简化和省略，其意在突出并介绍各种示例性技术方案的一些方面，但不限制本专利技术的范围。将在后续部分呈现足以允许本领域的普通技术人员产生并使用本专利技术概念的示例性技术方案的详细描述。
[0008]本专利技术的技术方案提供一种DEBUG管理的方法，包括获取AB测试埋点日志和排序服务埋点日志；解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；查询所述结构化数据，进行排名解释。
[0009]可选地，所述方法还包括：将AB测试埋点日志和排序服务埋点日志作为样本，来训练算法模型，并输出模型数据。
[0010]可选地，所述方法还包括：根据结构化数据和模型数据，处理以下至少之一：特征调优、模型调优、策略调优、特征重要度、模型解释。
[0011]可选地，所述排序服务埋点日志包括召回信息、预测信息、排序信息、重排信息。
[0012]可选地，所述AB测试埋点日志包括请求ID、AB信息。
[0013]本专利技术的另一个技术方案提供了一种DEBUG管理的装置，包括：接收模块，被配置为获取AB测试埋点日志和排序服务埋点日志；解析模块，被配置为解析、聚合所述AB测试埋
点日志和排序服务埋点日志，得到结构化数据；处理模块，被配置为查询所述结构化数据，进行排名解释。
[0014]可选地，所述装置，还包括算法模块，被配置将AB测试埋点日志和排序服务埋点日志作为样本，来训练算法模型，并输出模型数据。
[0015]可选地，所述处理模块被配置为，根据所述结构化数据和模型数据，处理以下至少之一：特征调优、模型调优、策略调优、特征重要度、模型解释。
[0016]可选地，所述排序服务埋点日志包括召回信息、预测信息、排序信息、重排信息。
[0017]可选地，所述AB测试埋点日志包括请求ID、AB信息。
[0018]本专利技术的另一个技术方案还提供了一种电子设备，包括：处理器、存储器以及存储在存储器上运行的计算机程序，所述处理器执行计算机程序时实现上述任一个技术方案所述的方法的步骤。
[0019]本专利技术的另一个技术方案还提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现上述任一个技术方案所述的方法的步骤。
[0020]本专利技术的技术方案主要具有以下几个发面的有益效果：
[0021]第一：在搜索推荐等智能化场景中，该方案直接能够把不同服务(召回服务、模型预测服务、策略排序服务、业务重排服务、AB平台服务等)的日志融合在一起，经过实时的解析、过滤、聚合等操作，最终把融合的结构化数据存起来，用于查询，这样就可以把所有的过程串联起来展示。实现一键查询全流程，解决搜索推荐的排名解释困难的问题。
[0022]第二：在算法开发过程中，能够借助历史回放和算法平台模型管理的能力，使算法能够通过历史线上真实的特征来验证自己的模型。也可以让算法开发在离线场景模拟线上进行调优。
[0023]第三：通过基于最终融合的结构化数据的回放，把其中的特征和策略数据剥离出来进行可编辑，各服务通过统一的DEBUG
‑
API协议提供回调能力，从而把编辑后的策略、模型、特征等数据回传到各服务的DEBUG接口，就能够实时渲染排序列表。可以实现让策略产品通过调整特定回放策略来在该回放上验证对比不同策略对排序的影响，让策略产品能够模拟线上环境来调试自己的策略，同时策略调试完成后也能够直接发布上线。
附图说明
[0024]为了更好地理解各种示例性实施例，可以参考附图，在附图中：
[0025]图1示出了实施例提供的DEBUG管理的方法的流程示意图；
[0026]图2示出了实施例提供的全流程的例子的示意图；
[0027]图3示出了实施例提供的DEBUG管理的方法中部分步骤的示意图；
[0028]图4示出了实施例提供的DEBUG管理的方法中部分步骤的示意图；
[0029]图5示出了实施例提供的后台查询页面；
[0030]图6示出了实施例提供的DEBUG页面；
[0031]图7示出了实施例提供的排名解释页面；
[0032]图8示出了实施例提供的DEBUG管理的装置的结构示意图。
[0033]为了便于理解，相同的附图标记已用于指代具有基本上相同或类似结构和/或基本上相同或类似功能的元件。
具体实施方式
[0034]描述和图式示出了本专利技术的原理。因此，将了解，本领域的技术人员将能够设计各种布置，尽管本文中未明确地描述或示出所述布置，但所述布置体现本专利技术的原理且包括在本专利技术的范围内。此外，本文中所引述的所有例子主要旨在明确地用于教学目的，以帮助读者理解本专利技术的原理和由专利技术人提供的用以深化本领域的概念，并且所有例子应视为并不限于此类特定引述的例子和条件。另外，如本文中所使用，除非另有指示(例如，“或另外”或“或在替代方案中”)，否则术语“或”是指非排他性的或(即，和/或)。并且，本文中所描述的各种实施例不一定相互排斥，因为一些实施例可以与一个或多个其它实施例组合以形成新的实施例。
[0035]术语解释：
[0036]排名解释：搜索推荐等智能化场景的排序列表的解释。
[0037]调优：可以通过历史排名的回放日志，进行编辑，并能够通过线上接口直接渲染修改后的排名列表及解释。
[0038]第一个实施例提供了一种DEBUG管理的方法，图1示出了实施例提供的DEBUG管理的方法的流程示意图，所述方法包括：
[0039]S101:获取AB测试埋点日志和排序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种DEBUG管理的方法，其特征在于，包括：获取AB测试埋点日志和排序服务埋点日志；解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；查询所述结构化数据，进行排名解释。2.根据权利要求1所述的DEBUG管理的方法，其特征在于，还包括：所述排序服务埋点日志包括召回信息、预测信息、排序信息、重排信息。3.根据权利要求1所述的DEBUG管理的方法，其特征在于，还包括：所述AB测试埋点日志包括请求ID、AB信息。4.根据权利要求1所述的DEBUG管理的方法，其特征在于，还包括：将AB测试埋点日志和排序服务埋点日志作为样本，来训练算法模型，并输出模型数据。5.根据权利要求4所述的DEBUG管理的方法，其特征在于，还包括：根据结构化数据和模型数据，处理以下至少之一：特征调优、模型调优、策略调优、特征重要度、模型解释。6.一种DEBUG管理的装置，其特征在于，包括：接收模块，被配置为获取AB测试埋点日志和排序服务埋点日志；解析模块，被配置为解析、聚合所述AB测试埋点日志和排序服务埋点日志，得到结构化数据；处理模块，被配置为...

【专利技术属性】
技术研发人员：宋亚恒，石胡，徐璨，尹位华，
申请(专利权)人：上海虎瑾信息技术有限公司，
类型：发明
国别省市：