一种业务策略评估方法、装置及电子设备制造方法及图纸

本申请提供一种业务策略的评估方法、装置及一种电子设备，可包括：获取所述A/B测试模型计算得到所述第一用户组和所述第二用户组针对预设指标的指标值；基于所述第一用户组和所述第二用户组针对预设指标的指标值，计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平；基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，以基于所述评估信息调整所述A/B测试模型，并通过调整后的A/B测试模型进行业务策略的评估。使用本申请提供的方法，可有效提高A/B测试模型的业务策略评估的准确性。

A Business Strategy Evaluation Method, Device and Electronic Equipment

This application provides an evaluation method, device and an electronic device for business strategy, which may include: obtaining the A/B test model to calculate the index values of the first user group and the second user group for the preset index; calculating the first user group and the second user group for the preset index values based on the first user group and the second user group for the preset index values, and calculating the first user group and the second user group for the preset index values. The difference value of the preset index and the reliability level of the difference value are calculated. Based on the calculated difference value of the preset index and the reliability level of the difference value, the evaluation information of the A/B test model is output to adjust the A/B test model based on the evaluation information, and the business strategy is evaluated by the adjusted A/B test model. The method provided in this application can effectively improve the accuracy of business strategy evaluation of A/B test model.

【技术实现步骤摘要】
一种业务策略评估方法、装置及电子设备
本申请涉及计算机通信领域，尤其涉及一种A/B测试技术。
技术介绍
A/B测试，是一种新兴的产品优化方法。简单来说，A/B测试可理解为：为同一个目标制定两个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下代表各部分用户的使用情况指标，来判断哪个方案更为合理。然而，A/B测试结果准确性往往受到很多因素的影响，如A/B测试模型等，因此提高A/B测试结果的准确性，就成为业界持续探讨的问题。
技术实现思路
有鉴于此，本申请提供一种业务策略评估方法及装置，用以提高A/B测试模型对业务策略评估的准确性。具体地，本申请是通过如下技术方案实现的：根据本申请的第一方面，提供一种业务策略评估方法，采用A/B测试模型进行所述业务策略评估，所述A/B测试模型用于在第一用户组对应的第一业务策略和第二用户组对应的第二业务策略中确定最优的业务策略，所述方法包括：用于获取所述A/B测试模型计算得到所述第一用户组和所述第二用户组针对预设指标的指标值；其中，所述A/B测试模型通过对采集到的所述第一用户组和所述第二用户组的用户行为数据样本进行分析而得到所述指标值；基于所述第一用户组和所述第二用户组针对预设指标的指标值，计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平；基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，以基于所述评估信息调整所述A/B测试模型，并通过调整后的A/B测试模型进行业务策略的评估。可选的，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的置信区间；所述计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平，包括：计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布，计算所述指标差值在预设置信度下的置信区间。可选的，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的假设机率P值和预设的显著性水平的比较结果；所述计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平，包括：计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布和所述指标差值，计算验证预设的原假设是否成立的P值；比较所述P值和所述预设的显著性水平，基于比较结果，获取所述可靠度水平。可选的，所述计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值，包括：计算第一指标差值，所述第一指标差值通过计算A/A测试模型的第一用户组和第二用户组针对所述预设指标的指标差值得到；所述A/A测试模型的第一用户组和第二用户组对应的业务策略均为所述A/B测试模型的第二用户组对应的业务策略；计算第二指标差值，所述第二指标差值为所述A/B测试模型中的所述第一用户组和所述第二用户组的针对所述预设指标的原始指标差值；使用所述第一指标差值，调整所述第二指标差值，得到所述指标差值。可选的，各预设指标对应有权重值；所述基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，包括：基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，分别计算各预设指标对所述A/B测试模型的初始评分；基于计算得到的各预设指标对应的初始评分，以及各预设指标分别对应的权重值，计算所述A/B测试模型的总评分，作为所述A/B测试模型的评估信息；输出所述A/B测试模型的评估信息。可选的，所述预设指标为在预设维度下的网约车订单指标。可选的，所述预设指标包括多维度指标。根据本申请提供的第二方面，提供一种业务策略评估装置，采用A/B测试模型进行所述业务策略评估，所述A/B测试模型用于在第一用户组对应的第一业务策略和第二用户组对应的第二业务策略中确定最优的业务策略，所述装置包括：获取单元，用于获取所述A/B测试模型计算得到所述第一用户组和所述第二用户组针对预设指标的指标值；其中，所述A/B测试模型通过对采集到的所述第一用户组和所述第二用户组的用户行为数据样本进行分析而得到所述指标值；计算单元，用于基于所述第一用户组和所述第二用户组针对预设指标的指标值，计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平；输出单元，用于基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，以基于所述评估信息调整所述A/B测试模型，并通过调整后的A/B测试模型进行业务策略的评估。可选的，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的置信区间；所述计算单元，具体用于计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布，计算所述指标差值在预设置信度下的置信区间。可选的，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的假设机率P值和预设的显著性水平的比较结果；所述计算单元，具体用于计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布，并基于所述指标差值，计算验证预设的原假设是否成立的P值；比较所述P值和所述预设的显著性水平，基于比较结果，获取所述可靠度水平。可选的，在计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值时，所述计算单元，进一步用于计算第一指标差值；所述第一指标差值通过计算A/A测试模型的第一用户组和第二用户组针对所述预设指标的指标差值得到；所述A/A测试模型的第一用户组和第二用户组对应的业务策略均为所述A/B测试模型的第二用户组对应的业务策略；计算第二指标差值；所述第二指标差值为所述A/B测试模型中的所述第一用户组和所述第二用户组的针对所述预设指标的原始指标差值；使用所述第一指标差值，调整所述第二指标差值，得到所述指标差值。可选的，各预设指标对应有权重值；所述输出单元具体用于基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，分别计算各预设指标对所述A/B测试模型的初始评分；基于计算得到的各预设指标对应的初始评分，以及各预设指标分别对应的权重值，计算所述A/B测试模型的总评分，作为所述A/B测试模型的评估信息；输出所述A/B测试模型的评估信息。可选的，所述预设指标为预设维度下的网约车订单指标。可选的，所述预设指标包括多维度指标。根据本申请的第三方面，提供一种电子设备，所述电子设备包括处理器和机器可读存储介质，所述处理器调用所述机器可读存储介质上储存的与业务策略评估逻辑对应的机器可执行指令，所述处理器被促使执行权利要求1至权利要求7所述的方法。根据本申请的第四方面，提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，在被处理器调用和执行时，本文档来自技高网...

【技术保护点】
1.一种业务策略评估方法，其特征在于，采用A/B测试模型进行所述业务策略评估，所述A/B测试模型用于在第一用户组对应的第一业务策略和第二用户组对应的第二业务策略中确定最优的业务策略，所述方法包括：获取所述A/B测试模型计算得到所述第一用户组和所述第二用户组针对预设指标的指标值；其中，所述A/B测试模型通过对采集到的所述第一用户组和所述第二用户组的用户行为数据样本进行分析而得到所述指标值；基于所述第一用户组和所述第二用户组针对所述预设指标的指标值，计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平；基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，以基于所述评估信息调整所述A/B测试模型，并通过调整后的A/B测试模型进行业务策略的评估。

【技术特征摘要】
1.一种业务策略评估方法，其特征在于，采用A/B测试模型进行所述业务策略评估，所述A/B测试模型用于在第一用户组对应的第一业务策略和第二用户组对应的第二业务策略中确定最优的业务策略，所述方法包括：获取所述A/B测试模型计算得到所述第一用户组和所述第二用户组针对预设指标的指标值；其中，所述A/B测试模型通过对采集到的所述第一用户组和所述第二用户组的用户行为数据样本进行分析而得到所述指标值；基于所述第一用户组和所述第二用户组针对所述预设指标的指标值，计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平；基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，以基于所述评估信息调整所述A/B测试模型，并通过调整后的A/B测试模型进行业务策略的评估。2.根据权利要求1所述的方法，其特征在于，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的置信区间；所述计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平，包括：计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布，计算所述指标差值在预设置信度下的置信区间。3.根据权利要求1所述的方法，其特征在于，所述第一用户组和所述第二用户组针对所述预设指标的差异值包括所述第一用户组和所述第二用户组针对所述预设指标的指标差值；该差异值的可靠度水平包括所述指标差值的假设机率P值和预设的显著性水平的比较结果；所述计算所述第一用户组和所述第二用户组针对所述预设指标的差异值和该差异值的可靠度水平，包括：计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值；根据所述预设指标对应的数学分布和所述指标差值，计算验证预设的原假设是否成立的P值；比较所述P值和所述预设的显著性水平，基于比较结果，获取所述可靠度水平。4.根据权利要求2或3所述的方法，其特征在于，所述计算所述第一用户组和所述第二用户组针对所述预设指标的指标差值，包括：计算第一指标差值，所述第一指标差值通过计算A/A测试模型的第一用户组和第二用户组针对所述预设指标的指标差值得到；所述A/A测试模型的第一用户组和第二用户组对应的业务策略均为所述A/B测试模型的第二用户组对应的业务策略；计算第二指标差值，所述第二指标差值为所述A/B测试模型中的所述第一用户组和所述第二用户组的针对所述预设指标的原始指标差值；使用所述第一指标差值，调整所述第二指标差值，得到所述指标差值。5.根据权利要求1所述的方法，其特征在于，各预设指标对应有权重值；所述基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，输出所述A/B测试模型的评估信息，包括：基于计算出的各所述预设指标的差异值以及该差异值的可靠度水平，分别计算各预设指标对所述A/B测试模型的初始评分；基于计算得到的各预设指标对应的初始评分，以及各预设指标分别对应的权重值，计算所述A/B测试模型的总评分，作为所述A/B测试模型的评估信息；输出所述A/B测试模型的评估信息。6.根据权利要求1所述的方法，其特征在于，所述预设指标为预设维度下的网约车订单指标。7.根据权利要求1所述的方法，其特征在于，所述预设指标包括多维度指标。8.一种业务策略评估装置，其特征在于，采用A/B测试模型进行所述业务策略评估，所述A/B测试模型用于在第一用户组对应...

【专利技术属性】
技术研发人员：李思旭，胡磊，李佩，杨帆，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京,11