一种应用于对照测试系统中的对照数据测试方法及装置制造方法及图纸

本申请公开了一种应用于对照测试系统中的对照数据测试方法及装置，通过对于对照测试中各模块的交互实现了多种检验模型的配置，以及选取对应的测试数据输入相关模型以得到测试结果，该多模型的配置过程可以很好应用于多种场景中，以满足不同场景下的检验需求，提高了检验过程的扩展性及灵活性。具体包括：获取第一检验模型的配置信息，若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，通过所述目标接口接入所述对比信息，以使得所述对照测试系统中的指标计算模块生成对应的计算线程；根据所述计算线程对所述第二检验模型进行计算。型进行计算。型进行计算。

【技术实现步骤摘要】
一种应用于对照测试系统中的对照数据测试方法及装置


[0001]本申请涉及计算机
，尤其涉及一种应用于对照测试系统中的对照数据测试方法及装置。

技术介绍

[0002]对于终端应用程序(application，APP)产品设计和运营的时候，实验人员会有很多直觉想法，猜想某些设计和策略可能会更好，更符合用户需求。但是如何验证猜想，需要用数据来加以证明。一般可利用AB测试来发现不同策略在实验组人群中指标的差异以及衡量这些差异是否有统计上的显著性。例如，在微信的AB测试系统里有上千个指标，如何方便地对这些指标运用适合的统计检验方法成为一个难题。
[0003]通常在AB测试系统中，都配置了固定的检验模型，以为相关指标提供检验计算，当有其他指标需要添加并进行运算时，一般需要相关人员手动分析并添加相关检验模型。
[0004]由于在AB测试中，为保证测试的准确性，一般采用多指标多维度的分析，即需要为相关指标配置多种检验模型以满足测试需求，采用每个指标都手动分析并添加相关检验模型的方式会产生大量的配置工作，大大影响测试的效率。

技术实现思路

[0005]有鉴于此，本申请第一方面提供一种应用于对照测试系统中的对照数据测试方法，可应用于AB测试的系统或程序过程中，具体包括：获取第一检验模型的配置信息，所述第一检验模型为当前对对照测试数据进行对照测试所用的检验模型，所述第一检验模型通过目标接口接入所述对照测试系统；
[0006]若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，所述对比信息基于所述对照测试数据的区别或计算类型的区别确定，所述计算类型包括实时流计算或分布式计算；
[0007]通过所述目标接口接入所述对比信息，所述对比信息用于生成与所述第二检验模型对应的计算线程；
[0008]通过所述计算线程运行所述第二检验模型，以得到所述对照测试数据的的检验结果。
[0009]优选的，在本申请一些可能的实现方式中，所述获取第一检验模型的配置信息，包括：
[0010]确定所述第一检验模型对应的检验指标；
[0011]根据所述检验指标获取第一测试数据，所述第一测试数据用于指示所述检验指标在所述对照测试数据对应的数据；
[0012]根据所述第一测试数据确定第一计算类型，以得到所述第一检验模型的配置信息。
[0013]优选的，在本申请一些可能的实现方式中，所述根据所述第一检验模型的配置信
息与所述第二检验模型的配置信息生成对比信息，包括：
[0014]获取所述第二检验模型的第二测试数据，所述第二测试数据用于指示运行所述第二检验模型所需的数据；
[0015]根据所述第二测试数据确定第二计算类型，并结合所述第一计算类型生成对比信息。
[0016]优选的，在本申请一些可能的实现方式中，所述通过所述目标接口接入所述对比信息，以使得所述对照测试系统中的指标计算模块生成对应的计算线程，包括：
[0017]若所述对比信息指示所述第一计算类型与所述第二计算类型不同，则在所述指标计算模块中增加与所述第二计算类型对应的计算线程，所述与所述第二计算类型对应的计算线程通过所述目标接口接入所述对照测试系统。
[0018]优选的，在本申请一些可能的实现方式中，所述方法还包括：
[0019]若所述对比信息指示所述第一计算类型与所述第二计算类型相同，则通过所述第一计算类型对应的计算线程计算所述第二计算类型。
[0020]优选的，在本申请一些可能的实现方式中，其特征在于，所述根据所述计算线程对所述第二检验模型进行计算，包括：
[0021]根据所述第二检验模型的计算类型确定测试时间段；
[0022]在所述测试时间段内根据所述计算线程对所述第二检验模型进行计算。
[0023]优选的，在本申请一些可能的实现方式中，所述第一检验模型和所述第二检验模型包括：固定样本的正态模型、固定样本的对数正态模型、卡方检验模型、MWU非参检验模型、Diff-in-Diff模型、非独立同分布模型、序列化检验模型、Interleaving模型、多臂老虎机模型或贝叶斯优化模型。
[0024]本申请第二方面提供另一种对照测试的装置，包括：获取单元，用于获取第一检验模型的配置信息，所述第一检验模型为当前对对照测试数据进行对照测试所用的检验模型，所述第一检验模型通过目标接口接入所述对照测试系统；
[0025]对比单元，用于若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，所述对比信息基于所述对照测试数据的区别或计算类型的区别确定，所述计算类型包括实时流计算或分布式计算；
[0026]接入单元，用于通过所述目标接口接入所述对比信息，所述对比信息用于生成与所述第二检验模型对应的计算线程；
[0027]计算单元，用于通过所述计算线程运行所述第二检验模型，以得到所述对照测试数据的的检验结果。
[0028]优选的，在本申请一些可能的实现方式中，所述获取单元，具体用于确定所述第一检验模型对应的检验指标；
[0029]所述获取单元，具体用于根据所述检验指标获取第一测试数据，所述第一测试数据用于指示所述检验指标在所述对照测试数据对应的数据；
[0030]所述获取单元，具体用于根据所述第一测试数据确定第一计算类型，以得到所述第一检验模型的配置信息。
[0031]优选的，在本申请一些可能的实现方式中，所述对比单元，具体用于获取所述第二检验模型的第二测试数据，所述第二测试数据用于指示运行所述第二检验模型所需的数
据；
[0032]所述对比单元，具体用于根据所述第二测试数据确定第二计算类型，并结合所述第一计算类型生成对比信息。
[0033]优选的，在本申请一些可能的实现方式中，所述接入单元，具体用于若所述对比信息指示所述第一计算类型与所述第二计算类型不同，则在所述指标计算模块中增加与所述第二计算类型对应的计算线程，所述与所述第二计算类型对应的计算线程通过所述目标接口接入所述对照测试系统。
[0034]优选的，在本申请一些可能的实现方式中，所述接入单元，还用于若所述对比信息指示所述第一计算类型与所述第二计算类型相同，则通过所述第一计算类型对应的计算线程计算所述第二计算类型。
[0035]优选的，在本申请一些可能的实现方式中，其特征在于，所述计算单元，具体用于根据所述第二检验模型的计算类型确定测试时间段；
[0036]所述计算单元，具体用于在所述测试时间段内根据所述计算线程对所述第二检验模型进行计算。
[0037]优选的，在本申请一些可能的实现方式中，所述第一检验模型和所述第二检验模型包括：固定样本的正态模型、固定样本的对数正态模型、卡方检验模型、MWU非参检验模型、Diff-in-Diff模型、非独立同分布模型、序列化检验模型、Interleaving模型、多臂老虎机模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于对照测试系统中的对照数据测试方法，其特征在于，包括：获取第一检验模型的配置信息，所述第一检验模型为当前对对照测试数据进行对照测试所用的检验模型，所述第一检验模型通过目标接口接入所述对照测试系统；若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，所述对比信息基于所述对照测试数据的区别或计算类型的区别确定，所述计算类型包括实时流计算或分布式计算；通过所述目标接口接入所述对比信息，所述对比信息用于生成与所述第二检验模型对应的计算线程；通过所述计算线程运行所述第二检验模型，以得到所述对照测试数据的的检验结果。2.根据权利要求1所述的方法，其特征在于，所述获取第一检验模型的配置信息，包括：确定所述第一检验模型对应的检验指标；根据所述检验指标获取第一测试数据，所述第一测试数据用于指示所述检验指标在所述对照测试数据对应的数据；根据所述第一测试数据确定第一计算类型，以得到所述第一检验模型的配置信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，包括：获取所述第二检验模型的第二测试数据，所述第二测试数据用于指示运行所述第二检验模型所需的数据；根据所述第二测试数据确定第二计算类型，并结合所述第一计算类型生成对比信息。4.根据权利要求3所述的方法，其特征在于，所述通过所述目标接口接入所述对比信息，以使得所述对照测试系统中的指标计算模块生成对应的计算线程，包括：若所述对比信息指示所述第一计算类型与所述第二计算类型不同，则在所述指标计算模块中增加与所述第二计算类型对应的计算线程，所述与所述第二计算类型对应的计算线程通过所述目标接口接入所述对照测试系统。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述对比信息指示所述第一计算类型与所述第二计算类型相...

【专利技术属性】
技术研发人员：王勇，文杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：