本发明专利技术公开了一种基于元分析与贝叶斯因子的AB实验计算方法，包括如下步骤。步骤S1：将全体用户分为若干区间，每个区间中都必须包含对照组用户和实验组用户；AB实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。步骤S2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。步骤S3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。本发明专利技术采用了元分析的统计方法，减少了数据泄露的风险。减少了数据泄露的风险。减少了数据泄露的风险。
【技术实现步骤摘要】
一种基于元分析与贝叶斯因子的AB实验计算方法及装置
[0001]本专利技术涉及一种AB实验的改进计算方法。
技术介绍
[0002]AB实验(A/B testing，也称A/B测试)是一种通常涉及两种变形A和B的随机化试验(randomized experiment)。它应用了统计学上的统计假设检验(statistical hypothesis testing)和双样本假设检验(two
‑
sample hypothesis testing)，通过检验用户对两种变形A、B的反应，来判断哪种变形更佳。AB实验例如可用于评估新策略的效果，将用户随机分为两组——对照组(control group)采用现有策略，实验组(experimental group)采用新策略——比较两组结果作为对新策略效果的评估。在生产实践中，常常需要判断新策略是否对某些指标不产生影响。传统的AB实验无法判断新策略是否不产生影响，只能够对“有影响”提供数据支持，无法对“不产生影响”提供数据的支持(会导致循环论证)。
[0003]推断统计(statistical inference，也称推论统计学)是利用数据分析来推断基础概率分布的特性的过程。AB实验通常采用推断统计进行假设检验，不同的推断统计方法直接影响AB实验的判断结果。目前AB实验采用的推断统计方法包括：以用户为分析单元进行相应的推断统计、以时间周期为分析单元进行配对样本t检验(Paired Samples t
‑
test)等。前者在实践上容易出现辛普森悖论(Simpson's paradox)出现误判，且有信息泄露的风险。后者则损失了大量用户信息，实验周期长且实验敏感性低。辛普森悖论是概率和统计中的一种现象，是指趋势出现在几组数据中，但当这些组被合并后趋势消失或反转。在原理上，辛普森悖论经常出现在采样不均衡的情况中。辛普森悖论在灰度发布(Grayscale Release)中经常出现。在生产实践中，软件的新功能通常会以灰度的形式逐渐扩量发布，例如第一天仅对1％的用户发布，第二天5％，第三天10％
……
同样是采样不均衡的情况，便很容易出现辛普森悖论。
[0004]元分析(meta
‑
analysis)是指将多个研究结果整合在一起的统计方法。元分析对大量现有实证文献进行汇总统计，定量地汇总这些文献的实验结果来描述变量间的关系，是一种对分析的结果再分析的分析方法。
[0005]贝叶斯因子(Bayes factor)是两个相互竞争的统计模型由各自证据所代表的比率，用于量化支持一个模型优于另一个模型。贝叶斯因子可被认为是使用积分似然(integrated likelihood)或边缘似然(marginal likelihood)的似然比检验(likelihood
‑
ratio test)的贝叶斯模拟(Bayesian analog)。
技术实现思路
[0006]本专利技术所要解决的技术问题是提出一种针对AB实验的安全、准确、敏感且稳健的计算方法，能够避免出现辛普森悖论，且支持“不产生影响”的结论。
[0007]为解决上述技术问题，本专利技术提出了一种基于元分析与贝叶斯因子的AB实验计算方法，包括如下步骤。步骤S1：将全体用户用随机抽样的方法分为若干区间，每个区间中都
必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；AB实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。步骤S2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。步骤S3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。
[0008]进一步地，所述步骤S1中，还根据实验的指标的数据类型将指标划分为连续变量与比例变量两类；连续变量指通过计算平均值得到的指标；比例变量指某数据占总体的比重。
[0009]进一步地，所述步骤S1中，连续变量的效应量Cohen
’
s d的计算公式为：d的计算公式为：其中，m
实验组
表示该区间内实验组用户的该连续变量指标的平均值，m
对照组
表示该区间内对照组用户的该连续变量指标的平均值，SD表示联合标准差。表示该区间内对照组用户的该连续变量指标的平均值，SD表示联合标准差。其中，n
对照组
表示该区间内对照组用户的数量，SD
对照组
表示对照组的标准差，n
实验组
表示该区间内实验组用户的数量，SD
实验组
表示实验组的标准差。
[0010]进一步地，所述步骤S1中，比例变量的效应量logOR的计算公式为：进一步地，所述步骤S1中，比例变量的效应量logOR的计算公式为：其中，p
实验组
表示该区间内实验组用户与该区间内全体用户相比的该比例变量指标的值，p
对照组
表示该区间内对照组用户与该区间内全体用户相比的该比例变量指标的值。
[0011]进一步地，在所述步骤S2之后，利用计算得到的某个指标的总体的效应量，通过控制第二类错误的发生概率评估AB实验所需要的最低进测人数，从而计算实验的最短周期、实验组与对照组的人数比例；所述第二类错误的发生概率是指实际策略有影响，但是由于抽样误差得到不显著结果时的概率。
[0012]优选地，所述步骤S2中，还通过汇总计算得到总体的置信区间；所述步骤S3中，还通过计算得到新策略对该指标的影响的置信区间。
[0013]进一步地，在步骤S3之后还包括步骤S4。步骤S4：对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子BF10，并根据贝叶斯因子BF10判断实验组与对照组是否无差异。
[0014]优选地，当BF10＜1/3时，判定实验组与对照组无差异的概率是有差异概率的1/3以下，给出实验组与对照组无差异的结论。
[0015]本专利技术还提出了一种基于元分析与贝叶斯因子的AB实验计算装置，包括区间效应量计算单元、总体效应量计算单元、实验组指标结果计算单元。所述区间效应量计算单元用来将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；AB实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。所述总体效应量计算单元用来根据每一区间的用户数量对该区间的某
个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。所述实验组指标结果计算单元用来根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。
[0016]进一步地，所述基于元分析与贝本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于元分析与贝叶斯因子的AB实验计算方法，其特征是，包括如下步骤；步骤S1：将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；AB实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量；步骤S2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量；步骤S3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。2.根据权利要求1所述的基于元分析与贝叶斯因子的AB实验计算方法，其特征是，所述步骤S1中，还根据实验的指标的数据类型将指标划分为连续变量与比例变量两类；连续变量指通过计算平均值得到的指标；比例变量指某数据占总体的比重。3.根据权利要求2所述的基于元分析与贝叶斯因子的AB实验计算方法，其特征是，所述步骤S1中，连续变量的效应量Cohen
’
s d的计算公式为：其中，m
实验组
表示该区间内实验组用户的该连续变量指标的平均值，m
对照组
表示该区间内对照组用户的该连续变量指标的平均值，SD表示联合标准差；其中，n
对照组
表示该区间内对照组用户的数量，SD
对照组
表示对照组的标准差，n
实验组
表示该区间内实验组用户的数量，SD
实验组
表示实验组的标准差。4.根据权利要求2所述的基于元分析与贝叶斯因子的AB实验计算方法，其特征是，所述步骤S1中，比例变量的效应量logOR的计算公式为：其中，p
实验组
表示该区间内实验组用户与该区间内全体用户相比的该比例变量指标的值，p
对照组
表示该区间内对照组用户与该区间内全体用户相比的该比例变量指标的值。5.根据权利要求2所述的基于元分析与贝叶斯因子的AB实验计算方法，其特征是，在所述步骤S2之后，利用计算得到的某个指标的总体的效应量，通过...
【专利技术属性】
技术研发人员：宋星云，尤伟文，赵晓风，
申请(专利权)人：上海生腾数据科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。