System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及时间片轮转的ab实验,特别涉及一种基于时间片轮转的ab实验方法及应用。
技术介绍
1、网约车调度派单时会存在对特定的司机有派单倾斜或订单调度范围更大的调度策略,此时如果只通过传统的a/b试验进行分流,在进行实验效果评估时,会由于试验组a和试验组b间争抢而导致试验组a更优,试验组b更差,最终得到试验组a显著的错误结论。
2、a/b试验往往是建立在一定的统计样本基础之上,流量不足无法有效验证试验效果,对于受司机有派单倾斜或订单调度范围更大等策略影响的实验,对实验结果无法做出有效评估。
3、不适合前端功能、页面展示效果等用户感知明显的场景(用户会明显感知到轮转前后功能/界面变化);
4、试验策略具有时效性(例如红包/优惠券分享试验场景中,被分享者在不同时间打开红包显示的红包金额应该是一致的);
5、用户在触发试验后,进行目标转化具有较长的延迟性(某些特殊场景核心指标转化周期大于时间片大小,则可能无法进行试验效果的准确归因),为此,提出一种基于时间片轮转的ab实验方法及应用。
技术实现思路
1、有鉴于此,本专利技术实施例希望提供一种基于时间片轮转的ab实验方法及应用,以解决或缓解现有技术中存在的技术问题,至少提供一种有益的选择。
2、本专利技术实施例的技术方案是这样实现的:一种基于时间片轮转的ab实验方法,包括以下步骤:
3、s1、创建两个试验组,两个试验组分为试验组a和试验组b;
4、s2、
5、s3、根据当前试验配置的试验策略,解析出的分钟值,判断当前试验用户应该进入试验组a还是试验组b;
6、s4、为了对齐不同日期、不同时间对试验指标的影响,每天试验的首个时间片需要进行策略翻转。
7、在一些实施例中,在所述s2中,时间片轮转时间x范围为5-30分钟。
8、在一些实施例中,试验策略为试验从0点开始生效,那么0分钟-x分钟、2x+1分钟-3x分钟、4x+1分钟-5x分钟、6x+1分钟-7x分钟、8x+1分钟-9x分钟和10x+1分钟-11x分钟时,进入试验组a,x+1分钟-2x分钟、3x+1分钟-4x分钟、5x+1分钟-6x分钟、7x+1分钟-8x分钟、9x+1分钟-10x分钟和11x+1分钟-12x分钟时,进入试验组b,判断当前试验用户的时间段为60分钟。
9、在一些实施例中,策略翻转为试验从0点开始生效,
10、昨日:0分钟-x分钟、2x+1分钟-3x分钟、4x+1分钟-5x分钟、6x+1分钟-7x分钟、8x+1分钟-9x分钟和10x+1分钟-11x分钟时,进入试验组a,x+1分钟-2x分钟、3x+1分钟-4x分钟、5x+1分钟-6x分钟、7x+1分钟-8x分钟、9x+1分钟-10x分钟和11x+1分钟-12x分钟时,进入试验组b;
11、今日:0分钟-x分钟、2x+1分钟-3x分钟、4x+1分钟-5x分钟、6x+1分钟-7x分钟、8x+1分钟-9x分钟和10x+1分钟-11x分钟时,进入试验组b,x+1分钟-2x分钟、3x+1分钟-4x分钟、5x+1分钟-6x分钟、7x+1分钟-8x分钟、9x+1分钟-10x分钟和11x+1分钟-12x分钟时,进入试验组a;
12、策略翻转的时间段为60分钟。
13、在一些实施例中,试验组a表示实验组,试验组b表示对照组。
14、一种基于时间片轮转的ab实验应用,包括:存储器和处理器;
15、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现如上任意一项所述基于时间片轮转的ab实验方法的步骤。
16、本专利技术实施例由于采用以上技术方案,其具有以下优点:
17、一、本专利技术通过通过时间片轮转试验的方式,确保所有参与试验的用户在同一时间、同一空间下保持一致的试验策略,有效解决因司机有派单倾斜或订单调度范围更大等调度策略带来的组间干扰造成用户组间差异的问题。
18、二、本专利技术通过本方法可以将所有试验对象应用于试验策略,有效解决因司机有派单倾斜或订单调度范围更大等调度策略带来的组间干扰造成用户组间差异的问题。
19、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本专利技术进一步的方面、实施方式和特征将会是容易明白的。
本文档来自技高网...【技术保护点】
1.一种基于时间片轮转的AB实验方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于时间片轮转的AB实验方法,其特征在于:在所述S2中,时间片轮转时间X范围为5-30分钟。
3.根据权利要求1所述的基于时间片轮转的AB实验方法,其特征在于:试验策略为试验从0点开始生效,那么0分钟-X分钟、2X+1分钟-3X分钟、4X+1分钟-5X分钟、6X+1分钟-7X分钟、8X+1分钟-9X分钟和10X+1分钟-11X分钟时,进入试验组A,X+1分钟-2X分钟、3X+1分钟-4X分钟、5X+1分钟-6X分钟、7X+1分钟-8X分钟、9X+1分钟-10X分钟和11X+1分钟-12X分钟时,进入试验组B,判断当前试验用户的时间段为60分钟。
4.根据权利要求1所述的基于时间片轮转的AB实验方法,其特征在于:策略翻转为试验从0点开始生效,
5.根据权利要求1所述的基于时间片轮转的AB实验方法,其特征在于:试验组A表示实验组,试验组B表示对照组。
6.一种基于时间片轮转的AB实验应用,其特征在于,包括:存储器和处理器;
【技术特征摘要】
1.一种基于时间片轮转的ab实验方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于时间片轮转的ab实验方法,其特征在于:在所述s2中,时间片轮转时间x范围为5-30分钟。
3.根据权利要求1所述的基于时间片轮转的ab实验方法,其特征在于:试验策略为试验从0点开始生效,那么0分钟-x分钟、2x+1分钟-3x分钟、4x+1分钟-5x分钟、6x+1分钟-7x分钟、8x+1分钟-9x分钟和10x+1分钟-11x分钟时,进入试验组a,x+1分钟-2x分钟、3x...
【专利技术属性】
技术研发人员:于志杰,
申请(专利权)人:北京白龙马云行科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。