一种在线AB测试的实现方法技术

本发明专利技术提供一种在线AB测试的实现方法，包括以下步骤：步骤1，AB测试平台在线配置试验模式；步骤2，移动端APP获取试验配置信息；步骤3，在移动端APP根据从本地内存加载的试验配置信息，实现对移动端APP对应功能的更新优化后，对移动端APP用户行为特征进行监控，当监控到与本次试验配置信息相关的特定试验用户行为特征时，记录试验配置信息和特定试验用户行为特征的对应关系，生成特定试验用户行为日志，并将特定试验用户行为日志上传给AB测试平台。本发明专利技术可有效提高AB测试性能和效率，保证用户试验环境稳定性，避免了用户试验组突变影响终端体验。体验。体验。

【技术实现步骤摘要】
一种在线AB测试的实现方法


[0001]本专利技术属于供电配置优化
，具体涉及一种在线AB测试的实现方法。

技术介绍

[0002]AB测试是：Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，从而分析、评估出最好版本。AB测试作为数据驱动业务的重要工具手段，可以帮助企业更好的实施数据驱动策略。
[0003]现有的AB测试方法，主要存在以下问题：移动端APP与AB测试平台之间通过公网连接，由于移动端网络环境复杂，导致网络延迟高，因此，移动端APP常常由于网络问题，获取AB测试平台下发的待测试的试验配置信息失败或延迟，移动端用户参与的试验无法顺利进行。另外，移动端用户在进行试验时，常出现APP界面跳变问题，例如，移动端APP当前正在运行默认版本的功能界面，突然接收到AB测试平台下发的更新版本，则移动端APP立即运行更新版本，从用户使用角度看，出现功能界面突变情况，从而既影响用户使用移动端APP的体验，也会干扰试验正常进行，影响试验报告结果的可靠性。

技术实现思路

[0004]针对现有技术存在的缺陷，本专利技术提供一种在线AB测试的实现方法，可有效解决上述问题。
[0005]本专利技术采用的技术方案如下：
[0006]本专利技术提供一种在线AB测试的实现方法，包括以下步骤：
[0007]步骤1，AB测试平台在线配置试验模式，包括：r/>[0008]步骤1.1，确定需要进行AB测试的n个试验；
[0009]步骤1.2，根据n个试验之间的相互关系，将n个试验划分到不同的试验层中，从而形成试验层级结构；
[0010]步骤1.3，对每个试验，表示为试验test
i
，圈定可进行试验test
i
的用户属性以及用户总流量；设试验test
i
需验证的优化方案包括m个，分别为：优化方案P1，P2,...,P
m
；根据优化方案P1，P2,...,P
m
的特征，对用户总流量进行比例划分，设定分配给优化方案P1，P2,...,P
m
的流量比例分别为：Q1，Q2,...,Q
m
；
[0011]步骤2，移动端APP获取试验配置信息，包括：
[0012]步骤2.1，移动端APP嵌入sdk功能模块；
[0013]步骤2.2，每当移动端APP被启动时，同时启动sdk功能模块；
[0014]步骤2.3，sdk功能模块清空本地内存，然后读取本地文件系统，判断本地文件系统是否存在上次保存的试验配置信息，如果不存在，则执行步骤2.4；如果存在，则执行步骤2.5；
[0015]步骤2.4，sdk功能模块初始化流程：
[0016]步骤2.4.1，sdk功能模块预先绑定AB测试平台请求接口，sdk功能模块通过公网，向AB测试平台发送远程获取试验配置信息的请求消息；其中，所述远程获取试验配置信息的请求消息中，携带用户属性和用户ID；
[0017]步骤2.4.2，AB测试平台接收到所述远程获取试验配置信息的请求消息后，对所述用户属性进行分析，得到与所述用户属性对应且符合流量分配比例的优化方案，假设为优化方案P
j
，则将优化方案P
j
的试验变量信息打包为试验配置信息B
j
，并通过公网，将试验配置信息B
j
是及移动端APP是否立即运行试验配置信息B
j
的指令下发给所述移动端APP；同时，向AB测试平台的本地缓存的分配映射表中，存入用户ID和试验配置信息B
j
的对应关系；其中，当试验配置信息B
j
下线不再需要进行AB测试时，从分配映射表中，删除用户ID和对应的试验配置信息B
j
的对应关系；并且，AB测试平台的本地缓存存储的用户ID和试验配置信息B
j
的对应关系，具有生命周期，当达到生命周期时，用户ID和试验配置信息B
j
的对应关系被删除；
[0018]另外，AB测试平台还存储有试验状态表；所述试验状态表用于存储每个试验的试验上线时间和试验下线时间；通过对试验上线时间和试验下线时间进行分析，得到试验当前状态，包括：试验运行中状态和试验下线状态；
[0019]步骤2.4.3，所述移动端APP将接收到的试验配置信息B
j
写入本地文件系统；然后，如果AB测试平台下发指令为立即运行试验配置信息B
j
，则将本地文件系统中的试验配置信息B
j
立即加载到本地内存；再执行步骤2.4.3；如果AB测试平台下发指令为下次启动时运行试验配置信息B
j
，则所述移动端APP在下次启动时，再将本地文件系统中的试验配置信息B
j
立即加载到本地内存；再执行步骤2.4.3；
[0020]步骤2.4.4，所述移动端APP从本地内存加载试验配置信息B
j
，实现对移动端APP对应功能的更新优化；然后执行步骤3；
[0021]步骤2.5，试验配置信息是否更新流程，包括：
[0022]步骤2.5.1，将本地文件系统中的试验配置信息表示为：试验配置信息BT；sdk功能模块将本地文件系统中的试验配置信息BT加载到本地内存；
[0023]步骤2.5.2，所述移动端APP从本地内存加载试验配置信息BT，实现对移动端APP对应功能的更新优化；
[0024]同时，所述移动端APP调用sdk功能模块，sdk功能模块通过公网，向AB测试平台发送试验配置信息BT是否更新的请求消息；其中，所述试验配置信息是否更新的请求消息中，携带用户属性、用户ID和试验配置信息BT；
[0025]AB测试平台接收到试验配置信息是否更新的请求消息后，查找本地缓存的分配映射表，如果本地缓存存在试验配置信息BT，则进一步判断试验配置信息BT对应的试验，当前是否为试验运行中状态，如果是，表明试验配置信息BT未下线，当前仍需要进行AB测试，则执行步骤2.5.3；如果不是，表明试验配置信息BT对应的试验，为试验下线状态，则执行步骤2.5.4；
[0026]如果本地缓存不存在试验配置信息BT，则区分两种情况：查找试验状态表，如果试验当前为运行中状态，则重新根据用户属性和用户ID，得到试验配置信息，此时得到的试验配置信息必然与试验配置信息BT相同，然后执行步骤2.5.3；如果试验当前为下线状态，则执行步骤2.5.4；
[0027]步骤2.5.3，AB测试平台根据用户属性、用户ID和试验配置信息BT，确定是否需要同时向该用户分配属于不同试验层的试验配置信息；
[0028]如果需要，则新生成的试验配置信息表示为：试验配置信息B
new
；然后，将试验配置信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在线AB测试的实现方法，其特征在于，包括以下步骤：步骤1，AB测试平台在线配置试验模式，包括：步骤1.1，确定需要进行AB测试的n个试验；步骤1.2，根据n个试验之间的相互关系，将n个试验划分到不同的试验层中，从而形成试验层级结构；步骤1.3，对每个试验，表示为试验test
i
，圈定可进行试验test
i
的用户属性以及用户总流量；设试验test
i
需验证的优化方案包括m个，分别为：优化方案P1，P2,...,P
m
；根据优化方案P1，P2,...,P
m
的特征，对用户总流量进行比例划分，设定分配给优化方案P1，P2,...,P
m
的流量比例分别为：Q1，Q2,...,Q
m
；步骤2，移动端APP获取试验配置信息，包括：步骤2.1，移动端APP嵌入sdk功能模块；步骤2.2，每当移动端APP被启动时，同时启动sdk功能模块；步骤2.3，sdk功能模块清空本地内存，然后读取本地文件系统，判断本地文件系统是否存在上次保存的试验配置信息，如果不存在，则执行步骤2.4；如果存在，则执行步骤2.5；步骤2.4，sdk功能模块初始化流程：步骤2.4.1，sdk功能模块预先绑定AB测试平台请求接口，sdk功能模块通过公网，向AB测试平台发送远程获取试验配置信息的请求消息；其中，所述远程获取试验配置信息的请求消息中，携带用户属性和用户ID；步骤2.4.2，AB测试平台接收到所述远程获取试验配置信息的请求消息后，对所述用户属性进行分析，得到与所述用户属性对应且符合流量分配比例的优化方案，假设为优化方案P
j
，则将优化方案P
j
的试验变量信息打包为试验配置信息B
j
，并通过公网，将试验配置信息B
j
是及移动端APP是否立即运行试验配置信息B
j
的指令下发给所述移动端APP；同时，向AB测试平台的本地缓存的分配映射表中，存入用户ID和试验配置信息B
j
的对应关系；其中，当试验配置信息B
j
下线不再需要进行AB测试时，从分配映射表中，删除用户ID和对应的试验配置信息B
j
的对应关系；并且，AB测试平台的本地缓存存储的用户ID和试验配置信息B
j
的对应关系，具有生命周期，当达到生命周期时，用户ID和试验配置信息B
j
的对应关系被删除；另外，AB测试平台还存储有试验状态表；所述试验状态表用于存储每个试验的试验上线时间和试验下线时间；通过对试验上线时间和试验下线时间进行分析，得到试验当前状态，包括：试验运行中状态和试验下线状态；步骤2.4.3，所述移动端APP将接收到的试验配置信息B
j
写入本地文件系统；然后，如果AB测试平台下发指令为立即运行试验配置信息B
j
，则将本地文件系统中的试验配置信息B
j
立即加载到本地内存；再执行步骤2.4.3；如果AB测试平台下发指令为下次启动时运行试验配置信息B
j
，则所述移动端APP在下次启动时，再将本地文件系统中的试验配置信息B
j
立即加载到本地内存；再执行步骤2.4.3；步骤2.4.4，所述移动端APP从本地内存加载试验配置信息B
j
，实现对移动端APP对应功能的更新优化；然后执行步骤3；步骤2.5，试验配置信息是否更新流程，包括：步骤2.5.1，...

【专利技术属性】
技术研发人员：李兴平，赖晓航，林兴财，陈盛发，
申请(专利权)人：四三九九网络股份有限公司，
类型：发明
国别省市：