System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及ab测试领域,尤其涉及一种api网关、约束实现分流量框架的ab测试系统。
技术介绍
1、ab测试即基于统计学原理, 通过合理流量分配, 高效、准确选取局部指标价值最大化方案的一系列方法论的总和,虽然ab测试的统计基础已经有一个世纪的历史了,但大规模地构建一个正确可靠的a/b测试平台仍然是一个巨大的挑战,不仅要在实验设计环节应对溢出效应和小样本的双重挑战,平衡好实验偏差与方差以确定合适的实验单元、分组方法和分析方法,给出合理的实验设计,而且要在分析环节应对方差计算、p值计算、多重比较、混淆因素、假阴性等多种统计陷阱,因此,要获得高质量的结果需要对实验和统计的理解,这无疑增加了实验门槛,难以达成任何人进行实验都可得出可信结论的目标。
2、随着互联网的快速发展,各种应用系统和服务已经成为现代社会中不可或缺的一部分,为了保证这些应用系统和服务的高可用性、高性能和高并发能力,压力测试已经成为了软件开发和运维过程中不可或缺的一部分,因此迫切的需要一种方法去解决测试效率低、质量不高、覆盖范围不全面、结果不易分析的问题。
3、为提高实验并行度并让同时运行多个互斥的实验,构建了基于约束的分流量框架,以规范和约束不同实验如何共享和使用流量,通过流量调度,将流量高效地分配到不同的环境中,并充分地利用现有资源进行测试,同时支持大规模的业务场景,从而提高测试效率,降低测试成本,保证高并发情况下的稳定,满足不同的需求。
技术实现思路
1、本专利技术的目的在于,针对上述的技
2、一种api网关、约束实现分流量框架的ab测试系统,基于冲突检测约束的分流策略所建立,包括api网关、统一监控平台、qtp自动化测试平台、otp容器平台、ab测试平台;
3、所述api网关为ab测试平台的入口,实现流量管理分配、实验参数配置、流量染色、安全认证、版本控制、灰度发布功能;
4、所述统一监控平台为 ab 测试提供数据支持和监控手段;
5、所述qtp自动化测试平台实现请求实验配置、模拟用户行为、展示实验信息功能;
6、所述otp容器平台包括api网关、统一监控平台、计算模块、业务服务窗口;
7、所述ab测试平台通过流量分配,选取局部指标价值最大化方案。
8、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述计算模块是实现显著性分析、同期群分析、指标分析、样本量分析功能;
9、所述业务服务窗口创建流水线并执行,将服务接入统一监控平台。
10、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述分流策略为:
11、同一个策略不同的对照组流量互斥;
12、不同的策略间的不同实验,若策略间不存在共同参数,允许复用流量。
13、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述ab测试平台包括测试设计与管理模块、测试执行与监控模块、数据分析与报告模块、a/b/n测试支持模块、api发布模块、服务编排模块;
14、所述测试设计与管理模块实现创建、编辑、管理、删除ab测试项目,实验分组功能;
15、所述测试执行与监控模块自动执行ab测试,实时监控测试结果;
16、所述测试结果包括转化率、点击率、访问量;
17、所述数据分析与报告模块对 ab 测试结果进行测试对比、趋势分析、漏斗分析,生成测试报告和数据报表;
18、a/b/n测试支持模块将流量按照策略分配到不同的版本中,收集用户数据,对比差异;
19、所述api发布模块将api发布到网关,通过api网关访问mock业务;
20、所述服务编排模块将多个发布到网关api接口组合成一个复合api,通过api网关访问mock编排后的api。
21、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述api发布模块的发布包括实时监控接口、测试数据接口、业务接口;
22、所述api发布模块具体功能为通过对api策略的配置实现流量染色、流量控制。
23、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述服务编排模块具体功能为允许业务方进行可视化的流程定义,将功能单一的业务流程接口整合成一个具有完整业务逻辑的api;
24、所述流程定义包括编排服务、接口的链路关系。
25、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述a/b/n测试支持模块包括预设置子模块、检测和报告子模块
26、所述预设置子模块创建好实验,并设置a/b/n变体,设置相关变量、目标;
27、所述检测和包括子模块检测手机实验数据,分析实验结果,生成实验报告,比较实验组和控制组的表现,得出分析报告;
28、所述手机实验数据包括用户的访问行为、页面的点击率、转化率。
29、进一步的,一种api网关、约束实现分流量框架的ab测试系统,所述分析报告包括累计使用者数量、每分钟浏览量、流量来源、按时段划分的使用者、热门活动网页、地域分布;
30、所述累计使用者数量反映网站或应用的用户规模,评估网站或应用的受欢迎程度和市场占有率;
31、所述每分钟浏览量反映网站或应用的访问量和用户活跃度,评估网站或应用的流量质量和用户粘性;
32、所述流量来源反映网站或应用的流量来源和用户访问路径,评估网站或应用的推广效果和用户获取渠道;
33、所述按时段划分的使用者反映网站或应用的用户活跃时段,评估用户在不同时间段的访问习惯和行为特征;
34、所述热门活动网页网站热门活动页面的访问量和用户行为情况,了解用户对网站活动的关注度和参与度;
35、所述地域分布反映网站用户地域分布情况,了解网站的用户地域分布和市场覆盖情况;
36、所述地域分布包括省份、城市。
37、本专利技术的有益效果:
38、(1)约束分流:通过网关配置参数,通过权重、条件路由方式实现快速分流,精确地将不同比例的流量导向 ab 测试的不同版本,支持多变量测试,将用户或流量分配到不同的组合实验组中,以便同时评估多个变量的效果;
39、(2)高实验质量:打包输出实验设计,降低实验门槛,确保实验质量,避免参与者在参与测试时受到其他参与者的影响;
40、(3)流量模拟:确定实验的流量分配和样本大小,评估测试可能带来的风险,避免出现流量偏差而导致的偏差,帮助使用者找到最佳的流量分配方案,以提高实验的效果和效率;
41、(4)灵活分流:灵活的设置分流策略,将流量更精确地分配到不同的实验中,减少流量浪费,增加试验的灵活性。
本文档来自技高网...【技术保护点】
1.一种API网关、约束实现分流量框架的AB测试系统,其特征在于,基于冲突检测约束的分流策略所建立,包括API网关、统一监控平台、QTP自动化测试平台、OTP容器平台、AB测试平台;
2.根据权利要求1所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述计算模块是实现显著性分析、同期群分析、指标分析、样本量分析功能;
3.根据权利要求1所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述分流策略为:
4.根据权利要求1所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述AB测试平台包括测试设计与管理模块、测试执行与监控模块、数据分析与报告模块、A/B/N测试支持模块、API发布模块、服务编排模块;
5.根据权利要求4所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述API发布模块的发布包括实时监控接口、测试数据接口、业务接口;
6.根据权利要求4所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述服务编排模块具体功能为允
7.根据权利要求4所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述A/B/N测试支持模块包括预设置子模块、检测和报告子模块
8.根据权利要求7所述的一种API网关、约束实现分流量框架的AB测试系统,其特征在于,所述分析报告包括累计使用者数量、每分钟浏览量、流量来源、按时段划分的使用者、热门活动网页、地域分布;
...【技术特征摘要】
1.一种api网关、约束实现分流量框架的ab测试系统,其特征在于,基于冲突检测约束的分流策略所建立,包括api网关、统一监控平台、qtp自动化测试平台、otp容器平台、ab测试平台;
2.根据权利要求1所述的一种api网关、约束实现分流量框架的ab测试系统,其特征在于,所述计算模块是实现显著性分析、同期群分析、指标分析、样本量分析功能;
3.根据权利要求1所述的一种api网关、约束实现分流量框架的ab测试系统,其特征在于,所述分流策略为:
4.根据权利要求1所述的一种api网关、约束实现分流量框架的ab测试系统,其特征在于,所述ab测试平台包括测试设计与管理模块、测试执行与监控模块、数据分析与报告模块、a/b/n测试支持模块、api发布模块、服务编排模块;
5.根据...
【专利技术属性】
技术研发人员:邱实,管春元,孙大臣,郑福臣,蒋磊,刘天宇,牛建平,
申请(专利权)人:启明信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。