一种面向协作式众包测试的质量控制方法技术

本发明专利技术提出了一种面向协作式众包测试的质量控制方法，并在其基础上实现了面向协作式众包测试的质量控制系统。本发明专利技术的特点在于：1.通过对众包工人的每个操作实时评估反馈，提高众包工人的质量意识，记录众包工人的失信行为。2.通过报告自动评分确定报告的质量等级，为管理者识别有效报告提供有利参考。3.提供报告审核功能，使管理者可便捷查看报告所有信息，并快速准确的审核报告。本发明专利技术的有益效果是：通过设计的多种质量控制方法，提高了众包工人的质量意识，提高了测试任务中有效Bug报告的比率，帮助管理者更快速准确的识别Bug报告和众包工人的质量。告和众包工人的质量。

【技术实现步骤摘要】
一种面向协作式众包测试的质量控制方法


[0001]本专利技术涉及面向协作式众包测试的质量控制方法，以及实现该质量控制方法的质量控制系统，目的在于研究质量控制的相关技术和方法，包括Bug报告质量评估方法、信息增益评估方法、众包工人行为评估与反馈方法、管理者报告审核方法等，实现质量控制系统，保证协作式众包测试收集到高质量的Bug报告。

技术介绍

[0002]协作式众包测试平台旨在集中大众智慧进行软件测试，通过给众包工人提供协作和审核方式，降低众包测试对众包工人的专业要求；同时可通过聚合Bug报告产生高质量测试结果，提高Bug报告质量，减少报告重复率。但是参与任务的众包工人具有独立匿名的特点，导致众包工人中不可避免的出现恶意众包工人。该类工人为了个人利益，随意提交无效Bug报告或者抄袭他人报告，导致Bug报告质量参差不齐，使得管理者难以识别有效报告并整理为可交付的缺陷列表，影响众包平台的声誉。
[0003]随着协作式众包测试模式应用越来越广泛，如何根据协作式众包测试的特点，设计合理的质量控制方法，使管理者可更快速的识别Bug报告以及众包工人的质量，并提升Bug报告数据集的整体质量是平台管理者关注的重点。一款在线的、可视化的、面向协作式众包测试的质量控制系统是平台管理者所期待的。

技术实现思路

[0004]为了实现上述目标，本专利技术提出了一个具备Bug报告有效性检测、Bug报告自动评估和信息增益评估等功能，可帮助管理者识别报告和众包工人质量的方法，并以此为基础实现了质量控制系统。
[0005]本专利技术的技术方案为：一种面向协作式众包测试的质量控制方法，以及以此实现的质量控制系统。其特征是系统对Bug报告质量自动评估，包括单一状报告和树状报告；对子报告信息增益自动评估，包括文本增益、截图增益和协作增益等；对众包工人行为实时评估与反馈，包括报告有效性评估、报告重复性评估、信息增益评估、点赞和点踩行为评估等；为管理者提供审核报告的功能，通过展示报告的详细信息，帮助管理者快速识别Bug报告质量，并以此为依据评定众包工人的具体贡献和能力水平。平台前端基于Angular2框架和Echarts实现；服务端基于Spring Boot框架构建，通过Redis实现数据缓存，数据储存在MongodDB上，通过数据库主从备份提高数据库的容灾能力。前端部署在docker上，使用Nginx对前端请求做负载均衡，服务端可单独或以集群方式部署在docker上，保证了服务端的水平扩展性。
[0006]质量控制系统主要包括实时评估反馈、报告自动评分和报告审核等，以下详细描述。
[0007]1.实时评估反馈设计：众包工人在协作式众测平台可独立提交单一状报告，也可复制修改(Fork)他人报告生成树状报告并提交，因此需要对单一状报告进行有效性和重复
性检测，对树状报告进行信息增益评估。众包工人能以点赞和点踩的方式审核他人报告，系统需要对点赞和点踩的合理性进行评估。在以上评估的基础上，系统对众包工人的每个操作进行实时反馈。若众包工人的操作被评估为合理，则反馈激励众包工人；若众包工人操作不合理，则反馈警告众包工人，要求其提高质量意识，同时记录其失信行为并实时展示给管理者，帮助管理者提早发现并剔除恶意众包工人。
[0008]该模块核心为对众包工人每个操作的评估与检测，以下详细介绍四种评估与检测。
[0009]1.1报告有效性检测：每个Bug报告都包括报告描述、截图、截图标注和测试环境等信息，根据报告基础信息，系统提取形态学、词法、语义、审核和补充指标等，并使用阶跃变换函数确定指标的合理性范围。若指标值处于合理范围，则判定该指标有效，否则判定指标无效。系统统计报告有效指标的数量，若数量大于有效性阈值，则判定该报告有效，否则判定该报告无效。
[0010]1.2报告重复性检测：基于报告所在页面和描述信息计算报告相似度，相似度高的报告即为重复报告。首先，系统依据报告所在页面的标签筛选出同一页面下的报告，然后使用Word2vec计算两个报告文本描述的相似度，大于相似度阈值的两个报告即为重复报告。
[0011]1.3信息增益评估：系统从文本增益、截图增益和协作增益三个角度评估子报告的信息增益。系统通过Word2vec检测父报告和子报告文本描述的差异，找出子报告补充的文本描述作为子报告的文本增益；系统通过Lire提取报告中截图的特征，并计算父报告和子报告中截图的相似度，找出子报告补充的截图作为截图增益；系统自动分析父报告和子报告点赞点踩数目的差异，并提取子报告增加的点赞和减少的点踩数目作为审核增益。
[0012]1.4点赞和点踩评估：众包工人提交每个报告时都将检测有效性并记录到数据库中。众包工人点赞时，若点赞有效报告则行为合理，点赞无效报告则行为失信。同样在点踩时，众包工人点踩无效报告则行为合理，点踩有效报告则行为失信。
[0013]2.报告自动评分设计：为了帮助管理者快速识别Bug报告质量，系统对Bug报告质量进行自动评估，以评分的形式为管理者提供参考，主要包括单一状报告自动评分和树
[0014]状报告自动评分，以下为详细介绍。
[0015]2.1单一状报告自动评分：单一状报告为众包工人独立的贡献，因此应依据质量属性对报告进行公正分析并评分。系统首先选择各个质量指标最优的报告作为标准报告，并根据灰色关联分析计算其他报告与标准报告的关联度向量。同时，系统使用熵权法计算各个质量指标的权重，通过关联度向量和权重计算各个报告与标准报告的总关联度，即为该报告与标准报告的接近程度。关联度越大，则报告的质量越好。最后将关联度标准化为分数。
[0016]2.2树状报告自动评分：由于树状报告是在父报告的基础上Fork而来，因此其贡献归多个众包工人所有，需要根据父报告分数和树状报告信息增益对其进行评分。系统首先提取树状报告的父报告分数，同时计算该报告相对于父报告的信息增益，提取信息增益中的质量指标。以父报告分数作为该树状报告的基础分数，并依据信息增益中的质量指标好坏对基础分数做加减变化，例如点赞数目增多则增加数目，点踩数目增多则减少分数等。经过一系列变化之后得到树状报告的最终分数。
[0017]3.报告审核设计：由于自动评估不能识别报告描述缺陷的真实性，所以系统提供
管理者人工审核报告的功能，主要包括单一状报告审核和树状报告审核，以下为主要内容。
[0018]3.1单一状报告审核：首先展示测试软件特定页面下的所有单一状报告列表，管理者可查看列表中每个报告的详情，包括题目、页面、描述、点赞数、点踩数、截图和自动评分等。管理者根据报告详情复现缺陷并检测其真实性，以评分的形式对报告质量进行审核。
[0019]3.2树状报告审核：首先展示测试软件特定页面下的所有报告树列表，管理者可查看每棵报告树的结构，以Echarts Tree图的形式展示因Fork关系而形成的树状结构。点击树状图上的特定节点可展示该报告的详情，包括题目、页面、描述、点赞数、点踩数、自动评分、截图和增益信息。与单一状报告审核不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向协作式众包测试的质量控制方法，其特征是众包工人在独立填写Bug报告、协作式填写Bug报告或者审核他人Bug报告时，系统实时评估并反馈众包工人的每个操作。对于众包工人的合理操作实时反馈激励，对于失信行为实时记录；同时，系统可对独立提交生成的单一状报告，以及协作提交生成的树状报告进行自动评分；最后，系统提供报告审核功能，通过展示每个报告的详细信息帮助管理者审核报告。2.根据权利要求1中所述的实时评估反馈，其特征在于：1)对于用户提交的每个Bug报告，分析报告基础属性，并提取质量指标，依据质量指标评估每个报告的有效性，并实时反馈给用户；2)对于用户提交的每个Bug报告，系统使用Word2vec模型计算已有报告与提交报告的相似度，若相似度超过阈值，则判定两个报告相似；若系统不存在与用户提交报告相似的报告，则反馈激励；若存在相似报告，则反馈警告，提示用户禁止提交相似报告；3)对于用户协作式提交的子Bug报告，由于子报告是在父报告基础上修改补充得到，所以系统自动评估子报告相对于父报告的信息增益，包括文本增益、截图增益和审核增益等；若子报告存在信息增益，则反馈激励；若不存在，则反馈警告，提示众包工人要在父报告基础上提交存在增益的子报告；4)用户可在系统中以点赞和点踩的形式审核他人报告，若用户点赞系统自动评估为有效的报告，则系统反馈激励，若...

【专利技术属性】
技术研发人员：陈振宇，宋少行，韩鹏飞，房春荣，冯洋，
申请(专利权)人：南京慕测信息科技有限公司，
类型：发明
国别省市：