【技术实现步骤摘要】
本申请实施例涉及云服务领域，并且更为具体地，涉及一种测试大数据任务的方法和大数据测试管理平台。
技术介绍
1、大数据(big data)指一种规模大到在获取、存储、管理等方面大大超出了传统数据库软件工具能力范围的数据集合，因此处理大数据分析等大数据任务需要与云计算技术结合。云服务厂商提供的大数据平台为用户提供了大数据的云计算能力。基于大数据平台，用户能够开发涉及大数据任务的软件产品或服务。
2、但是，由于大数据的存储、管理以及大数据任务的执行都需要依赖大数据平台，导致用户只能在开发应用程序或服务对应的大数据平台上手动测试大数据任务执行是否正确，降低了测试的效率与准确性。因此，如何提高测试大数据任务的效率与准确性成为亟需解决的技术问题。
技术实现思路
1、本申请实施例提供一种测试大数据任务的方法和大数据测试管理平台，可以自动化调度大数据平台执行大数据任务，从而提高测试大数据任务的效率与准确性。
2、第一方面，提供一种测试大数据任务的方法，该方法应用于大数据测试管理平台，大数据测试管理平台用于管理执行大数据任务的至少一个大数据平台，该方法包括：大数据测试管理平台接收用户上传的测试数据集，测试数据集包括大数据任务的输入数据和预期的输出数据；大数据测试管理平台根据测试用例，自动调度至少一个大数据平台执行大数据任务；大数据测试管理平台根据用户设置的检查规则和大数据任务的执行结果，确定测试结果。
3、根据本申请提供的技术方案，通过提供大数据测试管理平台，将测
4、结合第一方面，在第一方面的某些实现方式中，接收用户上传的测试数据集，包括接收用户上传的表格格式的第一测试数据集，该方法还包括：根据第一测试数据集，生成分布式存储的第二测试数据集。
5、根据上述技术方案，通过允许用户上传表格格式的测试数据，使得用户能够更方便地批量处理测试数据(例如，批量复制测试数据、批量替换变量等)，从而丰富了测试数据，能够覆盖更多的测试场景。
6、结合第一方面，在第一方面的某些实现方式中，根据第一测试数据集，生成分布式存储的第二测试数据集，包括：根据第一数据集，生成数据流；根据数据流，生成海杜普分布式文件系统(hadoop distributed file system，hdfs)格式的第二测试数据集；将第二测试数据集加载到hive数据仓库工具。
7、根据上述技术方案，通过为用户提供表格格式数据自动预置为大数据平台能够处理的hive数据仓数据的功能，使得用户能够批量上传测试数据，避免了向分布式存储数据库中手动逐条插入测试数据，提高了测试效率。
8、结合第一方面，在第一方面的某些实现方式中，根据测试用例，自动调度至少一个大数据平台执行大数据任务，包括：在用户设置的测试时间，根据测试用例，自动调度至少一个大数据平台执行大数据任务。
9、根据上述技术方案，通过为用户提供定时触发测试用例的功能，使得大数据测试管理平台可以在大数据软件产品或服务的开发或运维阶段持续地对大数据计算任务进行看护，从而能够及时发现问题，避免产生重大错误。
10、结合第一方面，在第一方面的某些实现方式中，根据测试用例，自动调度至少一个大数据平台执行大数据任务，包括：在测试用例更新后，根据更新后的测试用例，自动调度至少一个大数据平台执行大数据任务。
11、根据上述技术方案，通过为用户提供在更新测试用例后自动触发测试用例的功能，使得大数据测试管理平台可以在大数据流水线更新完成时执行测试用例，从而可以对整个流程进行完整全面的测试，以确保大数据软件产品或服务正常上线。
12、结合第一方面，在第一方面的某些实现方式中，该方法还包括：向用户发送预置的至少一个检查规则选项；接收用户对于至少一个检查规则选项中的全部或部分检查规则选项的选择指示；根据全部或部分检查规则选项，确定用户设置的检查规则。
13、根据上述技术方案，能够提供一些常用的检查规则可供用户选择，使用户能够更方便地编写测试用例，从而提升用户的使用体验。
14、结合第一方面，在第一方面的某些实现方式中，该方法还包括：接收用户上传的检查规则文件；根据检查规则文件，确定用户设置的检查规则。
15、根据上述技术方案，能够为用户提供自主编写测试用例检查规则的能力，满足用户多样化的测试需求。
16、结合第一方面，在第一方面的某些实现方式中，根据用户设置的检查规则和大数据任务的执行结果，确定测试结果，包括：获取结果数据集，结果数据集包括大数据平台执行大数据任务产生的数据；根据检查规则，从结果数据集中检索待验证数据；将待验证数据与测试数据集中预期的输出数据进行对比，以确定测试结果。
17、根据上述技术方案，能够对大量的结果数据进行筛选从而实现快速的结果检查，也能够针对需要重点关注数据，为其配置特定的检查规则，执行更细致的检查，从而确保检查结果的准确性。
18、第二方面，提供一种大数据测试管理平台，该大数据测试管理平台用于管理执行大数据任务的至少一个大数据平台，该大数据测试管理平台包括：数据预置模块，用于接收用户上传的测试数据集，测试数据集包括大数据任务的输入数据和预期的输出数据；任务触发模块，用于根据测试用例，自动调度至少一个大数据平台执行大数据任务；结果检查模块，用于根据用户设置的检查规则和大数据任务的执行结果，确定测试结果。
19、结合第二方面，在第二方面的某些实现方式中，数据预置模块具体用于：接收用户上传的表格格式的第一测试数据集；根据第一测试数据集，生成分布式存储的第二测试数据集。
20、结合第二方面，在第二方面的某些实现方式中，数据预置模块具体用于：根据第一数据集，生成数据流；根据数据流，生成海杜普分布式文件系统(hadoop distributed filesystem，hdfs)格式的第二测试数据集；将第二测试数据集加载到hive数据仓库工具。
21、结合第二方面，在第二方面的某些实现方式中，任务触发模块具体用于：在用户设置的测试时间，根据测试用例，自动调度至少一个大数据平台执行大数据任务。
22、结合第二方面，在第二方面的某些实现方式中，任务触发模块具体用于：在测试用例更新后，根据更新后的测试用例，自动调度至少一个大数据平台执行大数据任务。
23、结合第二方面，在第二方面的某些实现方式中，该大数据测试管理平台还包括规则确定模块，用于：向用户发送预置的至少一个检查规则选项；接收用户对于至少一个检查规则选项中的全部或部分检查规则选项的选择指示；根据全部或部分检查规则选项，确定用户本文档来自技高网...
【技术保护点】
1.一种测试大数据任务的方法，其特征在于，所述方法应用于大数据测试管理平台，所述大数据测试管理平台用于管理执行所述大数据任务的至少一个大数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述接收用户上传的测试数据集，包括：接收所述用户上传的表格格式的第一测试数据集，
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一测试数据集，生成分布式存储的第二测试数据集，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据测试用例，自动调度所述至少一个大数据平台执行所述大数据任务，包括：
5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据测试用例，自动调度所述至少一个大数据平台执行所述大数据任务，包括：
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述根据所述用户设置的检查规则和所述大数据任务
9.一种大数据测试管理平台，其特征在于，所述大数据测试管理平台用于管理执行所述大数据任务的至少一个大数据平台，所述大数据测试管理平台包括：
10.根据权利要求9所述的大数据测试管理平台，其特征在于，所述数据预置模块，用于：
11.根据权利要求10所述的大数据测试管理平台，其特征在于，所述数据预置模块，用于：
12.根据权利要求9至11中任意一项所述的大数据测试管理平台，其特征在于，所述任务触发模块，用于：
13.根据权利要求9至11中任意一项所述的大数据测试管理平台，其特征在于，所述任务触发模块，用于：
14.根据权利要求9至13中任意一项所述的大数据测试管理平台，其特征在于，所述大数据测试管理平台还包括规则确定模块，用于：
15.根据权利要求9至14中任意一项所述的大数据测试管理平台，其特征在于，所述大数据测试管理平台还包括规则确定模块，用于：
16.根据权利要求9至15中任意一项所述的大数据测试管理平台，其特征在于，所述结果检查模块，用于：
17.一种计算设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的指令，以使得所述计算设备执行如权利要求1至8中任一项所述的方法。
18.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
19.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机指令由计算设备集群执行时，使得所述计算设备集群执行如权利要求1至8中任一项所述的方法。
...【技术特征摘要】
1.一种测试大数据任务的方法，其特征在于，所述方法应用于大数据测试管理平台，所述大数据测试管理平台用于管理执行所述大数据任务的至少一个大数据平台，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述接收用户上传的测试数据集，包括：接收所述用户上传的表格格式的第一测试数据集，
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一测试数据集，生成分布式存储的第二测试数据集，包括：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据测试用例，自动调度所述至少一个大数据平台执行所述大数据任务，包括：
5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述根据测试用例，自动调度所述至少一个大数据平台执行所述大数据任务，包括：
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1至5中任意一项所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述根据所述用户设置的检查规则和所述大数据任务的执行结果，确定测试结果，包括：
9.一种大数据测试管理平台，其特征在于，所述大数据测试管理平台用于管理执行所述大数据任务的至少一个大数据平台，所述大数据测试管理平台包括：
10.根据权利要求9...
【专利技术属性】
技术研发人员：蒋涛，徐寿梅，杜志刚，薛晔，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。