【技术实现步骤摘要】
本申请涉及大数据测试，尤其涉及一种大数据处理平台的数据测试方法及装置。
技术介绍
1、数据测试，指指数据质量的测试，主要关注数据的完整性、准确性、一致性、及时性、可用性这五个维度。如果是业务系统中的数据测试，数据量不是非常大的情况下，测试人员是可以通过一些常用的测试手段从五个维度来验证数据。但随着企业数据量的发展，数据量越来越大，再加上大数据加工的技术也一直在进步，数据处理的框架越发复杂，场景更加多样，数据处理链路越来越长。
2、基于以上变化，大数据加工过程中的数据测试难度大幅提升，对测试人员的技术能力提出了更高的要求，常规的数据测试方法，难以全面完整对整个数据处理链路实现测试。
3、因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。
技术实现思路
1、有鉴于此，本申请实施例提供了一种大数据处理平台的数据测试方法及装置，以解决现有技术中数据测试难度较高、无法完整高效测试数据处理链路的问题。
2、本申请实施例的第一方面，提供了一种大数据处理平台的数据测试方法，包括：
3、基于大数据处理平台的架构，确定架构中各数据层以及相邻的每两个数据层之间的处理程序；
4、确定每个处理程序中的一个或多个关键节点，在每个关键节点插入中间接口，中间接口用于在处理程序对前一个数据层的数据进行处理并存入下一个数据层的过程中，输出关键节点的中间数据；
5、基于测试数据对每个处理程序进行测试，得到各关键节点输出的中
6、对每个处理程序的所有中间数据和测试结果数据进行校验分析，以确认处理程序是否存在故障并对故障定位。
7、本申请实施例的第二方面，提供了一种大数据处理平台的数据测试装置，包括：
8、程序确定模块，用于基于大数据处理平台的架构，确定架构中各数据层以及相邻的每两个数据层之间的处理程序；
9、节点确定模块，用于确定每个处理程序中的一个或多个关键节点，在每个关键节点插入中间接口，中间接口用于在处理程序对前一个数据层的数据进行处理并存入下一个数据层的过程中，输出关键节点的中间数据；
10、测试模块，用于基于测试数据对每个处理程序进行测试，得到各关键节点输出的中间数据和处理程序输出的测试结果数据；
11、分析模块，用于对每个处理程序的所有中间数据和测试结果数据进行校验分析，以确认处理程序是否存在故障并对故障定位。
12、本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
13、本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
14、本申请实施例与现有技术相比存在的有益效果至少包括：本申请实施例通过将大数据处理平台的数据处理过程以数据层为依据分为多个处理程序、在每个处理程序中设置关键节点、输出该关键节点的中间数据的中间接口，从而在对处理程序进行测试时可以得到过程中的中间数据和最终的测试结果数据，进而分别对中间数据和测试结果数据进行校验分析和故障定位，该过程能够高效全面地实现对大数据处理平台的数据测试，降低了数据测试的难度，对技术人员的能力门槛较低，测试效率提高。
本文档来自技高网...【技术保护点】
1.一种大数据处理平台的数据测试方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并对所述故障定位的过程，包括：
3.根据权利要求1所述的方法，其特征在于，基于测试数据对每个所述处理程序进行测试包括：
4.根据权利要求3所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并对所述故障定位的过程，包括：
5.根据权利要求3所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并对所述故障定位的过程，包括：
6.根据权利要求1所述的方法，其特征在于，基于测试数据对每个所述处理程序进行测试之前，还包括：
7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：对任一所述处理程序执行以下操作：
8.一种大数据处理平台的数据测试装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种大数据处理平台的数据测试方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并对所述故障定位的过程，包括：
3.根据权利要求1所述的方法，其特征在于，基于测试数据对每个所述处理程序进行测试包括：
4.根据权利要求3所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并对所述故障定位的过程，包括：
5.根据权利要求3所述的方法，其特征在于，对每个所述处理程序的所有所述中间数据和所述测试结果数据进行校验分析，以确认所述处理程序是否存在故障并...
【专利技术属性】
技术研发人员：徐琳，孙若愚，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。