本公开涉及计算机技术领域，涉及了一种分布式集群的性能测试方法及装置、存储介质和电子设备。该方法包括：通过中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务，所述数据节点上部署有资源监控组件；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。本公开通过形成测试闭环实现分布式集群层面的性能测试。层面的性能测试。层面的性能测试。
【技术实现步骤摘要】
分布式集群的性能测试方法及系统、存储介质和电子设备
[0001]本公开涉及大数据
，更具体地，涉及一种分布式集群的性能测试方法、分布式集群的性能测试系统、计算机存储介质和电子设备。
技术介绍
[0002]随着计算机和大数据技术的发展，为了处理海量数据的采集、存储、分析和计算等问题，分布式计算处理系统Hadoop得到普遍关注，Hadoop是一个能够对大量数据进行分布式处理的软件框架，Hadoop框架可以在构成集群的多个计算机节点上使用，也可以在单一的计算机节点上使用。而随着大数据时代的到来，Hadoop集群需要处理的数据越来越多，因此可以通过对Hadoop集群进行性能测试来保证集群具有优良性能和执行效率。然而，相关技术中的大数据集群系统的测试仅关注于应用层面，而无法通过形成测试闭环实现对集群层面的性能测试。
[0003]需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
[0004]本公开的目的在于提供一种分布式集群的性能测试方法及系统、计算机存储介质和电子设备，进而至少在一定程度上解决相关技术的限制和缺陷导致的无法压测到分布式集群层面等问题。
[0005]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0006]根据本公开的一个方面，提供一种分布式集群的性能测试方法，应用于分布式集群系统，所述分布式集群系统包括数据节点和用于调度所述数据节点执行数据处理操作的中心节点，所述数据节点上部署有资源监控组件，所述方法包括：通过所述中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
[0007]在本公开的一种示例性实施例中，所述通过所述中心节点接收测试任务并发送至所述数据节点，以通过所述数据节点执行所述测试任务，还包括：检查所述测试任务的操作用户与执行测试脚本写入的权限目录是否一致，以避免所述测试任务的执行过程出现报错。
[0008]在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行集群写操作测试任务的第一资源使用信息；通过所述资源监控组件获取所述数据节点执行集群读操作测试任务的第二资源使用信息，所述集群读操作测试任务使用所述集群写操作
测试任务写入的数据进行测试。
[0009]在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行排序测试任务的第三资源使用信息；通过所述数据节点执行所述排序测试任务的过程，包括：生成用于进行排序测试的随机数，并将所述随机数分配至多个排序子任务；并行执行所述多个排序子任务，以对生成的随机数运行排序；对所述随机数运行排序的排序结果进行校验；其中，调整所述排序子任务的数量，得到不同的测试场景，以在所述不同的测试场景执行所述排序测试任务。
[0010]在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行压力测试任务的第四资源使用信息；通过所述数据节点执行所述压力测试任务的过程，包括：生成预设数量的压测子任务；通过各所述压测子任务向所述中心节点发起目标操作请求；所述中心节点响应所述目标操作请求并调度所述数据节点进行处理。
[0011]在本公开的一种示例性实施例中，所述目标操作请求的类型至少包括列出路径下的文件和目录、创建目录操作、重命名文件操作、读取文件内容操作、追加写文件操作、删除文件操作和创建文件操作，且所述压力测试任务通过压测子任务发起的目标操作请求的类型随机出现。
[0012]在本公开的一种示例性实施例中，所述根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整，包括：根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务；对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
[0013]在本公开的一种示例性实施例中，所述根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务，包括：对所述资源使用信息和任务配置信息进行比对分析，并根据对比分析结果，从所述资源使用信息和任务配置信息中确定所述测试任务对应的测试参数分布特征信息；根据所述测试参数分布特征信息，生成所述调优任务。
[0014]在本公开的一种示例性实施例中，所述对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整，包括：通过所述资源监控组件获取所述数据节点执行所述调优任务的第五资源使用信息；若所述第五资源使用信息符合预设的资源使用范围，则确定所述调优任务对应的测试参数为所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整；若所述第五资源使用信息不符合预设的资源使用范围，则根据所述资源使用信息和所述测试任务对应的任务配置信息，重新生成所述调优任务并进行测试。
[0015]根据本公开的一个方面，提供一种分布式集群的性能测试系统，包括分布式集群系统中的中心节点和数据节点；所述中心节点用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；所述中心节点通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
[0016]在本公开的一种示例性实施例中，所述中心节点包括：任务分发模块，用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；资源监控模块，用于通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；调优模块，用于根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。根据本公开的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的分布式集群的性能测试方法。
[0017]根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的分布式集群的性能测试方法。
[0018]本公开的示例性实施例中的分布式集群的性能测试方法，通过中心节点接收测试任务并发送至数据节点，并本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式集群的性能测试方法，其特征在于，应用于分布式集群系统，所述分布式集群系统包括数据节点和用于调度所述数据节点执行数据处理操作的中心节点，所述数据节点上部署有资源监控组件，所述方法包括：通过所述中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述通过所述中心节点接收测试任务并发送至所述数据节点，以通过所述数据节点执行所述测试任务，还包括：检查所述测试任务的操作用户与执行测试脚本写入的权限目录是否一致，以避免所述测试任务的执行过程出现报错。3.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行集群写操作测试任务的第一资源使用信息；通过所述资源监控组件获取所述数据节点执行集群读操作测试任务的第二资源使用信息，所述集群读操作测试任务使用所述集群写操作测试任务写入的数据进行测试。4.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行排序测试任务的第三资源使用信息；通过所述数据节点执行所述排序测试任务的过程，包括：生成用于进行排序测试的随机数，并将所述随机数分配至多个排序子任务；并行执行所述多个排序子任务，以对生成的随机数运行排序；对所述随机数运行排序的排序结果进行校验；其中，调整所述排序子任务的数量，得到不同的测试场景，以在所述不同的测试场景下执行所述排序测试任务。5.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行压力测试任务的第四资源使用信息；所述压力测试任务的执行过程，包括：生成预设数量的压测子任务；通过各所述压测子任务向所述中心节点发起目标数量的目标操作请求；所述中心节点响应所述目标操作请求并调度所述数据节点进行处理。6.根据权利要求5所述的方法，其特征在于，所述目标操作请求的类型至少包括列出路径下的文件和目录、创建目录操作、重命名文件操作、读取文件内容操作、追加写文件操作、删除文件操作和创建文件操作，且所述压力测试任务通过压测子任务发起的目标操作请求的类型随机出现。7.根据权利要求1所述的方法，其特征在于，所述根据所述资...
【专利技术属性】
技术研发人员：杨杨，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。