一种评估服务器性能的方法、系统、存储介质及设备技术方案

本发明专利技术提供了一种评估服务器性能的方法、系统、存储介质及设备，方法包括：收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。本发明专利技术可模拟NameNode实际运行业务场景，评估Hadoop

【技术实现步骤摘要】
一种评估服务器性能的方法、系统、存储介质及设备


[0001]本专利技术涉及服务器
，尤其涉及一种评估服务器性能的方法、系统、存储介质及设备。

技术介绍

[0002]随着大数据市场的不断增长，数据表明目前已有250亿字节数据，并且每天以463EB的数据在增长，如何应对现有的海量数据成为现在最重要的课题之一。应运而生的技术如大数据与区块链技术的结合，这种结合使得网络架构将难以被篡改从而确保数据的安全性，数据结构更易于分析和理解。
[0003]大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。这是大数据的核心问题。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发的目的是发展大数据技术并将其应用到相关领域，通过解决大体量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理大体量数据并从中获取有价值的信息，也体现在如何加强大数据技术研发。大数据所涉及的关键技术大致包括6个方面：数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。
[0004]大数据技术正在向各行各业渗透。Hadoop作为数据分布式处理系统的典型代表，已经成为该领域事实的标准。Hadoop是一个使用java编写的Apache(一个Web服务器软件)开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。Hadoop架构核心包括：分布式文件系统HDFS(Hadoop Distributed File System)、分布式计算系统MapReduce及分布式资源管理系统YARN。其中，HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储和读取，是一个Master/Slave(主/从)体系结构的分布式文件系统，主要包括NameNode和DataNode。NameNode是集群的管理者，管理整个文件系统的命名空间，用于存储元数据及处理客户端发送的请求，维护整个集群的状态，为了提高响应速度其大部分数据都常驻内存，则NameNode内存的使用尤为重要。
[0005]众所周知，NameNode全局锁(FSNamesystemLock)问题一直是制约HDFS性能，尤其是NameNode处理能力的主要原因，一旦NameNode出现性能问题，整个Hadoop集群的性能将大大降低。目前NameNode性能评测工具主要有混合负载生成器(SLG)、nnbench，SLG通过调整工作线程数量和操作之间的延迟参数来控制负载强度，nnbench则会生成很多与HDFS相关的请求，在HDFS上创建、读取、重命名和删除文件操作。上述两种工具均需部署Hadoop，操作复杂、易出错、耗时长、需要相关技术人员进行操作。上述问题导致批量评估Hadoop
‑
NameNode服务器的性能变得更加困难。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提出一种评估服务器性能的方法、系统、存储介质及设备，用以解决批量评估Hadoop
‑
NameNode服务器的性能存在很大困难的问题。
[0007]基于上述目的，本专利技术提供了一种评估服务器性能的方法，包括以下步骤：
[0008]收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；
[0009]响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；
[0010]对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；
[0011]基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
[0012]在一些实施例中，基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估包括：
[0013]设置多个线程，并使每个线程按照预设循环次数循环执行基于可重入读写锁的相关操作，并监控总执行时间，其中，基于可重入读写锁的相关操作包括依次获取文件读锁、获取文件写锁、执行文件写锁释放及执行文件读锁释放的操作；
[0014]基于总执行时间的大小确定满足预设要求的待测服务器的并行处理能力。
[0015]在一些实施例中，方法还包括：
[0016]将总执行时间与预设时间阈值进行比较，并将超过预设时间阈值的总执行时间所对应的待测服务器进行剔除。
[0017]在一些实施例中，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组包括：
[0018]将硬件信息中的处理器型号信息作为一级分组标签，且将处理器数量信息作为二级分组标签，并将内存总容量信息作为三级分组标签；
[0019]将多个待测服务器中具有相同的一级分组标签、二级分组标签及三级分组标签的待测服务器分至同一组，以得到若干服务器组。
[0020]在一些实施例中，基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求包括：
[0021]基于测试结果计算每个服务器组的平均内存性能值，并基于平均内存性能值设定范围值，并分别判断每个服务器组中的待测服务器的内存性能值是否处于范围值内；
[0022]将处于范围值内的待测服务器作为满足预设要求的待测服务器。
[0023]在一些实施例中，对每个服务器组进行内存性能评估测试包括：
[0024]对每个服务器组中的待测服务器分别进行内存带宽性能评估以及内存延迟性能评估。
[0025]在一些实施例中，待测服务器中安装有JAVA开发工具以及内存性能评测工具。
[0026]本专利技术的另一方面，还提供了一种评估服务器性能的系统，包括：
[0027]判定模块，配置用于收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；
[0028]分组模块，配置用于响应于多个待测服务器处于健康状态，基于硬件信息将多个
待测服务器根据配置等级进行分组，以得到若干服务器组；
[0029]确认模块，配置用于对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；以及
[0030]评估模块，配置用于基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
[0031]本专利技术的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
[0032]本专利技术的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
[0033]本专利技术至少具有以下有益技术效果：
[0034]本专利技术通过服务器健康状态、内存基础本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评估服务器性能的方法，其特征在于，包括以下步骤：收集所有待测服务器的硬件信息，并基于所述硬件信息分别判定每个待测服务器是否处于健康状态；响应于多个待测服务器处于健康状态，基于所述硬件信息将所述多个待测服务器根据配置等级进行分组，以得到若干服务器组；对每个服务器组进行内存性能评估测试，并基于测试结果确认所述每个服务器组中的待测服务器是否分别满足预设要求；基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。2.根据权利要求1所述的方法，其特征在于，基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估包括：设置多个线程，并使每个线程按照预设循环次数循环执行基于可重入读写锁的相关操作，并监控总执行时间，其中，所述基于可重入读写锁的相关操作包括依次获取文件读锁、获取文件写锁、执行文件写锁释放及执行文件读锁释放的操作；基于所述总执行时间的大小确定所述满足预设要求的待测服务器的并行处理能力。3.根据权利要求2所述的方法，其特征在于，还包括：将所述总执行时间与预设时间阈值进行比较，并将超过所述预设时间阈值的总执行时间所对应的待测服务器进行剔除。4.根据权利要求1所述的方法，其特征在于，基于所述硬件信息将所述多个待测服务器根据配置等级进行分组，以得到若干服务器组包括：将所述硬件信息中的处理器型号信息作为一级分组标签，且将处理器数量信息作为二级分组标签，并将内存总容量信息作为三级分组标签；将所述多个待测服务器中具有相同的所述一级分组标签、所述二级分组标签及所述三级分组标签的待测服务器分至同一组，以得到若干服务器组。5.根据权利要求1所述的方法，其特征在于，基于测试结果确...

【专利技术属性】
技术研发人员：王月，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：