【技术实现步骤摘要】
本专利技术涉及大数据集群领域，尤其是一种大数据集群资源统一治理的方法及装置。
技术介绍
1、一个hadoop大数据集群由多台服务器组成，在大规模集群中，服务器节点可达到成千上万台，存储数据量大小达到pb级别，文件个数达到几亿。随着业务及数据量的不断增加，集群扩容、存储和计算资源达到一定规模后，对大数据集群进行资源整合治理就显得非常必要，包括以下几方面：
2、1、现有的大数据集群在存储管理方面存在一些问题。首先，无法按目录或用户限制存储资源的配额。其次，缺乏数据生命周期管理功能，无法自动识别并处理过期数据的删除或移动等生命周期操作。此外，大数据集群中存在大量小文件，严重影响了性能，但很难追踪责任人并进行小文件的合并或清理。而且，是否能够对小文件进行智能化合并还涉及到业务需求，如果业务允许合并，还需要具体的小文件合并操作。
3、2、对大数据集群的存储不能进行有效的治理，将会导致数据无序增长，如果不经过人工干预，每天的增量甚至可能达到几十上百tb。存储资源不足意味着要扩容集群，购置新服务器，不但成本投入大，还会造成计算资源使用率低下。当大数据集群到了一定规模，namenode的内存就会成为瓶颈，大量的datanode心跳和rpc请求对网络的要求极高，可能会带来网络瓶颈，另外大数据集群重启恢复时间也会变长。
4、3、尽管现有的大数据集群在计算资源管理方面可以为不同任务分配不同队列，并配置计算资源的内存占用、cpu核心数和队列优先级，但由于任务运行参数不合理、资源配置不合理以及程序代码未经优化等多种因素
5、4、运维压力大，当大数据集群到了一定规模，无论硬件层面，系统层面，还是业务层面的稳定性和可靠性都会下降，会给运维人员带来较大压力。
技术实现思路
1、为解决现有技术存在的上述问题，本专利技术提供一种大数据集群资源统一治理的方法及装置，按照资源池优化存储和计算资源的组织与管理，让存储资源使用更有效，能自动管理数据的生命周期，并对小文件进行合并，避免对大数据集群性能的影响；主动规避大数据集群中的故障节点对高优先级任务的影响，计算资源利用更合理高效；建立资源健康分机制，可持续性的运维大数据集群，倒推对资源程序质量持续改进。
2、为实现上述目的，本专利技术采用下述技术方案：
3、在本专利技术一实施例中，提出了一种大数据集群资源统一治理的方法，该方法包括：
4、将大数据集群的存储和计算资源按照资源池进行管理；一个资源池同时管理存储资源和计算资源；
5、为大数据集群的存储和计算资源制定打分制度：存储资源健康分和计算资源健康分。
6、进一步地，针对一个资源池的存储资源，可设置属性参数：存储配额、存储扩容策略和目录组，目录组用于指定资源池的目录组成，以及每个目录的文件格式、schema信息、生命周期管理策略和小文件合并，用于对存储资源进行管理。
7、进一步地，针对一个资源池的计算资源，可设置属性参数：计算资源配额和任务队列组，每个任务队列组可指定计算资源配额，每个任务队列组可指定最多两个队列，分别对应高优先级队列和低优先级队列，用于对计算资源进行管理。
8、进一步地，对计算资源进行管理时，可对机器硬件可能的故障节点进行预判，并且对各种故障服务器上面可以运行的任务进行分级。
9、进一步地，为大数据集群的存储和计算资源制定打分制度：存储资源健康分和计算资源健康分，包括：
10、为存储资源健康分定义两大指标：冷数据和小文件，将冷数据的存储占比和小文件的数量占比作为存储资源健康分的计算依据；
11、针对yarn上面运行的各类任务进行分类计算得到计算资源健康分，用于体现资源池对计算资源使用的合理性。
12、在本专利技术一实施例中，还提出了一种大数据集群资源统一治理的装置，该装置包括：
13、资源管理模块，用于将大数据集群的存储和计算资源按照资源池进行管理；一个资源池同时管理存储资源和计算资源；
14、资源健康分管理模块，用于为大数据集群的存储和计算资源制定打分制度：存储资源健康分和计算资源健康分。
15、进一步地，针对一个资源池的存储资源，可设置属性参数：存储配额、存储扩容策略和目录组，目录组用于指定资源池的目录组成，以及每个目录的文件格式、schema信息、生命周期管理策略和小文件合并，用于对存储资源进行管理。
16、进一步地，针对一个资源池的计算资源，可设置属性参数：计算资源配额和任务队列组，每个任务队列组可指定计算资源配额，每个任务队列组可指定最多两个队列，分别对应高优先级队列和低优先级队列，用于对计算资源进行管理。
17、进一步地，对计算资源进行管理时，可对机器硬件可能的故障节点进行预判，并且对各种故障服务器上面可以运行的任务进行分级。
18、进一步地，资源健康分管理模块，具体用于：
19、为存储资源健康分定义两大指标：冷数据和小文件，将冷数据的存储占比和小文件的数量占比作为存储资源健康分的计算依据；
20、针对yarn上面运行的各类任务进行分类计算得到计算资源健康分，用于体现资源池对计算资源使用的合理性。
21、在本专利技术一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述大数据集群资源统一治理的方法。
22、在本专利技术一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行大数据集群资源统一治理的方法的计算机程序。
23、有益效果：
24、1、本专利技术按照资源池优化存储和计算资源的管理，可自动管理大数据集群的存储资源，让存储资源使用更有效，能自动管理数据的生命周期，并对小文件进行合并，避免对大数据集群性能的影响。
25、2、本专利技术设置计算资源的管理机制，主动规避大数据集群中的故障节点对高优先级任务的影响，计算资源利用更合理高效。
26、3、本专利技术建立资源健康分机制，可持续性的运维大数据集群，倒推对资源程序质量持续改进。
本文档来自技高网...【技术保护点】
1.一种大数据集群资源统一治理的方法，其特征在于，该方法包括：
2.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，针对一个资源池的存储资源，可设置属性参数：存储配额、存储扩容策略和目录组，目录组用于指定资源池的目录组成，以及每个目录的文件格式、schema信息、生命周期管理策略和小文件合并，用于对存储资源进行管理。
3.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，针对一个资源池的计算资源，可设置属性参数：计算资源配额和任务队列组，每个任务队列组可指定计算资源配额，每个任务队列组可指定最多两个队列，分别对应高优先级队列和低优先级队列，用于对计算资源进行管理。
4.根据权利要求3所述的大数据集群资源统一治理的方法，其特征在于，对计算资源进行管理时，可对机器硬件可能的故障节点进行预判，并且对各种故障服务器上面可以运行的任务进行分级。
5.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，为大数据集群的存储和计算资源制定打分制度：存储资源健康分和计算资源健康分，包括：
6.一种大数据
7.根据权利要求6所述的大数据集群资源统一治理的装置，其特征在于，针对一个资源池的存储资源，可设置属性参数：存储配额、存储扩容策略和目录组，目录组用于指定资源池的目录组成，以及每个目录的文件格式、schema信息、生命周期管理策略和小文件合并，用于对存储资源进行管理。
8.根据权利要求6所述的大数据集群资源统一治理的装置，其特征在于，针对一个资源池的计算资源，可设置属性参数：计算资源配额和任务队列组，每个任务队列组可指定计算资源配额，每个任务队列组可指定最多两个队列，分别对应高优先级队列和低优先级队列，用于对计算资源进行管理。
9.根据权利要求8所述的大数据集群资源统一治理的装置，其特征在于，对计算资源进行管理时，可对机器硬件可能的故障节点进行预判，并且对各种故障服务器上面可以运行的任务进行分级。
10.根据权利要求6所述的大数据集群资源统一治理的装置，其特征在于，所述资源健康分管理模块，具体用于：
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-5任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种大数据集群资源统一治理的方法，其特征在于，该方法包括：
2.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，针对一个资源池的存储资源，可设置属性参数：存储配额、存储扩容策略和目录组，目录组用于指定资源池的目录组成，以及每个目录的文件格式、schema信息、生命周期管理策略和小文件合并，用于对存储资源进行管理。
3.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，针对一个资源池的计算资源，可设置属性参数：计算资源配额和任务队列组，每个任务队列组可指定计算资源配额，每个任务队列组可指定最多两个队列，分别对应高优先级队列和低优先级队列，用于对计算资源进行管理。
4.根据权利要求3所述的大数据集群资源统一治理的方法，其特征在于，对计算资源进行管理时，可对机器硬件可能的故障节点进行预判，并且对各种故障服务器上面可以运行的任务进行分级。
5.根据权利要求1所述的大数据集群资源统一治理的方法，其特征在于，为大数据集群的存储和计算资源制定打分制度：存储资源健康分和计算资源健康分，包括：
6.一种大数据集群资源统一治理的装置，其特征在于，该装置包括：
7.根据权利要求6所述的大数据集群资源统一治理的装...
【专利技术属性】
技术研发人员：张强，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。