一种大数据集群管理系统技术方案

本发明专利技术提供一种大数据集群管理系统，包括管理中心、单集群管理系统和主机，所述管理中心用于接收用户输入的集群控制命令，基于预设的集群列表将所述集群控制命令生成所述单集群管理系统对应的一级子命令，并将所述一级子命令发送至对应的所述单集群管理系统；所述单集群管理系统用于接收所述一级子命令，基于预设的主机列表将所述一级子命令生成对应所述主机的二级子命令，并将所述二级子命令发送至对应的所述主机，还用于将第一采集数据发送至所述管理中心；所述主机用于基于所述二级子命令执行任务并生成第二采集数据，将所述第二采集数据合并生成所述第一采集数据并发送至所述单集群管理系统。本发明专利技术通过管理中心连接多个单集群管理系统，实现了对多集群的管理，降低运维成本，使集群间的数据互通更快捷。使集群间的数据互通更快捷。使集群间的数据互通更快捷。

【技术实现步骤摘要】
一种大数据集群管理系统


[0001]本专利技术实施例涉及大数据领域，尤其涉及一种大数据集群管理系统。

技术介绍

[0002]随着大数据产业发展，公司大数据业务的快速发展和市场的拓展，公司管理的大数据的集群越来越多，往往都是分开独立管理的，集群之间也是封闭的，每个集群都有自己的数据存储、数据处理和作业提交的系统，每个集群也需要单独升级，版本需要分开开发和维护。
[0003]现有的方式是多个集群分开管理，导致多个集群之间指标的查看对比非常困难，当出现需要增加或减少集群数量、修改服务配置，提高了运维成本，导致效率降低。

技术实现思路

[0004]本专利技术提供了一种大数据集群管理系统，通过使用管理中心连接多个单集群管理系统的系统，实现了对多集群的综合管理，降低运维成本，使集群间的数据互通更快捷。
[0005]第一方面，本专利技术提供一种大数据集群管理系统，包括管理中心、单集群管理系统和主机，所述管理中心与一个或多个单集群管理系统对接，每个所述单集群管理系统与一个或多个主机对接；
[0006]所述管理中心用于接收用户输入的集群控制命令，基于预设的集群列表将所述集群控制命令生成所述单集群管理系统对应的一级子命令，并将所述一级子命令发送至对应的所述单集群管理系统；
[0007]所述单集群管理系统用于接收所述一级子命令，基于预设的主机列表将所述一级子命令生成对应所述主机的二级子命令，并将所述二级子命令发送至对应的所述主机，还用于将第一采集数据发送至所述管理中心；
[0008]所述主机用于基于所述二级子命令执行任务并生成第二采集数据，将所述第二采集数据合并生成所述第一采集数据并发送至所述单集群管理系统。
[0009]进一步地，所述管理中心包括第一REST API模块、Master模块、Cluster Interface模块，
[0010]所述第一REST API模块用于接收用户输入的集群控制命令；
[0011]所述Master模块用于基于预设的集群列表将所述集群控制命令生成一个或多个一级子命令；
[0012]所述Cluster Interface模块用于将所述一级子命令发送至所述单集群管理系统，并获取所述一个或多个所述单集群管理系统上报的第一采集数据。
[0013]进一步地，所述管理中心还包括第一Database模块，用于存储所述第一采集数据。
[0014]进一步地，所述第一Database模块包括集群列表、第一服务信息表和/或基础配置列表；
[0015]所述集群列表用于存储所述大数据集群管理系统的一个或多个单集群管理系统
的基本信息，所述第一服务信息表用于存储单集群管理系统的服务参数，所诉基础配置列表用于存储所述单集群管理系统的服务配置参数。
[0016]进一步地，所述单集群管理系统包括第二REST API模块、Core模块和Agent Interface模块，
[0017]所述第二REST API模块用于从第一REST API模块获取所述一级子命令；
[0018]所述Core模块用于基于预设的主机列表将所述一级子命令生成一个或多个二级子命令，接收所述一个或多个第二采集数据，将所述第二采集数据合并为第一采集数据，将所述第一采集数据上报至所述管理中心；
[0019]所述Agent Interface模块用于将所述二级子命令发送至所述主机，接收所述主机的第二采集数据，将一个或多个所述第二采集数据发送至所述Core模块。
[0020]进一步地，所述单集群管理系统还包括第二Database模块，用于存储所述第二采集数据。
[0021]进一步地，所述第二Database模块包括主机列表、第二服务信息表、组件信息表和/或服务配置列表，所述主机列表用于存储一个或多个所述主机的主机信息；所述第二服务信息表用于存储一个或多个主机的服务信息；所述组件信息表用于存储一个或多个组件信息；所述服务配置列表用于存储一个或多个所述主机的服务配置参数。
[0022]进一步地，还包括第一WEB模块，所述第一WEB模块用于接收用户输入的集群控制命令，将所述集群控制命令控制指令发送至所述管理中心，以使管理中心基于所述集群控制命令从所述第一REST API接口调用对应的一个或多个单集群管理系统执行任务、增加单集群管理系统和/或删除单集群管理系统。
[0023]进一步地，还包括第二WEB模块，所述第二WEB模块用于获取用户输入的主机控制命令，将所述主机控制命令发送至所述单集群管理系统，以使所述单集群管理系统基于所述控制指令调用对应的一个或多个主机执行任务、增加主机和/或删除主机。
[0024]本专利技术通过使用管理中心连接多个单集群管理系统的系统，实现了对多集群的管理，降低运维成本，使集群间的数据互通更快捷。
附图说明
[0025]如图1所示为本实施例一的大数据集群管理系统模块图。
[0026]如图2所示为本实施例二的大数据集群管理系统模块图。
[0027]如图3所示为本实施例三的大数据集群管理系统模块图。
具体实施方式
[0028]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0029]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方
法、函数、规程、子例程、子程序等等。
[0030]此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，第一特征信息可以为第二特征信息或第三特征信息，类似地，第二特征信息、第三特征信息可以为第一特征信息。第一特征信息和第二特征信息、第三特征信息都是分布式文件系统的特征信息，但其不是同一特征信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0031]本实施例及下述实施例的部分英文缩写及专有名词含义如下：
[0032]REST API：Rest：Representational State Transfer，表现层状态转移，API：Application Programming Interfa本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群管理系统，其特征在于，包括管理中心、单集群管理系统和主机，所述管理中心与一个或多个单集群管理系统对接，每个所述单集群管理系统与一个或多个主机对接；所述管理中心用于接收用户输入的集群控制命令，基于预设的集群列表将所述集群控制命令生成所述单集群管理系统对应的一级子命令，并将所述一级子命令发送至对应的所述单集群管理系统；所述单集群管理系统用于接收所述一级子命令，基于预设的主机列表将所述一级子命令生成对应所述主机的二级子命令，并将所述二级子命令发送至对应的所述主机，还用于将第一采集数据发送至所述管理中心；所述主机用于基于所述二级子命令执行任务并生成第二采集数据，将所述第二采集数据合并生成所述第一采集数据并发送至所述单集群管理系统。2.根据权利要求1所述的一种系统，其特征在于，所述管理中心包括第一REST API模块、Master模块、Cluster Interface模块，所述第一REST API模块用于接收用户输入的集群控制命令；所述Master模块用于基于预设的集群列表将所述集群控制命令生成一个或多个一级子命令；所述Cluster Interface模块用于将所述一级子命令发送至所述单集群管理系统，并获取所述一个或多个所述单集群管理系统上报的第一采集数据。3.根据权利要求1所述的系统，其特征在于，所述管理中心还包括第一Database模块，用于存储所述第一采集数据。4.根据权利要求3所述的系统，其特征在于，所述第一Database模块包括集群列表、第一服务信息表和/或基础配置列表；所述集群列表用于存储所述大数据集群管理系统的一个或多个单集群管理系统的基本信息，所述第一服务信息表用于存储单集群管理系统的服务参数，所诉基础配置列表用于存储所述单集群管理系统的服务配置参数。5.根据权利要求1所述的系统，其特征在于，所述单...

【专利技术属性】
技术研发人员：陈松，
申请(专利权)人：北京红山信息科技研究院有限公司，
类型：发明
国别省市：