一种集群系统的管理方法及装置制造方法及图纸

本申请提供一种集群系统的管理方法，该管理方法应用于管理节点，集群系统包括管理节点和多个计算节点，集群系统负责处理预设区域内的业务数据，该方法包括：获取历史业务数据，历史业务数据为当前周期之前若干周期内的业务数据；确定历史业务数据的时空分布特征；基于历史业务数据的时空分布特征，将预设区域划分为多个子区域，历史业务数据在多个子区域间均衡分布；确定多个子区域与多个计算节点的对应关系，将多个子区域中各个子区域的业务数据路由至对应的计算节点进行处理。本申请提供的集群系统的管理方法，实现了集群系统的空间分治管理，提升了集群系统的可靠性及规模扩充能力。力。力。

【技术实现步骤摘要】
一种集群系统的管理方法及装置


[0001]本申请涉及计算机
，尤其涉及一种集群系统的管理方法及装置。

技术介绍

[0002]当前分布式大数据系统以Master
‑
Slave模式进行管理，主节点负责任务的分发、数据的收集、资源调度等工作，从节点主要进行数据处理和计算；任一从节点可能管理或存储任何区域的数据。随着系统规模的不断扩展，业务功能越来越复杂，这种方式会面临很多问题和挑战。
[0003]例如，图1示出了某电信业务系统的处理架构，从数据采集开始到数据落盘存储在数仓中需要经过采集集群、关联集群、定位集群等多个功能集群对数据做相关处理。由于数据分发策略不统一(如系统前一级按网元分发，后一级按用户分发)，导致不同处理集群节点间网状交互，单节点故障会出现级联放大效应，系统可靠性较低。
[0004]此外，由于单节点可能处理任何区域的数据，处理过程中需要使用的公共数据(例如地图、指纹库等)需要在单节点做全量缓存或者在集群中广播大配置表。随着系统处理规模的不断扩展，系统处理能力下降，需要降级运行。

技术实现思路

[0005]本申请提供一种集群系统的管理方法及装置，实现了集群系统的空间分治管理，提升了集群系统的可靠性及规模扩充能力。
[0006]第一方面，本申请提供了一种集群系统的管理方法，该管理方法应用于管理节点，集群系统包括管理节点和N个计算节点，集群系统负责处理预设区域内的业务数据，N为大于1的整数，该管理方法包括：获取历史业务数据，历史业务数据为当前周期之前若干周期内的业务数据；确定历史业务数据的时空分布特征；基于历史业务数据的时空分布特征，将预设区域划分为M个子区域，历史业务数据在M个子区域间均衡分布；确定M个子区域与多个计算节点的对应关系，将M个子区域中各个子区域的业务数据路由至对应的计算节点进行处理。
[0007]第一方面提供的集群系统的管理方法，通过对历史业务数据的时空分布进行分析，得到历史业务数据的时空分布特征，基于该时空分布特征，以数据分布均衡为目标将预设区域划为M个子区域，使多个计算节点中各个计算节点分别负责处理对应子区域的业务数据，实现了集群系统的空间分治管理，提升了集群系统的可靠性及规模扩充能力。
[0008]本领域技术人员可以理解的，历史业务数据在M个子区域间分布的差异值小于预设阈值(例如该预设阈值可以为1mb)，即可理解为历史业务数据在M个子区域间均衡分布。
[0009]在一个可能的实现中，上述确定历史业务数据的时空分布特征，包括：基于历史业务数据中多个时间段的业务数据的空间分布特征，确定多个时间切片分别对应的业务数据的空间分布矩阵，多个时间段中的相邻时间段之间连续；基于多个时间切片分别对应的业务数据的空间分布矩阵，确定历史业务数据的时空分布特征。
[0010]在一个可能的实现中，上述基于多个时间切片分别对应的业务数据的空间分布矩阵，确定历史业务数据的时空分布特征，包括：将多个时间切片中各个时间切片对应的业务数据的空间分布矩阵进行归一化处理，确定归一化后的各个时间切片对应的业务数据的空间分布矩阵；基于归一化后的各个时间切片对应的业务数据的空间分布矩阵之间的相似度，将多个时间切片划分为多种时间切片；将归一化后的多种时间切片对应的业务数据的空间分布矩阵进行聚合处理，确定多种时间切片的聚合分布矩阵，多种时间切片的聚合分布矩阵表征历史业务数据的时空分布特征。
[0011]在另一个可能的实现中，上述基于历史业务数据的时空分布特征，将预设区域划分为M个子区域，包括：基于历史业务数据的时空分布特征和空间邻近关系，将预设区域划分为M个子区域，历史业务数据在M个子区域间均衡分布。
[0012]在另一个可能的实现中，上述基于历史业务数据的时空分布特征和空间邻近关系，将预设区域划分为M个子区域，包括：确定自适应划分阈值；基于自适应划分阈值对历史业务数据进行初始空间网格划分；基于历史业务数据的时空分布特征，确定初始空间网格中各个子网格内的数据量；遍历初始空间网格中各个子网格，基于初始空间网格中各个子网格内的数据量和自适应划分阈值，对初始空间网格中各个子网格进行剖分或聚合，确定历史业务数据的自适应空间网格划分；基于自适应空间网格中各个子网格的邻近关系和自适应空间网格中各个子网格内的数据量，将预设区域划分为M个子区域，M个子区域内的数据量分布均衡。
[0013]在另一个可能的实现中，上述基于自适应划分阈值对所述历史业务数据进行初始空间网格划分，包括：基于自适应划分阈值和预设区域的位置信息，确定初始划分层级；基于初始划分层级和基于空间分布的层级计算模型，对历史业务数据进行初始空间网格划分。
[0014]在另一个可能的实现中，上述基于自适应网格中各个子网格的邻近关系和自适应网格中各个子网格内的数据量，将预设区域划分为多个子区域，包括：基于历史业务数据的自适应空间网格划分，确定自适应空间网格对应的无向图，其中，无向图的各个节点基于自适应空间网格中各个子网格确定，各个节点的权重基于自适应空间网格中各个子网格内的数据量确定，连接相邻节点的边基于自适应空间网格中各个子网格的邻近关系确定，各个边的权重基于自适应空间网格中各个相邻子网格的距离确定；基于自适应空间网格对应的无向图，确定无向图的邻接矩阵；基于自适应空间网格对应的无向图和无向图的邻接矩阵，将预设区域划分为M个子区域，M个子区域内的数据量分布均衡。
[0015]在另一个可能的实现中，上述确定M个子区域与N个计算节点的对应关系，包括：确定N大于或等于M；将N个计算节点划分为M个子集群，M个子集群与M个子区域一一对应。
[0016]在另一个可能的实现中，上述确定M个子区域与N个计算节点的对应关系，包括：确定N小于所述M；统计M个子区域中各个子区域在多个时间段的平均业务数据量；以组间的平均业务数据量的差异值最小为目标，将M个子区域划分为N组子区域；N组子区域与所述N个计算节点一一对应。
[0017]在另一个可能的实现中，上述管理方法还包括：基于当前周期的历史业务数据的时空分布特征和上一周期的历史业务数据的时空分布特征，确定预设区域的划分是否需要更新。
[0018]在另一个可能的实现中，上述基于当前周期的历史业务数据的时空分布特征和上一周期的历史业务数据的时空分布特征，确定预设区域的划分是否需要更新，包括：
[0019]比较当前周期的历史业务数据的时空分布特征和上一周期的历史业务数据的时空分布特征的相似度是否大于预设阈值；
[0020]若是，则确定预设区域的划分需要更新，若否，则确定预设区域的划分不需要更新。
[0021]在另一个可能的实现中，上述多个计算节点中各个计算节点缓存上述各个计算节点对应的子区域内的与所述业务相关的数据。
[0022]第二方面，本申请提供了一种集群系统的管理装置，所述管理装置应用于集群系统，所述集群系统包括所述管理节点和N个计算节点，所述集群系统负责处理预设区域内的负载请求，所述N为大于1的整数，所述装置包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群系统的管理方法，其特征在于，所述管理方法应用于管理节点，所述集群系统包括所述管理节点和N个计算节点，所述集群系统负责处理预设区域内的业务数据，所述N为大于1的整数，所述管理方法包括：获取历史业务数据，所述历史业务数据为当前周期之前若干周期内的业务数据；确定所述历史业务数据的时空分布特征；基于所述历史业务数据的时空分布特征，将所述预设区域划分为M个子区域，所述历史业务数据在所述M个子区域间分布的差异值小于预设阈值，所述M为大于1的整数；确定所述M个子区域与所述N个计算节点的对应关系，将所述M个子区域中各个子区域的业务数据路由至对应的所述计算节点进行处理。2.根据权利要求1所述的管理方法，其特征在于，所述确定所述历史业务数据的时空分布特征，包括：基于历史业务数据中多个时间段的业务数据的空间分布特征，确定多个时间切片分别对应的业务数据的空间分布矩阵，所述多个时间段中的相邻时间段之间连续；基于所述多个时间切片分别对应的业务数据的空间分布矩阵，确定所述历史业务数据的时空分布特征。3.根据权利要求2所述的管理方法，其特征在于，所述基于所述多个时间切片分别对应的业务数据的空间分布矩阵，确定所述历史业务数据的时空分布特征，包括：将多个时间切片中各个时间切片对应的业务数据的空间分布矩阵进行归一化处理，确定归一化后的所述各个时间切片对应的业务数据的空间分布矩阵；基于所述归一化后的所述各个时间切片对应的业务数据的空间分布矩阵之间的相似度，将所述多个时间切片划分为多种时间切片；将归一化后的所述多种时间切片对应的业务数据的空间分布矩阵进行聚合处理，确定聚合分布矩阵，所述聚合分布矩阵表征所述历史业务数据的时空分布特征。4.根据权利要求1
‑
3任一项所述的管理方法，其特征在于，所述基于所述历史业务数据的时空分布特征，将所述预设区域划分为M个子区域，包括：基于所述历史业务数据的时空分布特征和空间邻近关系，将所述预设区域划分为M个子区域，所述历史业务数据在所述M个子区域间分布的差异值小于预设阈值。5.根据权利要求4所述的管理方法，其特征在于，所述基于所述历史业务数据的时空分布特征和空间邻近关系，将所述预设区域划分为M个子区域，包括：确定自适应划分阈值；基于所述自适应划分阈值对所述历史业务数据进行初始空间网格划分；基于所述历史业务数据的时空分布特征，确定所述初始空间网格中各个子网格内的数据量；遍历所述初始空间网格中各个子网格，基于所述初始空间网格中各个子网格内的数据量和自适应划分阈值，对所述初始空间网格中各个子网格进行剖分或聚合，确定所述历史业务数据的自适应空间网格划分；基于所述自适应空间网格中各个子网格的邻近关系和所述自适应空间网格中各个子网格内的数据量，将所述预设区域划分为M个子区域，所述M个子区域内的数据量分布均衡。6.根据权利要求5所述的管理方法，其特征在于，所述基于所述自适应划分阈值对所述
历史业务数据进行初始空间网格划分，包括：基于所述自适应划分阈值和所述预设区域的位置信息，确定初始划分层级；基于所述初始划分层级和基于空间分布的层级计算模型，对所述历史业务数据进行初始空间网格划分。7.根据权利要求5或6所述的管理方法，其特征在于，所述基于所述自适应网格中各个子网格的邻近关系和所述自适应网格中各个子网格内的数据量，将所述预设区域划分为M个子区域，包括：基于所述历史业务数据的自适应空间网格划分，确定所述自适应空间网格对应的无向图，其中，所述无向图的各个节点基于所述自适应空间网格中各个子网格确定，所述各个节点的权重基于所述自适应空间网格中各个子网格内的数据量确定，连接所述相邻节点的边基于所述自适应空间网格中各个子网格的邻近关系确定，各个所述边的权重基于所述自适应空间网格中各个相邻子网格的距离确定；基于所述自适应空间网格对应的无向图，确定所述无向图的邻接矩阵；基于所述自适应网格和所述无向图的邻接矩阵，将所述预设区域划分为M个子区域，所述M个子区域间的数据量分布的差异值小于预设阈值。8.根据权利要求1
‑
7任一项所述的管理方法，其特征在于，所述确定所述M个子区域与所述N个计算节点的对应关系，包括：确定所述N大于或等于所述M；将所述N个计算节点划分为M个子集群，所述M个子集群与所述M个子区域一一对应。9.根据权利要求1
‑
7任一项所述的管理方法，其特征在于，所述确定所述M个子区域与所述N个计算节点的对应关系，包括：确定所述N小于所述M；统计所述M个子区域中各个子区域在多个时间段的平均业务数据量；以组间的所述平均业务数据量的差异值最小为目标，将所述M个子区域划分为N组子区域；所述N组子区域与所述N个计算节点一一对应。10.根据权利要求1
‑
9任一项所述的管理方法，其特征在于，所述管理方法还包括：基于所述当前周期的历史业务数据的时空分布特征和所述上一周期的历史业务数据的时空分布特征，确定所述预设区域的划分是否需要更新。11.根据权利要求10所述的管理方法，其特征在于，所述基于所述当前周期的历史业务数据的时空分布特征和所述上一周期的历史业务数据的时空分布特征，确定所述预设区域的划分是否需要更新，包括：比较所述当前周期的历史业务数据的时空分布特征和所述上一周期的历史业务数据的时空分布特征的相似度是否大于预设阈值；若是，则确定所述预设区域的划分需要更新，若否，则确定所述预设区域的划分不需要更新。12.根据权利要求1
‑
11任一项所述的管理方法，其特征在于，所述多个计算节点中各个计算节点缓存所述各个计算节点对应的子区域内的与所述业务相关的数据。13.一种集群系统的管理装置，其特征在于，所述管理装置应用于集群系统，所述集群
系统包括所述管理节点和N个计算节点，所...

【专利技术属性】
技术研发人员：王昊，黄骞，关雪峰，向隆刚，庞兆星，叶鹏辉，张军，原朝，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：