System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 分布式集群管理方法、装置及电子设备制造方法及图纸_技高网

分布式集群管理方法、装置及电子设备制造方法及图纸

技术编号:43032340 阅读:5 留言:0更新日期:2024-10-18 17:34
本申请实施例提供分布式集群管理方法、装置及电子设备。本实施例通过为每一服务从控制集群的N个控制节点中确定该服务对应的服务集群,并从服务集群中选择该服务的主服务节点和从服务节点,主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同。这样每个服务对应的服务事件由该服务对应的服务集群中的服务节点处理,避免了现有各个服务对应的服务事件均由一个主控制节点处理所造成的节点CPU开销大、事件处理效率低等问题,有效提高了事件处理效率。

【技术实现步骤摘要】

本申请涉及通信,尤其涉及分布式集群管理方法、装置及电子设备


技术介绍

1、在分布式集群中,为了实现存储集群中的存储节点上服务的故障检测、状态收集等,各存储节点会定期向控制集群中的控制节点上报服务事件;所谓服务事件是指与对应服务(如对象存储服务等)所关联的事件,比如可包括属于该服务的读请求对应的事件和写请求对应的事件等。目前在实际应用中,通常是从控制集群中预先选举出一个控制节点作为主控制节点(其用于对所接收的服务事件进行处理),其他节点作为从控制节点(其用于对具备事件处理权限的事件进行处理,将不具备事件处理权限的事件上报给主控制节点处理)。

2、但是,当上述存储集群规模较大时(即存储节点数量较大时),主控制节点接收和处理的服务事件会线性增大,这样会导致主控制节点的中央处理器(central processingunit,cpu)开销增大,在此情况下由于主控制节点的cpu资源有限,无法及时处理大量服务事件,从而降低服务事件的处理效率。


技术实现思路

1、有鉴于此,本申请提供了分布式集群管理方法、装置及电子设备,以提高服务事件的处理效率。

2、本申请实施例提供一种分布式集群管理方法,分布式集群中至少包括存储集群、管理集群和控制集群;管理集群包括多个管理节点,管理节点至少用于配置和管理分布式集群中的各个节点;控制集群包括多个控制节点,控制节点至少用于处理存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该方法应用于管理集群中的任一管理节点;该方法包括:

3、为控制集群中每一控制节点创建各服务对应的服务实例;任一服务的服务实例用于处理该服务下的各事件;

4、针对每一服务,从控制集群中的n个控制节点中确定该服务对应的服务集群,服务集群中包括至少一个控制节点;从服务集群中选择一个控制节点作为该服务的主服务节点,剩下的控制节点作为该服务的从服务节点;其中,主服务节点上与该服务对应的服务实例和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;从服务节点上与该服务对应的服务实例在接收到属于该服务下的事件时,若不具备处理该事件的权限,则上报该事件给主服务节点上与该服务对应的服务实例进行处理。

5、本申请实施例还提供一种分布式集群管理装置,分布式集群中至少包括存储集群、管理集群和控制集群;管理集群包括多个管理节点,管理节点至少用于配置和管理分布式集群中的各个节点;控制集群包括多个控制节点,控制节点至少用于处理存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该装置配置于管理集群中的任一管理节点;该装置包括:

6、创建模块,用于为控制集群中每一控制节点创建各服务对应的服务实例;任一服务的服务实例用于处理该服务下的各事件;

7、确定模块,用于针对每一服务,从控制集群中的n个控制节点中确定该服务对应的服务集群,服务集群中包括至少一个控制节点;从服务集群中选择一个控制节点作为该服务的主服务节点,剩下的控制节点作为该服务的从服务节点;其中,主服务节点上与该服务对应的服务实例和从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;从服务节点上与该服务对应的服务实例在接收到属于该服务下的事件时,若不具备处理该事件的权限,则上报该事件给主服务节点上与该服务对应的服务实例进行处理。

8、可选地,从控制集群中的n个控制节点中确定该服务对应的服务集群,包括:

9、针对每一服务,从控制集群中的n个控制节点中选择满足设定要求的控制节点;满足设定要求的控制节点是指该控制节点的第一被使用次数小于n个控制节点中其他控制节点的第一被使用次数;

10、若满足设定要求的控制节点的数量x小于被配置的该服务对应的服务集群中控制节点的数量m,则依据剩余控制节点的节点标识从剩余控制节点中选择p个控制节点;剩余控制节点是指n个控制节点中除满足设定要求的控制节点外的节点;p为m与x的差值;基于满足设定要求的控制节点和p个控制节点构建该服务对应的服务集群;

11、若x等于m,则基于满足设定要求的控制节点构建该服务对应的服务集群;

12、若x大于m,则从满足设定要求的控制节点中选择m个控制节点,并基于所选择的m个控制节点构建该服务对应的服务集群;

13、从控制集群中的n个控制节点中确定该服务对应的服务集群之后,确定模块,进一步用于:

14、将被选择用于构建该服务对应的服务集群的控制节点的第一被使用次数增加设定值。

15、可选地,节点标识为节点编号;

16、依据剩余控制节点的节点标识从剩余控制节点中选择p个控制节点,包括:

17、从剩余控制节点中选择节点编号最大的前p个剩余控制节点作为所选择的p个控制节点。

18、可选地,从服务集群中选择一个控制节点作为该服务的主服务节点,包括:

19、从服务集群中选择第二被使用次数最小的控制节点作为该服务的主服务节点;

20、在从服务集群中选择一个控制节点作为该服务的主服务节点之后,确定模块,进一步用于:

21、将被选择作为该服务的主服务节点的控制节点所对应的第二被使用次数增加设定值。

22、可选地,主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限包括:该服务下的读请求对应的事件的权限和写请求对应的事件的权限;

23、从服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限包括:该服务下的读请求对应的事件的权限。

24、可选地,主服务节点上与该服务对应的服务实例在接收到该服务下的写请求对应的事件时,对该事件进行处理得到事件处理结果,并将事件处理结果发送至该服务的从服务节点;主服务节点上与该服务对应的服务实例还用于将事件处理结果缓存至预配置的缓存空间;

25、从服务节点上与该服务对应的服务实例用于在接收到该服务下的事件处理结果时将事件处理结果缓存至预配置的缓存空间;

26、创建模块,进一步用于:

27、针对每一服务,在该服务对应的服务集群中的各控制节点上创建存储实例;其中,该服务对应的存储实例用于对该服务下的事件处理结果进行持久化存储。

28、可选地,针对每一服务,在控制集群中还存在除该服务对应的服务集群之外的控制节点的情况下,该服务对应的服务集群中的任一控制节点上与该服务对应的服务实例还用于将最新的事件处理结果发送至除该服务对应的服务集群之外的其中一个控制节点;除该服务对应的服务集群之外的控制节点上与该服务对应的服务实例用于在接收到该服务下的事件处理结果时将事件处理结果缓存至预配置的缓存空间;

29、除该服务对应的服务集群之外的控制节点上与该服务对应的服务实例和该服务对应的主服务节点上与该服务对应的服务实例处理的属于该服务下的事件权限不相同;

30、除该服务对应的服务集群之外的控制节点上与该服务对应的服本文档来自技高网...

【技术保护点】

1.一种分布式集群管理方法,其特征在于,所述分布式集群中至少包括存储集群、管理集群和控制集群;所述管理集群包括多个管理节点,所述管理节点至少用于配置和管理所述分布式集群中的各个节点;所述控制集群包括多个控制节点,所述控制节点至少用于处理所述存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该方法应用于所述管理集群中的任一管理节点;该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从所述控制集群中的N个控制节点中确定该服务对应的服务集群,包括:

3.根据权利要求2所述的方法,其特征在于,所述节点标识为节点编号;

4.根据权利要求1所述的方法,其特征在于,所述从所述服务集群中选择一个控制节点作为该服务的主服务节点,包括:

5.根据权利要求1所述的方法,其特征在于,

6.根据权利要求5所述的方法,其特征在于,所述主服务节点上与该服务对应的服务实例在接收到该服务下的写请求对应的事件时,对该事件进行处理得到事件处理结果,并将所述事件处理结果发送至该服务的从服务节点;

7.根据权利要求6所述的方法,其特征在于,

8.一种分布式集群管理装置,其特征在于,所述分布式集群中至少包括存储集群、管理集群和控制集群;所述管理集群包括多个管理节点,所述管理节点至少用于配置和管理所述分布式集群中的各个节点;所述控制集群包括多个控制节点,所述控制节点至少用于处理所述存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该装置配置于所述管理集群中的任一管理节点;该装置包括:

9.一种电子设备,其特征在于,该电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至7任一所述方法中的步骤。

...

【技术特征摘要】

1.一种分布式集群管理方法,其特征在于,所述分布式集群中至少包括存储集群、管理集群和控制集群;所述管理集群包括多个管理节点,所述管理节点至少用于配置和管理所述分布式集群中的各个节点;所述控制集群包括多个控制节点,所述控制节点至少用于处理所述存储集群中各个存储节点上报的服务事件并控制各个存储节点的节点工作状态;该方法应用于所述管理集群中的任一管理节点;该方法包括:

2.根据权利要求1所述的方法,其特征在于,所述从所述控制集群中的n个控制节点中确定该服务对应的服务集群,包括:

3.根据权利要求2所述的方法,其特征在于,所述节点标识为节点编号;

4.根据权利要求1所述的方法,其特征在于,所述从所述服务集群中选择一个控制节点作为该服务的主服务节点,包括:

5.根据权利要求1所述的方法,其特征在于,

6.根据权利要求5所述的方法,其特征在于,所述主服务节点上与该...

【专利技术属性】
技术研发人员:邓开国
申请(专利权)人:新华三信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1