System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 任务调度方法及装置制造方法及图纸_技高网

任务调度方法及装置制造方法及图纸

技术编号:44731630 阅读:4 留言:0更新日期:2025-03-21 17:55
本申请实施例提供一种任务调度方法及装置,涉及云监控技术领域,该方法应用于全对称式架构的集群系统,其中全对称式架构的集群系统包括多个节点,该多个节点中的一部分是主节点和工作节点,其余为空闲节点,主节点是该多个节点选举出来的。其中,主节点在获取到大量的目标任务后,将目标任务层级分发给预先创建好的工作组,然后再由该些工作组对应的工作节点各自管理各自关联工作组对应的目标任务,逐一确定执行目标任务的节点,并将目标任务发送给对应的节点。在这个过程中,通过层级分化,使得单个的主节点、工作节点管理的目标任务的数量变少,降低了单个节点压力,缩短时延。

【技术实现步骤摘要】

本申请涉及云监控,尤其涉及一种任务调度方法及装置


技术介绍

1、云监控系统作为智慧城市的重要组成部分发挥着重要作用。现有的云监控系统一般包括客户端、管理服务中心和节点集群,其中,节点集群中包括大量节点,该些节点可以用于执行监控任务、存储任务等。

2、现有的云监控系统,通常由管理服务中心管理节点集群,具体是指,管理服务中心从客户端获取任务,然后将任务分发给节点集群中的各个节点,以便于节点执行任务。

3、当节点集群比较庞大时,管理服务中心需要管理的任务路数会非常庞大,例如,节点集群包括50万路录像,管理服务中心需要管理50万路以上的任务,这会导致管理服务中心的处理压力大,且处理时延长。


技术实现思路

1、本申请实施例提供一种任务调度方法及装置,通过选出一些工作节点,将目标任务分发给这些工作节点,再由这些工作节点各自管理对应的目标任务,这样单个工作节点管理的目标任务的数量较少,降低了单个节点压力,缩短时延。

2、第一方面,本申请实施例提出一种任务调度方法,应用于集群系统中的主节点,集群系统包括多个节点,主节点是多个节点选举出的节点,该方法包括:从客户端获取多个目标任务;将多个目标任务分配给预设的多个工作组,生成第一关联信息,以使工作节点基于第一关联信息调度分发给工作节点对应的工作组的目标任务;其中,第一关联信息包括目标任务信息与目标任务被分配到的工作组之间的对应关系;工作节点是主节点从多个节点中确定的。

3、可选地,将多个目标任务分配给预设的多个工作组之后,该方法还包括:根据多个目标任务的分配结果更新第一关联信息,第一关联信息包括目标任务信息与目标任务被分配到的工作组之间的对应关系。

4、可选地,该述方法还包括:根据多个节点的数量确定当前所需的工作组的数量;根据当前所需的工作组的数量与当前实际的工作组的数量,变更工作组。

5、可选地,该述方法还包括:根据多个节点的数量和预设的配置比例确定工作组的数量,其中,配置比例指示工作组的数量与节点总数的比例关系;基于工作组的数量创建工作组。

6、可选地,根据多个节点的数量和预设的配置比例确定工作组的数量,包括:根据多个节点的数量和预设的配置比例确定第一数值;若第一数值是非整数,则将第一数值取整后加1,得到第二数值,将第二数值作为工作组的数量;若第一数值是整数,则将第一数值作为工作组的数量。

7、可选地,该方法还包括:为每个工作组分配一个工作节点,根据工作组与工作节点的对应关系创建第二关联信息,第二关联信息用于供多个节点中的各个节点确定自身是否为工作节点。

8、可选地,该方法还包括:向集群系统中的共享内存发布第二关联信息。

9、可选地,该方法还包括:检测第二关联信息中各工作节点是否存在异常;若某一工作节点存在异常,则将存在异常的工作节点对应的工作组切换到新的工作节点。

10、可选地,该方法还包括:将存在异常的工作节点对应的工作组的目标任务重新分发给其他未存在异常的工作节点对应的工作组。

11、可选地,该述方法还包括:周期性获取多个节点的在线状态,根据多个节点中在线节点的数量确定当前所需的工作组的数量;根据当前所需的工作组的数量与当前实际的工作组的数量,变更工作组。

12、可选地,根据当前所需的工作组的数量与当前实际的工作组的数量,变更工作组,包括:在当前所需的工作组的数量大于当前实际的工作组的数量时,生成一个或者多个新的工作组;从在线节点中为各新的工作组确定对应的工作节点;根据各新的工作组对应的工作节点更新第二关联信息。

13、可选地,该方法还包括:

14、将已经分配给各工作组的目标任务,重新分配给各新的工作组,并根据分配结果更新第一关联信息。

15、可选地,根据当前所需的工作组的数量与当前实际的工作组的数量,变更工作组,包括:在当前所需的工作组的数量小于当前实际的工作组的数量时,确定需要变更的一个或者多个第一工作组;从第二关联信息中删除第一工作组以及第一工作组与第一工作组对应的工作节点之间的对应关系。

16、可选地,该方法还包括:将已经分配给第一工作组的目标任务重新分配给剩余的其他工作组,并根据分配结果更新第一关联信息。

17、可选地,根据当前所需的工作组的数量与当前实际的工作组的数量,变更工作组,包括:在当前所需的工作组的数量小于当前实际的工作组的数量时,确定需要变更的一个或者多个第一工作组;从剩余的其他工作组中确定目标工作组,将已经分配给第一工作组的目标任务切换到目标工作组。

18、可选地,确定需要变更的一个或者多个第一工作组,包括:按照各工作组接入的目标任务的数量排序;将排序在后面的一个或者多个工作组确定为第一工作组。

19、可选地,该述方法还包括:检测各工作节点对应的工作组的数量;对于各工作节点,当工作节点对应的工作组的数量大于第一阈值时,从工作节点对应的工作组中确定需要移除的第二工作组;从多个节点中确定新的工作节点,并在第二关联信息中将第二工作组对应的工作节点替换为新的工作节点。

20、可选地,该方法还包括:检测第二关联信息中各工作节点是否存在异常;若某一工作节点存在异常,则从多个节点中确定新的工作节点,并在第二关联信息中,用新的工作节点替换存在异常的工作节点。

21、可选地,该方法还包括:检测各工作组接入的目标任务的数量;对于各工作组,当工作组接入的目标任务的数量大于第二阈值时,从工作组接入的目标任务中确定第一目标任务,第一目标任务是需要从工作组移除的任务,第二阈值是工作组接入的目标任务的平均数量;当工作组接入的目标任务的数量小于第二阈值时,增加分配给工作组的目标任务。

22、第二方面,本申请实施例提出一种任务调度方法,应用于集群系统中除主节点以外的节点,集群系统包括多个节点,主节点是多个节点选举出的节点,该方法包括:确定本节点是否是工作节点,工作节点是主节点从多个节点中确定的;若本节点是工作节点,则基于第一关联信息,获取主节点分配给工作节点对应的工作组的多个目标任务;第一关联信息包括目标任务信息与目标任务被分配到的工作组之间的对应关系;调度将多个目标任务,并根据多个目标任务的任务信息、执行目标任务的节点以及目标任务接入的工作组更新第三关联信息,第三关联信息包括目标任务信息、执行目标任务的节点以及目标任务被分配到的工作组之间的对应关系。

23、可选地,确定本节点是否是工作节点,包括:从集群系统中的共享内存中获取第二关联信息,第二关联信息包括工作组与工作节点之间的对应关系;根据第二关联信息确定本节点当前是否是工作节点;若本节点当前是工作节点,则根据第二关联信息确定本节点对应的工作组,并获取分配给本节点对应的工作组的目标任务,根据第一关联信息更新第三关联信息;若本节点当前不是工作节点,则从内存中删除本节点对应的工作组接入的目标任务,以及删除第三关联信息。

24、可选地,根本文档来自技高网...

【技术保护点】

1.一种任务调度方法,其特征在于,应用于集群系统中的主节点,所述集群系统包括多个节点,所述主节点是所述多个节点选举出的节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多个节点的数量和预设的配置比例确定工作组的数量,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种任务调度方法,其特征在于,应用于集群系统中除主节点以外的节点,所述集群系统包括多个节点,所述主节点是所述多个节点选举出的节点,所述方法包括:

9.根据权利要求8所述的方法,其特征在于,所述确定本节点是否是工作节点,包括:

10.一种任务调度装置,其特征在于,应用于集群系统中的主节点,所述集群系统包括多个节点,所述主节点是所述多个节点选举出的节点,所述装置包括:

11.一种任务调度装置,其特征在于,应用于集群系统中除主节点以外的节点,所述集群系统包括多个节点,所述主节点是所述多个节点选举出的节点,所述装置包括:

12.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以执行如权利要求1至7中任一项所述的任务调度方法,或者,执行如权利要求8至9中任一项所述的任务调度方法。

13.一种集群系统,其特征在于,包括主节点和其他节点,其中,

...

【技术特征摘要】

1.一种任务调度方法,其特征在于,应用于集群系统中的主节点,所述集群系统包括多个节点,所述主节点是所述多个节点选举出的节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述多个节点的数量和预设的配置比例确定工作组的数量,包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种任务调度方法,其特征在于,应用于集群系统中除主节点以外的节点,所述集群系统包括多个节点,所述主节点是所述多个...

【专利技术属性】
技术研发人员:汪渭春付磊磊苏霞
申请(专利权)人:杭州海康威视系统技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1