任务调度方法、装置、电子设备及存储介质制造方法及图纸

技术编号:30407243 阅读:23 留言:0更新日期:2021-10-20 11:15
本发明专利技术实施例提供了一种任务调度方法、装置、电子设备及存储介质,所述方法包括:在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素;基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度;利用所述任务调度倾向度,从各候选服务器集群中确定目标服务器集群;将所述待处理任务调度至所述目标服务器集群。如此对于各候选服务器集群而言,确定各自对应的任务调度倾向度,从而利用任务调度倾向度,从各候选服务器集群中确定目标服务器集群,将待处理任务调度至目标服务器集群,可以实现自动化调度任务,且降低了服务器集群的管理与维护成本,提高了任务处理效率、任务数据产出效率。产出效率。产出效率。

【技术实现步骤摘要】
任务调度方法、装置、电子设备及存储介质


[0001]本专利技术涉及任务调度
,尤其涉及一种任务调度方法、装置、电子设备及存储介质。

技术介绍

[0002]随着互联网的不断发展,数据呈爆发式增长,对数据的实时性要求、稳定性要求越来越高。与此同时,为了应对待处理任务(例如数据报表统计任务、用户行为分析任务)越来越多的现状,企业中服务器集群的规模和数量不断增加,造成服务器集群的管理难度加大,因此迫切需要设计一个稳定、高效、快速、智能的任务调度方案,来规避服务器集群中宕机或者任务拥挤等情况的发生,从而更好地保证任务数据(即执行待处理任务产生的数据)稳定且高效地产出。
[0003]相关技术中,需要由相关人员为待处理任务指定对应的服务器集群,从而将待处理任务调度至对应服务器集群来进行处理。然而,当服务器集群中发生宕机或者任务拥挤等情况时,要么等待服务器集群恢复正常,要么重新指定这个待处理任务对应的其它服务器集群,将该待处理任务重新调度至其它服务器集群来进行处理。如此造成服务器集群的管理与维护成本较高,且任务处理效率低下,任务数据产生效率较低。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种任务调度方法、装置、电子设备及存储介质,以实现自动化调度任务,降低服务器集群的管理与维护成本,提高任务处理效率,以及提高任务数据产出效率的有益效果。具体技术方案如下:
[0005]在本专利技术实施例的第一方面,首先提供了一种任务调度方法,所述包括:
[0006]在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素;
[0007]基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度;
[0008]利用所述任务调度倾向度,从各候选服务器集群中确定目标服务器集群;
[0009]将所述待处理任务调度至所述目标服务器集群。
[0010]在本专利技术实施例的第二方面,还提供了一种任务调度装置,所述装置包括:
[0011]要素确定模块,用于在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素;
[0012]倾向度确定模块,用于基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度;
[0013]集群确定模块,用于利用所述任务调度倾向度,从各候选服务器集群中确定目标服务器集群;
[0014]任务调度模块,用于将所述待处理任务调度至所述目标服务器集群。
[0015]在本专利技术实施例的第三方面,还提供了一种电子设备,包括处理器、通信接口、存
储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
[0016]存储器,用于存放计算机程序;
[0017]处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一所述的任务调度方法。
[0018]在本专利技术实施例的第四方面,还提供了一种存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面中任一所述的任务调度方法。
[0019]在本专利技术实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面中任一所述的任务调度方法。
[0020]本专利技术实施例提供的技术方案,在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素,基于各候选服务器集群的任务调度要素,确定各候选服务器集群对待处理任务的任务调度倾向度,利用任务调度倾向度,从各候选服务器集群中确定目标服务器集群,将待处理任务调度至目标服务器集群。如此对于各候选服务器集群而言,确定各自对应的任务调度倾向度,从而利用任务调度倾向度,从各候选服务器集群中确定目标服务器集群,将待处理任务调度至目标服务器集群,可以实现自动化调度任务,由此避免了相关人员为待处理任务指定对应的服务器集群,并且当服务器集群中发生宕机或者任务拥挤等情况时,也避免了等待服务器集群恢复正常或重新指定这个待处理任务对应的其它服务器集群,降低了服务器集群的管理与维护成本,提高了任务处理效率、任务数据产出效率。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本专利技术的实施例,并与说明书一起用于解释本专利技术的原理。
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0023]图1为本专利技术实施例中示出的一种任务调度方法的实施流程示意图;
[0024]图2为本专利技术实施例中示出的一种任务调度应用场景示意图;
[0025]图3为本专利技术实施例中示出的另一种任务调度方法的实施流程示意图;
[0026]图4为本专利技术实施例中示出的另一种任务调度应用场景示意图;
[0027]图5为本专利技术实施例中示出的一种任务调度装置的结构示意图;
[0028]图6为本专利技术实施例中示出的一种电子设备的结构示意图。
具体实施方式
[0029]为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术的一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0030]需要说明的是,本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换,以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031]如图1所示,为本专利技术实施例提供的一种任务调度方法的实施流程示意图,该方法可以用于任务调度装置,任务调度装置可用于对接收到的任务进行集群间调度。该方法具体可以包括以下步骤:
[0032]S101,在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素。
[0033]S102,基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度。
[0034]在本专利技术实施例中,使用方(例如数据开发工程师)可以设计待处理任务,这里待处理任务可以是数据报表统计任务、用户行为分析任务等,本专利技术实施例对此不作限定。从而使用方可以在客户端提交待处理任务,并通过客户端将待处理任务发送至任务调度装置,由任务调度本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法,其特征在于,所述方法包括:在接收到待处理任务的情况下,确定各候选服务器集群的任务调度要素;基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度;利用所述任务调度倾向度,从各候选服务器集群中确定目标服务器集群;将所述待处理任务调度至所述目标服务器集群。2.根据权利要求1所述的方法,其特征在于,所述任务调度要素至少包括下述之一:负载状况、任务队列中任务数量、所述待处理任务的数据存储状况、所述数据的数据级别。3.根据权利要求2所述的方法,其特征在于,所述基于各候选服务器集群的所述任务调度要素,确定各候选服务器集群对所述待处理任务的任务调度倾向度,包括:针对任意一个所述候选服务器集群,获取所述候选服务器集群中各任务调度要素各自对应的倾向度参数;基于各任务调度要素各自对应的倾向度参数,确定所述候选服务器集群对所述待处理任务的任务调度倾向度。4.根据权利要求3所述的方法,其特征在于,所述基于各任务调度要素各自对应的倾向度参数,确定所述候选服务器集群对所述待处理任务的任务调度倾向度,包括:获取各任务调度要素各自对应的倾向度参数之积,得到所述候选服务器集群对所述待处理任务的任务调度倾向度;或者,获取各任务调度要素各自对应的倾向度参数之间的加权和,得到所述候选服务器集群对所述待处理任务的任务调度倾向度。5.根据权利要求3所述的方法,其特征在于,所述获取所述候选服务器集群中各任务调度要素各自对应的倾向度参数,包括:确定所述候选服务器集群中各任务调度要素各自对应的要素级别,查找与所述要素级别相对应的倾向度参数;或者,利用预先训练好的倾向度参数预测模型,对所述候选服务器集群中各任务调度要素进行处理,得到各自对应的倾向度参数。6.根据权利要求1至5中任一项所述的方法,其特征在...

【专利技术属性】
技术研发人员:张俊帆
申请(专利权)人:北京奇艺世纪科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1