任务调度方法、装置、计算机设备及可读存储介质制造方法及图纸

技术编号:27206594 阅读:19 留言:0更新日期:2021-01-31 12:31
本发明专利技术公开了任务调度方法、装置、计算机设备及可读存储介质,涉及计算机技术领域,包括获取任务信息,所述任务信息包括至少一个服务节点的调度任务;同步所述任务信息中的所述调度任务;监测所述服务节点中所述调度任务的运行状态;获取与所述调度任务关联的关联任务及依赖关系;根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态,解决了现有的各个不同的数据处理工具之间的任务调度不能关联,人工处理流程复杂且不利于后续维护的问题。不利于后续维护的问题。不利于后续维护的问题。

【技术实现步骤摘要】
任务调度方法、装置、计算机设备及可读存储介质


[0001]本专利技术涉及计算机
,尤其涉及一种任务调度方法、装置、计算机设备及可读存储介质。

技术介绍

[0002]随着科技的发展和互联网应用的增加,应用于网络的数据很多,为了有效的对数据进行运算和存储,大多采用数据处理的工具,包括传统关系型数据库,、大数据、还有一些其他的非关系型数据库,但是前述这些不同种类的数据库处理数据时,需要依赖各自的调度任务,比如,hadoop任务和datastage任务是通过不同的工具在不同的工作平台进行调度。
[0003]现有的各个不同的数据处理工具之间的任务调度不能关联,只能通过各自自定义检测工具或者批次数据检测来识别各个调度任务之间的数据依赖,尤其是比较大型的项目,使用多个不同数据处理工具,需要人工沟通协作,增加了整体流程的复杂性,不利于后续的项目维护、调优。

技术实现思路

[0004]本专利技术的目的是提供一种任务调度方法、装置、计算机设备及可读存储介质,用于解决现有的各个不同的数据处理工具之间的任务调度不能关联,人工处理流程复杂且不利于后续维护的问题。
[0005]为实现上述目的,本专利技术提供一种任务调度方法,包括:
[0006]获取任务信息,所述任务信息包括至少一个服务节点的调度任务;
[0007]同步所述任务信息中的所述调度任务;
[0008]监测所述服务节点中所述调度任务的运行状态;
[0009]获取与所述调度任务关联的关联任务及依赖关系;
[0010]根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态;
[0011]其中,所述依赖关系包括直接制约关系和间接制约关系;所述运行状态包括未运行状态、开始运行状态以及结束运行状态。
[0012]进一步的,所述监测所述服务节点中所述调度任务的运行状态,包括以下:
[0013]获取所述服务节点的工作状态,所述工作状态包括空闲状态和忙碌状态;
[0014]判断所述服务节点的负载状态是否为空闲状态;
[0015]若是,获取与所述进服务器节点中所述调度任务关联的关联任务并建立依赖关系;
[0016]若否,将所述调度任务存于一等待队列中。
[0017]进一步的,获取与所述调度任务关联的关联任务并建立依赖关系,包括以下:
[0018]根据所述调度任务携带的关联标识,查询关联任务集合,以获取与所述调度任务
关联的所述关联任务;
[0019]根据所述关联标识的状态信息,确认所述调度任务与所述关联任务的依赖关系。
[0020]进一步的,根据所述关联标识的状态信息,确认所述调度任务与所述关联任务的依赖关系,包括:
[0021]所述状态信息为任务优先级;
[0022]当所述关联标识的任务优先级高于预设任务时,所述调度任务与所述关联任务之间的依赖关系为直接制约关系;
[0023]当所述关联标识的任务优先级低于预设任务时,所述调度任务与所述关联任务之间的依赖关系为间接制约关系。
[0024]进一步的,当所述依赖关系为直接制约关系,根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态,包括以下:
[0025]建立第一执行表单,所述第一执行表单包括具有直接制约关系的调度任务和关联任务,每一所述调度任务或所述关联任务均关联用于标识执行顺序的优先级标签和执行周期;
[0026]基于所述第一执行表单依次控制服务节点中所述调度任务的运行状态和所述关联任务的运行状态。
[0027]进一步的,当当所述依赖关系为间接制约关系,根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态,包括以下:
[0028]建立第二执行表单,所述第二执行表单包括具有间接制约关系的调度任务和关联任务,每一所述调度任务或所述关联任务关联用于标识执行顺序的优先级标签和执行周期;
[0029]基于所述第二执行表单依次控制服务节点中所述调度任务的运行状态和所述关联任务的运行状态。
[0030]进一步的,所述控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态,包括以下:
[0031]采用API调用控制所述调度任务或所述关联任务处于开始运行状态;
[0032]和/或,控制所述调度任务或所述关联任务处于结束运行状态。
[0033]为实现上述目的,本专利技术还提供一种任务调度装置,包括:
[0034]获取模块,用于获取任务信息,所述任务信息包括至少一个服务节点的调度任务;
[0035]同步模块,用于同步所述任务信息中的所述调度任务;
[0036]监测模块,用于监测所述服务节点中所述调度任务的运行状态;
[0037]关联模块,用于获取与所述调度任务关联的关联任务,并建立依赖关系;
[0038]控制模块,用于根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态;
[0039]其中,所述依赖关系包括直接制约关系和间接制约关系;所述运行状态包括未运行状态、开始运行状态以及结束运行状态。
[0040]为实现上述目的,本专利技术还提供一种计算机设备,所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任务调度方法的步骤。
[0041]为实现上述目的,本专利技术还提供一种计算机可读存储介质,其包括多个存储介质,各存储介质上存储有计算机程序,所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述任务调度方法的步骤。
[0042]本专利技术提供的任务调度方法、装置、计算机设备及可读存储介质,通过获取各个服务节点的调度任务,对所述调度任务进行同步和实时监测,而后获取各个调度任务之间的依赖关系以及关联任务,并根据依赖关系对各个调度任务或关联任务进行运行状态的控制,通过上述方式实现对调度任务和关联任务的自动控制,解决了现有的各个不同的数据处理工具之间的任务调度不能关联,人工处理流程复杂且不利于后续维护的问题。
附图说明
[0043]图1为本专利技术所述任务调度方法实施例一的流程图;
[0044]图2为本专利技术所述任务调度方法实施例一中根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态的流程图;
[0045]图3为本专利技术所述任务调度方法实施例一中获取与所述调度任务关联的关联任务并建立依赖关系态的流程图;
[0046]图4为本专利技术所述任务调度方法实施例一中根据所述关联标识的状态信息,确认所述调度任务与所述关联任务的依赖关系的流程图;
[0047]图5为本专利技术所述任务调度装置实施例二的程序模块示意图;
[0048]图6为本专利技术计算机设备实施例三中计算机设备的硬件结构示意图。
[0049]附图标记:
[0050]6、任务调度装置 61、获取模块 62本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法,其特征在于,包括以下:获取任务信息,所述任务信息包括至少一个服务节点的调度任务;同步所述任务信息中的所述调度任务;监测所述服务节点中所述调度任务的运行状态;获取与所述调度任务关联的关联任务并建立依赖关系;根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态;其中,所述依赖关系包括直接制约关系和间接制约关系;所述运行状态包括未运行状态、开始运行状态以及结束运行状态。2.根据权利要求1所述的任务调度方法,其特征在于:所述监测所述服务节点中所述调度任务的运行状态,包括以下:获取所述服务节点的工作状态,所述工作状态包括空闲状态和忙碌状态;判断所述服务节点的负载状态是否为空闲状态;若是,获取与所述进服务器节点中所述调度任务关联的关联任务并建立依赖关系;若否,将所述调度任务存于一等待队列中。3.根据权利要求2所述的任务调度方法,其特征在于,获取与所述调度任务关联的关联任务并建立依赖关系,包括以下:根据所述调度任务携带的关联标识,查询关联任务集合,以获取与所述调度任务关联的所述关联任务;根据所述关联标识的状态信息,确认所述调度任务与所述关联任务的依赖关系。4.根据权利要求3所述的任务调度方法,其特征在于,根据所述关联标识的状态信息,确认所述调度任务与所述关联任务的依赖关系,包括:所述状态信息为任务优先级;当所述关联标识的任务优先级高于预设任务时,所述调度任务与所述关联任务之间的依赖关系为直接制约关系;当所述关联标识的任务优先级低于预设任务时,所述调度任务与所述关联任务之间的依赖关系为间接制约关系。5.根据权利要求1所述的任务调度方法,其特征在于,当所述依赖关系为直接制约关系,根据所述依赖关系控制服务节点的所述关联任务的运行状态和所述调度任务的运行状态,包括以下:建立第一执行表单,所述第一执行表单包括具有直接制约关系的调度任务和关联任务,每一所述调度任务或所述关联任务均关联用于标识执行顺序的...

【专利技术属性】
技术研发人员:程克喜
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1