任务调度方法、系统、终端设备及存储介质技术方案

本发明专利技术提供了一种任务调度方法、系统、终端设备及存储介质，该方法包括：分别获取各异常任务节点的下游依赖节点，分别以各下游依赖节点为起点查询对应下游节点生成下游节点串；确定各下游节点串中的各任务节点的位置序号，根据各任务节点的位置序号确定任务跑批层次得到下游任务集合；各目标任务节点的上游依赖节点与下游任务集合进行匹配得到目标节点集合；根据目标节点集合中各任务节点的任务跑批层次执行任务，当完成目标节点集合中各任务节点的任务，对下游任务集合中剩余任务节点执行任务。本发明专利技术能够在不影响数据正确性的前提下，优先恢复关键任务节点的数据，同时通过任务跑批层次执行任务，控制跑批顺序，提高任务调度的效率跟直观性。调度的效率跟直观性。调度的效率跟直观性。

【技术实现步骤摘要】
任务调度方法、系统、终端设备及存储介质


[0001]本专利技术涉及任务调度
，尤其涉及一种任务调度方法、系统、终端设备及存储介质。

技术介绍

[0002]在多并发跑批的任务调度系统中，经常出现多源头节点任务发生数据质量问题或者程序逻辑问题，需要进行重新任务调度。由于某些任务的下游任务可能会有几千个，为了使所有数据都恢复正常，理论上相关下游的任务都进行重跑，需要花费几个小时的时间，影响业务使用。一般系统中还会有最小服务级别协议(service Level Agreement，SLA)的调度路径设置(关键任务)，一旦关键任务受影响，需要以最快速度进行修复。如何按照影响性进行任务恢复调度，同时保证SLA路径获得最优先的跑批资源，是任务调度系统的一个难题。
[0003]现有的任务调度只能根据单异常节点进行整条链路的任务恢复，进而导致任务调度效率低下，降低了用户的使用体验。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种任务调度方法、系统、终端设备及存储介质，旨在解决现有的任务调度过程中，只能根据单异常节点进行整条链路的任务恢复，导致的任务调度效率低下及优先级无法控制的问题。
[0005]本专利技术实施例是这样实现的，一种任务调度方法，所述方法包括：
[0006]分别获取各异常任务节点的下游依赖节点，并分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串；
[0007]分别确定各下游节点串中的各任务节点的位置序号，并根据各任务节点的位置序号确定任务跑批层次，得到下游任务集合；
[0008]分别获取各目标任务节点的上游依赖节点，并将各个上游依赖节点与所述下游任务集合中的任务节点进行匹配，得到目标节点集合；
[0009]根据所述目标节点集合中各任务节点的任务跑批层次执行任务，并当完成所述目标节点集合中各任务节点的任务，对所述下游任务集合中剩余任务节点执行任务。
[0010]更进一步的，所述分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串，包括：
[0011]分别以各下游依赖节点为起点进行下游节点查询，并以查询到的下游节点为起点返回执行所述进行下游节点查询的步骤，直至未查询到下游节点；
[0012]针对各下游依赖节点，将查询到的下游节点进行去重合并，得到所述下游节点串，并对所述下游节点串进行去重处理。
[0013]更进一步的，所述根据各任务节点的位置序号确定任务跑批层次，得到下游任务集合，包括：
[0014]分别获取各任务节点对应最大位置序号，并将所述最大位置序号确定为对应所述任务节点的所述任务跑批层次；
[0015]将各任务节点与对应的所述任务跑批层次进行存储，得到所述下游任务集合。
[0016]更进一步的，所述根据所述目标节点集合中各任务节点的任务跑批层次执行任务之后，还包括：
[0017]若所述目标节点集合中任一任务节点完成任务，则根据完成的任务节点对所述下游任务集合中对应的任务节点进行标注。
[0018]更进一步的，所述对所述下游任务集合中剩余任务节点执行任务，包括：
[0019]将所述下游任务集合中未被标注的任务节点，确定为所述剩余任务节点，并根据所述剩余任务节点对应的任务跑批层次执行任务。
[0020]更进一步的，所述方法还包括：
[0021]分别确定各目标任务节点的必要任务节点，并将预设跑批层次确定为各必要任务节点的任务跑批层次；
[0022]将所述必要任务节点添加至所述目标节点集合中。
[0023]更进一步的，所述将各个上游依赖节点与所述下游任务集合中的任务节点进行匹配，得到目标节点集合之后，还包括：
[0024]若同一所述任务跑批层次对应的任务节点的数量大于数量阈值，则生成任务跑批队列，并根据所述任务跑批队列对同一所述任务跑批层次对应的任务节点执行任务。
[0025]本专利技术实施例的另一目的在于提供一种任务调度系统，所述系统包括：
[0026]下游节点查询模块，用于分别获取各异常任务节点的下游依赖节点，并分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串；
[0027]位置序号确定模块，用于分别确定各下游节点串中的各任务节点的位置序号，并根据各任务节点的位置序号确定任务跑批层次，得到下游任务集合；
[0028]任务节点匹配模块，用于分别获取各目标任务节点的上游依赖节点，并将各个上游依赖节点与所述下游任务集合中的任务节点进行匹配，得到目标节点集合；
[0029]任务执行模块，用于根据所述目标节点集合中各任务节点的任务跑批层次执行任务，并当完成所述目标节点集合中各任务节点的任务，对所述下游任务集合中剩余任务节点执行任务。
[0030]本专利技术实施例的另一目的在于提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
[0031]本专利技术实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0032]本专利技术实施例，通过分别以各下游依赖节点为起点查询对应下游节点，能有效地生成各下游依赖节点对应的下游节点串，根据各下游节点串中的各任务节点的位置序号和任务跑批层次，能有效地确定到需要重新执行任务的下游任务集合，通过将各个上游依赖节点与下游任务集合中的任务节点进行匹配，能有效地确定到需要优先恢复的任务节点，通过目标节点集合中各任务节点的任务跑批层次执行任务，能同时对多个任务节点执行任务，且对目标任务节点并未造成影响，提高了任务调度效率。
附图说明
[0033]图1是本专利技术第一实施例提供的任务调度方法的流程图；
[0034]图2是本专利技术第二实施例提供的任务调度方法的流程图；
[0035]图3是本专利技术第三实施例提供的任务调度系统的结构示意图；
[0036]图4是本专利技术第四实施例提供的终端设备的结构示意图。
具体实施方式
[0037]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0038]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0039]实施例一
[0040]请参阅图1，是本专利技术第一实施例提供的任务调度方法的流程图，该任务调度方法可以应用与任一终端设备或系统，该终端设备包括服务器、手机、平板或可穿戴智能设备等，该任务调度方法包括步骤：
[0041]步骤S10，分别获取各异常任务节点的下游依赖节点，并分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串；
[0042]其中，该任务调度方法应用于任务调度系统中，在任务调度系统中一般登记的依赖关系为任务节点D
‑
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度方法，其特征在于，所述方法包括：分别获取各异常任务节点的下游依赖节点，并分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串；分别确定各下游节点串中的各任务节点的位置序号，并根据各任务节点的位置序号确定任务跑批层次，得到下游任务集合；分别获取各目标任务节点的上游依赖节点，并将各个上游依赖节点与所述下游任务集合中的任务节点进行匹配，得到目标节点集合；根据所述目标节点集合中各任务节点的任务跑批层次执行任务，并当完成所述目标节点集合中各任务节点的任务，对所述下游任务集合中剩余任务节点执行任务。2.如权利要求1所述的任务调度方法，其特征在于，所述分别以各下游依赖节点为起点查询对应下游节点，生成下游节点串，包括：分别以各下游依赖节点为起点进行下游节点查询，并以查询到的下游节点为起点返回执行所述进行下游节点查询的步骤，直至未查询到下游节点；针对各下游依赖节点，将查询到的下游节点进行去重合并，得到所述下游节点串，并对所述下游节点串进行去重处理。3.如权利要求1所述的任务调度方法，其特征在于，所述根据各任务节点的位置序号确定任务跑批层次，得到下游任务集合，包括：分别获取各任务节点对应最大位置序号，并将所述最大位置序号确定为对应所述任务节点的所述任务跑批层次；将各任务节点与对应的所述任务跑批层次进行存储，得到所述下游任务集合。4.如权利要求1所述的任务调度方法，其特征在于，所述根据所述目标节点集合中各任务节点的任务跑批层次执行任务之后，还包括：若所述目标节点集合中任一任务节点完成任务，则根据完成的任务节点对所述下游任务集合中对应的任务节点进行标注。5.如权利要求4所述的任务调度方法，其特征在于，所述对所述下游任务集合中剩余任务节点执行任务，包括：将所述下游任务集合中未被标注的任务节点，确...

【专利技术属性】
技术研发人员：李龙权，汲浩，洪逸飞，李祖泉，蔡建平，林文海，唐雁南，
申请(专利权)人：厦门国际银行股份有限公司，
类型：发明
国别省市：