【技术实现步骤摘要】
本专利技术属于互联网，尤其涉及一种跑批任务编排的调度系统及方法。
技术介绍
1、随着信息技术的发展，信息化成为目前银行发展的重要方向，尤其是针对一些需要进行批量处理的任务，通过信息化手段进行处理可以大大加快处理的效率，例如，银行大批量报表的生成、清分计算等，只要不是需要实时操作的数据，都可以借用信息化手段进行加快处理，因此，跑批这个概念由此诞生。
2、在传统的跑批任务处理方式中，通常采用手动或周期处理工具来调度和执行批处理任务，这种方式存在效率低下，且容易出错，难以满足企业快速发展的需求。
技术实现思路
1、本专利技术所解决的技术问题在于提供一种跑批任务编排的调度系统及方法，以解决现有技术中存在的效率低的问题。
2、本专利技术提供的基础方案：一种跑批任务编排的调度系统，包括：
3、数据获取模块，用于获取待跑批编排的业务数据；
4、任务抽象模块，用于根据业务数据的属性抽象成任务，以及将多个业务数据关联抽象生成任务组；
5、任务关联模块，用于判断任务之间或者任务与任务组之间或者任务组之间的依赖关系，并生成有向无环图；
6、任务扫描执行模块，用于根据预设的定时扫描线程按照预设的定时时间对有向无环图的根节点进行任务查找扫描，并提取对应任务的任务配置时间和系统时间进行比对，若系统时间大于任务配置时间，则表示该任务未到执行时间直接跳过；若当前任务无任务配置时间或者系统时间小于等于任务配置时间，则将该任务进行提交执行。>
7、进一步，所述任务抽象模块包括属性识别单元、任务生成单元和任务组生成单元，所述属性识别单元用于识别业务数据的各项属性，生成属性识别结果，任务生成单元用于根据属性识别结果，将对应的业务数据抽象成包含属性内容的任务，所述任务组生成单元用于将生成的多个任务按照其空间属性生成任务组。
8、进一步，所述任务关联模块中包括依赖判断单元和有向无环图生成单元，所述依赖判断单元用于分析目标任务的执行条件，判断执行条件中是否存在依赖任务，若存在依赖任务，则将该依赖任务作为目标任务的上一级前置任务，若不存在，则将该目标任务作为前置任务；
9、所述有向无环图生成单元用于根据依赖判断单元的判断结果，生成有向无环图。
10、进一步，所述任务关联模块中还包括入度判断单元，所述入度判断单元用于对有向无环图中各目标任务的依赖任务关系进行判断，若目标任务无依赖或被依赖的任务，则该目标任务的入度为0，若目标任务无依赖的任务但有被依赖的任务，则该目标任务的入度为0，若目标任务有依赖的任务以及被依赖的任务，则该目标任务的入度为1。
11、进一步，所述任务扫描执行模块包括定时扫描单元、任务执行单元以及任务监控单元，所述定时扫描单元中预设定时扫描线程，所述定时扫描单元用于调用定时扫描线程按照预设的定时时间对有向无环图的根节点进行扫描，查找入度为0的目标任务；
12、所述任务执行单元接收入度为0的目标任务，并判断目标任务的系统时间和任务配置时间，当系统时间大于任务配置时间，则表示目标任务未到执行时间直接跳过不执行；若目标任务无任务配置时间或者系统时间小于等于任务配置时间，则将目标任务进行提交执行；
13、所述任务监控模块中预设守护线程，所述任务监控模块用于在任务执行单元执行完成后调用守护线程对目标任务的执行状态进行记录以及目标任务在有向无环图中的状态进行变更。
14、进一步，还包括退维模块，所述退维模块用于遍历有向无环图中是否存在任务组，若存在，则将任务组退维成单个任务，并根据任务组在有向无环图的入线方向和出现方向分别进行对应的入线节点连接和出线节点连接。
15、进一步，还包括任务新增模块，所述任务新增模块用于将新增任务或者新增任务组的节点加入进有向无环图中对应的节点中，所述任务新增模块包括验证单元，所述验证单元用于对加入任务或者任务组的有向无环图进行有向无环验证。
16、进一步，还包括任务删除优化模块，所述任务删除优化模块用于对有向无环图中的任务或者任务组进行删除，并判断删除后的有向无环图中的新增任务路径是否满足预设的要求，不满足则对任务路径进行优化处理。
17、一种跑批任务编排的调度方法，应用于上述的一种跑批任务编排的调度系统，包括：
18、s1：获取待跑批编排的业务数据；
19、s2：根据业务数据的属性抽象成任务，以及将多个业务数据关联抽象生成任务组；
20、s3：判断任务之间或者任务与任务组之间或者任务组之间的依赖关系，并生成有向无环图；
21、s4：根据预设的定时扫描线程按照预设的定时时间对有向无环图的根节点进行任务查找扫描，并提取对应任务的任务配置时间和系统时间进行比对，若系统时间大于任务配置时间，则表示该任务未到执行时间直接跳过；若当前任务无任务配置时间或者系统时间小于等于任务配置时间，则将该任务进行提交执行。
22、本专利技术的原理及优点在于：在本专利技术中，针对需要进行跑批处理的业务数据，首先将业务数据生成待执行的任务，对于任务与任务之间的空间属性进行关联生成任务组，以此，使得需要执行跑批的数据变成一个个任务或者任务组，在对这些任务或者任务组进行调度编排时，按照其依赖度生成有向无环图，对于有向无环图中的各个任务或者任务组，判断其是否有依赖任务或者被依赖任务，以此得到各个任务或者任务组的入度，在执行任务时，通过扫描有向无环图中入度为0的任务作为需要执行的任务，再判断其任务配置时间是否达到系统时间，或者无配置时间，则立即执行该任务，该任务执行完成后，通过安全线程对该任务进行状态变更和记录，以此来使得各业务数据代表的任务被有序执行，且根据本申请的任务编排和调度处理，按照依赖关系和时间多维度任务条件，简化了整个跑批任务的复杂度，使得任务执行效率快、整体流程轻量化并简单明了，因此本申请解决了现有技术中存在的效率低的问题。
本文档来自技高网...【技术保护点】
1.一种跑批任务编排的调度系统，其特征在于：包括：
2.根据权利要求1所述的一种跑批任务编排的调度系统，其特征在于：所述任务抽象模块包括属性识别单元、任务生成单元和任务组生成单元，所述属性识别单元用于识别业务数据的各项属性，生成属性识别结果，任务生成单元用于根据属性识别结果，将对应的业务数据抽象成包含属性内容的任务，所述任务组生成单元用于将生成的多个任务按照其空间属性生成任务组。
3.根据权利要求2所述的一种跑批任务编排的调度系统，其特征在于：所述任务关联模块中包括依赖判断单元和有向无环图生成单元，所述依赖判断单元用于分析目标任务的执行条件，判断执行条件中是否存在依赖任务，若存在依赖任务，则将该依赖任务作为目标任务的上一级前置任务，若不存在，则将该目标任务作为前置任务；
4.根据权利要求3所述的一种跑批任务编排的调度系统，其特征在于：所述任务关联模块中还包括入度判断单元，所述入度判断单元用于对有向无环图中各目标任务的依赖任务关系进行判断，若目标任务无依赖或被依赖的任务，则该目标任务的入度为0，若目标任务无依赖的任务但有被依赖的任务，则该目标任务
5.根据权利要求4所述的一种跑批任务编排的调度系统，其特征在于：所述任务扫描执行模块包括定时扫描单元、任务执行单元以及任务监控单元，所述定时扫描单元中预设定时扫描线程，所述定时扫描单元用于调用定时扫描线程按照预设的定时时间对有向无环图的根节点进行扫描，查找入度为0的目标任务；
6.根据权利要求5所述的一种跑批任务编排的调度系统，其特征在于：还包括退维模块，所述退维模块用于遍历有向无环图中是否存在任务组，若存在，则将任务组退维成单个任务，并根据任务组在有向无环图的入线方向和出现方向分别进行对应的入线节点连接和出线节点连接。
7.根据权利要求6所述的一种跑批任务编排的调度系统，其特征在于：还包括任务新增模块，所述任务新增模块用于将新增任务或者新增任务组的节点加入进有向无环图中对应的节点中，所述任务新增模块包括验证单元，所述验证单元用于对加入任务或者任务组的有向无环图进行有向无环验证。
8.根据权利要求7所述的一种跑批任务编排的调度系统，其特征在于：还包括任务删除优化模块，所述任务删除优化模块用于对有向无环图中的任务或者任务组进行删除，并判断删除后的有向无环图中的新增任务路径是否满足预设的要求，不满足则对任务路径进行优化处理。
9.一种跑批任务编排的调度方法，应用于如上权利要求1-8任一项所述的一种跑批任务编排的调度系统，其特征在于：包括：
...【技术特征摘要】
1.一种跑批任务编排的调度系统，其特征在于：包括：
2.根据权利要求1所述的一种跑批任务编排的调度系统，其特征在于：所述任务抽象模块包括属性识别单元、任务生成单元和任务组生成单元，所述属性识别单元用于识别业务数据的各项属性，生成属性识别结果，任务生成单元用于根据属性识别结果，将对应的业务数据抽象成包含属性内容的任务，所述任务组生成单元用于将生成的多个任务按照其空间属性生成任务组。
3.根据权利要求2所述的一种跑批任务编排的调度系统，其特征在于：所述任务关联模块中包括依赖判断单元和有向无环图生成单元，所述依赖判断单元用于分析目标任务的执行条件，判断执行条件中是否存在依赖任务，若存在依赖任务，则将该依赖任务作为目标任务的上一级前置任务，若不存在，则将该目标任务作为前置任务；
4.根据权利要求3所述的一种跑批任务编排的调度系统，其特征在于：所述任务关联模块中还包括入度判断单元，所述入度判断单元用于对有向无环图中各目标任务的依赖任务关系进行判断，若目标任务无依赖或被依赖的任务，则该目标任务的入度为0，若目标任务无依赖的任务但有被依赖的任务，则该目标任务的入度为0，若目标任务有依赖的任务以及被依赖的任务，则该目标任务的入度为1。
5.根据权利要求4所述的一种跑批任务编排的调度系统，其特征...
【专利技术属性】
技术研发人员：黎杰，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。