本公开提供了一种作业调度方法，属于大数据技术领域。所述方法包括：基于作业数据库中存储的作业信息，生成作业调度表，所述作业调度表中按照M个作业的开始时刻的先后顺序将所述M个作业进行排序，并记录所述M个作业的执行条件以及所述各个作业对应的执行器的信息；依据所述作业调度表，在所述M个作业中的第一作业的开始时刻，当满足所述第一作业的执行条件时，将所述第一作业调度至所述第一作业对应的第一执行器进行执行；或者依据所述作业调度表，在所述第一作业的开始时刻，当所述第一作业的执行条件不满足时，吊起所述第一作业并进行报警。本公开还提供了一种作业调度装置、设备、存储介质和程序产品。存储介质和程序产品。存储介质和程序产品。
【技术实现步骤摘要】
作业调度方法、装置、设备及介质
[0001]本公开涉及大数据
，更具体地涉及一种作业调度方法、装置、设备、介质和程序产品。
技术介绍
[0002]任务调度对于企业的业务运行非常重要。传统的任务调度通常以预定义静态工作流形式，依托于第三方开放平台操作自动化系统组织批量作业运行调度，对数据进行集中存储和处理。然而通过预定义静态工作流的形式会导致难以进行动态调整，且预定义工作流设计复杂。
技术实现思路
[0003]鉴于上述问题，本公开提供了可以实现动态调度的作业调度方法、装置、设备、介质和程序产品。
[0004]根据本公开的第一方面，提供了一种作业调度方法。所述方法包括：基于作业数据库中存储的作业信息，生成作业调度表，所述作业调度表中按照M个作业的开始时刻的先后顺序将所述M个作业进行排序，并记录所述M个作业的执行条件、以及所述各个作业对应的执行器的信息，其中，M为大于1的整数；依据所述作业调度表，在所述M个作业中的第一作业的开始时刻，当满足所述第一作业的执行条件时，将所述第一作业调度至所述第一作业对应的第一执行器进行执行；其中，所述第一作业为所述M个作业中的任意一个作业；以及依据所述作业调度表，在所述第一作业的开始时刻，当所述第一作业的执行条件不满足时，吊起所述第一作业并进行报警。
[0005]根据本公开的实施例，所述作业数据库中通过N个关联作业表存储作业信息，其中，N个所述关联作业表之间按照预定结构相关联，N为大于或等于1的整数。所述基于作业数据库中存储的作业信息，生成作业调度表包括：预先设置所述作业调度表的各个字段；以及针对作业数据库中记录的每一个作业，从所述作业数据库中存储的N个关联作业表中抽取该作业的对应于所述作业调度表中的字段信息并填写到所述作业调度表中。
[0006]根据本公开的实施例，N个所述关联作业表包括作业列表，其中，所述作业列表汇总了需要调度的所有作业的基本信息；所述基于作业数据库中存储的作业信息，生成作业调度表还包括：轮询所述作业数据库中的作业列表；以及在所述作业列表中存在信息变更的第二作业时，从N个所述关联作业表中抽取所述第二作业的对应于所述作业调度表中的字段信息，并更新到所述作业调度表中。
[0007]根据本公开的实施例，所述满足所述第一作业的执行条件至少包括：触发第一作业的提交方式的事件发生，所述提交方式包括定时自动提交或手动提交；当所述第一作业存在具有依赖关系的上游作业时，所述上游作业执行完成；以及所述第一执行器的状态为可用。
[0008]根据本公开的实施例，所述方法还包括：在所述第一作业的开始时刻，通过监听注
册中心中存储的S个执行器的状态信息，来确定所述第一执行器的状态，其中，所述第一执行器为所述S个执行器其中之一，其中，S为大于1的整数。
[0009]根据本公开的实施例，所述方法还包括：当所述第一作业存在具有依赖关系的上游作业时，在所述第一作业的开始时刻，通过查询注册中心收集的作业的执行结果信息，来确定所述第一作业的上游作业的执行状态。
[0010]根据本公开的实施例，所述方法还包括当监听到所述注册中心收集到所述第一作业的执行结果信息时，对应更新作业数据库中所述第一作业的执行状态。
[0011]本公开实施例的第二方面，提供了一种作业调度装置。所述装置包括生成模块、调度模块、以及异常处理模块。生成模块用于基于作业数据库中存储的作业信息，生成作业调度表，所述作业调度表中按照M个作业的开始时刻的先后顺序将所述M个作业进行排序，并记录所述M个作业的执行条件、以及所述各个作业对应的执行器的信息，其中，M为大于1的整数。调度模块用于依据所述作业调度表，在所述M个作业中的第一作业的开始时刻，当满足所述第一作业的执行条件时，将所述第一作业调度至所述第一作业对应的第一执行器进行执行；其中，所述第一作业为所述M个作业中的任意一个作业。异常处理模块用于依据所述作业调度表，在所述第一作业的开始时刻，当所述第一作业的执行条件不满足时，吊起所述第一作业并进行报警。
[0012]根据本公开的实施例，所述装置还包括监听模块。所述监听模块用于在所述第一作业的开始时刻，通过监听注册中心中存储的S个执行器的状态信息，来确定所述第一执行器的状态，其中，所述第一执行器为所述S个执行器其中之一，其中，S为大于1的整数。
[0013]根据本公开的实施例，所述监听模块用于当所述第一作业存在具有依赖关系的上游作业时，在所述第一作业的开始时刻，通过查询注册中心收集的作业的执行结果信息，来确定所述第一作业的上游作业的执行状态。
[0014]本公开实施例的第三方面，提供了一种电子设备。所述电子设备包括一个或多个处理器、以及一个或多个存储器。所述一个或多个存储器用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。
[0015]本公开的第四方面，还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
[0016]本公开的第五方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
附图说明
[0017]通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
[0018]图1示意性示出了适用根据本公开实施例的作业调度方法、装置、设备、介质和程序产品的调度框架；
[0019]图2示意性示出了根据本公开实施例的调度框架中控制中心的内部逻辑；
[0020]图3示意性示出了根据本公开实施例的调度框架中注册中心的内部逻辑；
[0021]图4示意性示出了根据本公开实施例的作业调度方法的流程图；
[0022]图5示意性示出了根据本公开实施例的作业调度方法中生成作业调度表的流程图；
[0023]图6示意性示出了根据本公开另一实施例的作业调度方法中生成作业调度表的流程图；
[0024]图7示意性示出了根据本公开实施例的作业调度装置的结构框图；以及
[0025]图8示意性示出了根据本公开实施例的适于实现作业调度方法的电子设备的方框图。
具体实施方式
[0026]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0027]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0028]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种作业调度方法，包括：基于作业数据库中存储的作业信息，生成作业调度表，所述作业调度表中按照M个作业的开始时刻的先后顺序将所述M个作业进行排序，并记录所述M个作业的执行条件、以及所述各个作业对应的执行器的信息，其中，M为大于1的整数；依据所述作业调度表，在所述M个作业中的第一作业的开始时刻，当满足所述第一作业的执行条件时，将所述第一作业调度至所述第一作业对应的第一执行器进行执行；其中，所述第一作业为所述M个作业中的任意一个作业；以及依据所述作业调度表，在所述第一作业的开始时刻，当所述第一作业的执行条件不满足时，吊起所述第一作业并进行报警。2.根据权利要求1所述的方法，其中，所述作业数据库中通过N个关联作业表存储作业信息，其中，N个所述关联作业表之间按照预定结构相关联，N为大于或等于1的整数；所述基于作业数据库中存储的作业信息，生成作业调度表包括：预先设置所述作业调度表的各个字段；以及针对所述作业数据库中记录的每一个作业，从所述作业数据库中存储的N个所述关联作业表中抽取该作业的对应于所述作业调度表中的字段信息并填写到所述作业调度表中。3.根据权利要求2所述的方法，其中，N个所述关联作业表包括作业列表，其中，所述作业列表汇总了需要调度的所有作业的基本信息；所述基于作业数据库中存储的作业信息，生成作业调度表还包括：轮询所述作业数据库中的作业列表；以及在所述作业列表中存在信息变更的第二作业时，从N个所述关联作业表中抽取所述第二作业的对应于所述作业调度表中的字段信息，并更新到所述作业调度表中。4.根据权利要求1所述的方法，其中，所述满足所述第一作业的执行条件至少包括：触发第一作业的提交方式的事件发生，所述提交方式包括定时自动提交或手动提交；当所述第一作业存在具有依赖关系的上游作业时，所述上游作业执行完成；以及所述第一执行器的...
【专利技术属性】
技术研发人员：万玉翠，金剑峰，吴兆俊，刘军梅，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。