System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及数据处理,尤其涉及一种任务的处理方法及装置。
技术介绍
1、随着企业的发展,生产产品的企业的各个部门(如业务线、生产线、产品线)都会承建各种信息化系统,用于处理各自的产品数据。例如,生产线承建的信息化系统可以将生产线的设备上传的产品数据、以及人工上传的产品数据进行统一整合后进行分析,进而方便开发人员根据分析结果判断产品的不良原因。
2、由于产品的生产工艺流程繁琐复杂、生产周期长、数据量大。为了更好的管理产品生产过程中的数据,可以通过数据仓库对数据进行分层处理。层与层之间的数据处理后具有依赖关系。如何保证层与层之间的数据一致性成为亟待解决的问题。
技术实现思路
1、本公开的实施例的目的在于提供一种任务的处理方法及装置,用于保证数据库中层与层之间的数据一致性。
2、为达到上述目的,本公开的实施例提供了如下技术方案:
3、一方面,提供一种任务的处理方法。该方法包括:获取目标任务在当前时间的执行信息,该目标任务用于对目标数据进行处理操作,目标任务的执行信息包括目标数据的开始时间和结束时间。确定目标任务的上游任务以及上游任务的执行信息。若目标任务与上游任务位于任务执行周期内,且目标任务的执行信息中数据的开始时间位于目标数据的结束时间之后,或与目标数据的结束时间相同,则根据目标任务在当前时间的执行新,执行目标任务。
4、上述方法中,在获取目标任务的执行信息之后,可以确定目标任务的上游任务以及上游任务的执行信息,并判断目标任务与上游任务是
5、在一些实施例中,该方法还包括:若目标任务和/或与目标任务的上游任务不位于任务执行周期内,和/或,目标任务的上游任务的执行信息中数据的开始时间位于目标数据的结束时间之前,则不执行目标任务。
6、在一些实施例中,该方法还包括:响应于目标任务执行完成,更新目标任务的执行信息,更新后的执行信息包括当前时间之后待处理的数据的开始时间和结束时间。
7、在一些实施例中,上述“确定目标任务的上游任务”具体包括:根据预设对应关系,确定目标任务的上游任务。该预设对应关系包括多个任务之间的上下游关系,其中,该多个任务包括目标任务。
8、在一些实施例中,该方法还包括:响应于目标任务的执行完成,存储目标任务的实际执行时间,目标任务的实际执行时间包括目标任务的开始执行时间以及执行结束时间。
9、在一些实施例中,目标任务的执行信息还包括目标任务的执行时间间隔、执行次数,上述“根据目标任务在当前时间的执行信息,执行目标任务”包括:根据执行时间间隔,执行目标任务,并在目标任务执行完成之后,更新目标任务的执行次数。
10、在一些实施例中,该方法还包括:若目标任务与目标任务的上游任务不位于任务执行周期内,和/或上游任务的执行信息中数据的开始时间位于目标数据的结束时间之前,输出用于提示不执行目标任务的原因的提示信息。
11、在一些实施例中,目标任务为etl任务。
12、另一方面,提供一种任务的处理装置。所述处理装置包括:获取单元、确定单元以及处理单元。
13、其中,获取单元,被配置为:获取目标任务在当前时间的执行信息,该目标任务用于对目标数据进行处理操作,目标任务的执行信息包括目标数据的开始时间和结束时间。确定单元,被配置为:确定目标任务的上游任务以及上游任务的执行信息。处理单元,被配置为:若目标任务与上游任务位于任务执行周期内,且目标任务的执行信息中数据的开始时间位于目标数据的结束时间之后,或与目标数据的结束时间相同,则根据目标任务在当前时间的执行新,执行目标任务。
14、在一些实施例中,处理单元,还被配置为:若目标任务和/或目标任务的上游任务不位于任务执行周期内,和/或,目标任务的上游任务的执行信息中数据的开始时间位于目标数据的结束时间之前,则不执行目标任务。
15、在一些实施例中,处理单元,还被配置为:响应于目标任务执行完成,更新目标任务的执行信息,更新后的执行信息包括当前时间之后待处理的数据的开始时间和结束时间。
16、在一些实施例中,确定单元,具体被配置为:根据预设对应关系,确定目标任务的上游任务。该预设对应关系包括多个任务之间的上下游关系,其中,该多个任务包括目标任务。
17、在一些实施例中,该装置还包括存储单元。存储单元,被配置为:响应于目标任务的执行完成,存储目标任务的实际执行时间,目标任务的实际执行时间包括目标任务的开始执行时间以及执行结束时间。
18、在一些实施例中,目标任务的执行信息还包括目标任务的执行时间间隔、执行次数,处理单元,具体被配置为:根据执行时间间隔,执行目标任务,并在目标任务执行完成之后,更新目标任务的执行次数。
19、在一些实施例中,该装置还包括输出单元。输出单元,被配置为:若目标任务和/或与目标任务的上游任务不位于任务执行周期内,和/或上游任务的执行信息中数据的开始时间位于目标数据的结束时间之前,输出用于提示不执行目标任务的原因的提示信息。
20、在一些实施例中,目标任务为etl任务。
21、又一方面,提供一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令在计算机上运行时,使得所述计算机执行如上述任一实施例所述的处理方法。
22、又一方面,提供一种计算机程序产品。所述计算机程序产品包括计算机程序指令,在计算机上执行所述计算机程序指令时,所述计算机程序指令使计算机执行如上述任一实施例所述的处理方法。
23、又一方面,提供一种计算机程序。当所述计算机程序在计算机(上执行时,所述计算机程序使计算机执行如上述任一实施例所述的处理方法。
24、又一方面,提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如上述任一实施例所述的方法。
25、具体的,本申请中提供的芯片还包括存储器,用于存储计算机程序或指令。
26、需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与装置的处理器封装在一起的,也可以与装置的处理器单独封装,本申请对此不作限定。
27、在本申请中,上述装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权本文档来自技高网...
【技术保护点】
1.一种任务的处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1或2所述的方法,其特征在于,所述确定所述目标任务的上游任务,包括:
5.根据权利要求3所述方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述执行信息还包括所述目标任务的执行时间间隔、执行次数,所述根据所述目标任务在当前时间的执行信息,执行所述目标任务,包括:
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
8.根据权利要求1或2所述的方法,其特征在于,所述目标任务为抽取-转换-加载ETL任务。
9.一种任务的处理装置,其特征在于,所述装置包括:
10.一种处理装置,其特征在于,包括:处理器和通信接口;所述通信接口和所述处理器耦合,所述处理器用于运行计算机程序或指令,以实现如权利要求1-8任一项中所述的方法。
11.一种计算机可读存储
...【技术特征摘要】
1.一种任务的处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1或2所述的方法,其特征在于,所述确定所述目标任务的上游任务,包括:
5.根据权利要求3所述方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述执行信息还包括所述目标任务的执行时间间隔、执行次数,所述根据所述目标任务在当前时间的执行信息,执行所述目标任务,包括:
7.根据权利...
【专利技术属性】
技术研发人员:袁菲,代言玉,汤玥,沈国梁,宋宝达,吴建波,吴建民,王洪,
申请(专利权)人:京东方科技集团股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。