【技术实现步骤摘要】
本专利技术涉及金融科技领域或其他相关领域，具体而言，涉及一种作业时效的预警方法、装置、存储介质及电子设备。
技术介绍
1、传统的数据加工作业时效分析方法主要是基于固定阈值的判定，随着集群和作业规模越来越大，作业调度跑批的情况也越来越多。固定阈值判定法无法适应各式各样的要求，基于固定阈值只能做事后追溯，难以形成提前预警。另外，对于数据加工而言，加工时效情况也与其整体加工链路有关，脱离上下游单独分析，缺乏可信度，难以适应当前的需求。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种作业时效的预警方法、装置、存储介质及电子设备，以至少解决现有技术中基于固定阈值判断数据加工作业的时效是否异常，存在滞后性，无法进行异常预警的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种作业时效的预警方法，包括：获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加
3、进一步地，在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，包括：在监控到调度作业调取数据加工作业的情况下，获取数据加工作业的作业调取时刻；对数据加工作业的作业调取时刻与数据加工作业对应的平均启动时刻进行比较，得到第一比较结果；对数据加工作业的作业调取时刻与目标数据加工作业的最晚调取时刻进行比较，得到第二比较结果；依据第一比较结果和第二比较结果确定判断结果。
4、进一步地，依据第一比较结果和第二比较结果确定判断结果，包括：计算数据加工作业的作业调取时刻与数据加工作业对应的平均启动时刻的第一差值；若第一比较结果表征数据加工作业的作业调取时刻晚于数据加工作业对应的平均启动时刻，且第一差值大于第一阈值，或者，若第二比较结果表征数据加工作业的作业调取时刻晚于目标数据加工作业的最晚调取时刻，则将数据加工作业的时效异常作为判断结果。
5、进一步地，在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，包括：在数据加工作业执行完数据加工任务的情况下，获取数据加工作业的作业结束时刻；对数据加工作业的作业结束时刻与数据加工作业对应的平均结束时刻进行比较，得到第三比较结果；对数据加工作业的作业结束时刻与目标数据加工作业的最晚结束时刻进行比较，得到第四比较结果；依据第三比较结果和第四比较结果确定判断结果。
6、进一步地，依据第三比较结果和第四比较结果确定判断结果，包括：计算数据加工作业的作业结束时刻与数据加工作业对应的平均结束时刻的第二差值；若第三比较结果表征数据加工作业的作业结束时刻晚于数据加工作业对应的平均结束时刻，且第二差值大于第二阈值，或者，若第四比较结果表征数据加工作业的作业结束时刻晚于目标数据加工作业的最晚结束时刻，则将数据加工作业的时效异常作为判断结果。
7、进一步地，在获取数据加工作业的历史执行数据之前，该方法还包括：获取多个数据加工作业对应的调度信息，并对调度信息进行解析，得到多个数据加工作业之间的执行顺序；依据执行顺序确定多个数据加工作业之间的依赖关系，得到作业之间的数据血缘关系。
8、进一步地，在得到作业之间的数据血缘关系之后，该方法还包括：获取多个数据加工作业的历史跑批数据；依据每个数据加工作业的历史跑批数据计算得到每个数据加工作业的历史执行数据。
9、根据本专利技术实施例的另一方面，还提供了一种作业时效的预警装置，包括：获取模块，用于获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；判断模块，用于在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；确定模块，用于若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加工作业，并基于目标数据加工作业的作业信息向目标对象发送预警信息，其中，目标数据加工作业为数据加工作业的后序作业。
10、根据本专利技术实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的作业时效的预警方法。
11、根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的作业时效的预警方法。
12、根据本专利技术实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的作业时效的预警方法。
13、在本专利技术实施例中，采用依据由数据血缘关系计算出的历史执行数据对调度作业进行实时监控的方式，首先获取数据加工作业的历史执行数据，并依据历史执行数据对目标平台的调度作业进行实时监控，其中，历史执行数据包括以下至少之一：平均启动时刻、平均结束时刻、前序作业最晚调取时刻、前序作业最晚结束时刻，前序作业是依据作业之间的数据血缘关系确定的，调度作业用于调度数据加工作业执行数据加工任务；在对调度作业进行实时监控的过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，得到判断结果，其中，当前执行数据包括以下至少之一：作业调取时刻、作业结束时刻；若判断结果表征数据加工作业的时效异常，则依据数据血缘关系确定目标数据加工作业，并基于目标数据加工作业的作业信息向目标对象发送预警信息，其中，目标数据加工作业为数据加工作业的后序作业。
14、在上述过程中，依据历史执行数据和当前执行数据判断数据加工作业的时效是否异常，并在数据加工作业的时效异常的情况下，依据数据血缘关系确定出目标数据加工作业，实现了基于数据血缘的全面数据加工作业时效分析诊断，克服了数据加工作业单独分析的弊端，提高了时效分析的准确性，从而能够及时向后序作业进行提前预警。
本文档来自技高网...
【技术保护点】
1.一种作业时效的预警方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对所述调度作业进行实时监控的过程中，依据所述历史执行数据和当前执行数据判断所述数据加工作业的时效是否异常，得到判断结果，包括：
3.根据权利要求2所述的方法，其特征在于，依据所述第一比较结果和所述第二比较结果确定所述判断结果，包括：
4.根据权利要求1所述的方法，其特征在于，在对所述调度作业进行实时监控的过程中，依据所述历史执行数据和当前执行数据判断所述数据加工作业的时效是否异常，得到判断结果，包括：
5.根据权利要求4所述的方法，其特征在于，依据所述第三比较结果和所述第四比较结果确定所述判断结果，包括：
6.根据权利要求1所述的方法，其特征在于，在获取数据加工作业的历史执行数据之前，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，在得到所述作业之间的数据血缘关系之后，所述方法还包括：
8.一种作业时效的预警装置，其特征在于，包括：
9.一种计算机程序产品，其特征在于，包括计算机程序
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的作业时效的预警方法。
11.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至7任一项中所述的作业时效的预警方法。
...【技术特征摘要】
1.一种作业时效的预警方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对所述调度作业进行实时监控的过程中，依据所述历史执行数据和当前执行数据判断所述数据加工作业的时效是否异常，得到判断结果，包括：
3.根据权利要求2所述的方法，其特征在于，依据所述第一比较结果和所述第二比较结果确定所述判断结果，包括：
4.根据权利要求1所述的方法，其特征在于，在对所述调度作业进行实时监控的过程中，依据所述历史执行数据和当前执行数据判断所述数据加工作业的时效是否异常，得到判断结果，包括：
5.根据权利要求4所述的方法，其特征在于，依据所述第三比较结果和所述第四比较结果确定所述判断结果，包括：
6.根据权利要求1所述的方法，其特征在于，在获取数据加工作业的历史执行数据之前，所述方法还包括：
7.根...
【专利技术属性】
技术研发人员：许庆翌，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。