异常监控方法及装置制造方法及图纸

本申请提供了异常监控方法及装置。异常监控方法包括：根据任务调度系统中预先设定的基准任务，确定任务调度系统中的异常任务；根据预先设定的基准任务的基准完成时间，确定重新运行异常任务的最晚开始时间；根据重新运行异常任务的最晚开始时间和当前时间，对异常任务进行报警处理。本申请可以提高对异常任务报警的灵活性，降低出现报警不及时或非必要报警的几率，提高报警精度。

Abnormal monitoring method and device

The present application provides an exception monitoring method and apparatus. Anomaly monitoring method comprises the following steps: according to preset reference task task scheduling system, determine the abnormal task scheduling system; task completion time according to the preset benchmark benchmark to determine the abnormal operation of the latest start time of task; according to the operation of abnormal task the latest start time and the current time, the abnormal the task of the alarm processing. The application can improve the flexibility of alarming for abnormal tasks, reduce the probability that the alarm is not timely or unnecessary, and improve the accuracy of the alarm.

【技术实现步骤摘要】
异常监控方法及装置
本申请涉及通信技术，尤其涉及一种异常监控方法及装置。
技术介绍
在大数据时代，数据被越来越广泛的分析和使用，但是由于数据量之大、收集过程复杂，难免会出现不稳定或错误的情况，特别是在分布式系统中，出错重试更是难以避免。当出现问题时，如果能够及时预警甚至提前预警，会极大的降低数据错误带来的损失。在任务调度系统中，为便于及时发现异常任务，一般采用任务监控方案。现有技术任务监控方案，基本上都是用户配置繁杂的信息，包括报警触发条件、报警时间、报警对象、报警方式等，基于这些配置信息，对任务运行过程进行监控，当发现符合报警触发条件的任务时，在设定的报警时间，以设定的报警方式向设定的报警对象进行报警。在这种方式中，报警时间是预先配置好的，灵活性较差，容易引起报警不够及时或者非必要的报警，导致报警精度较差。
技术实现思路
本申请提供一种异常监控方法及装置，用以提高对异常任务报警的灵活性，降低出现报警不及时或非必要报警的几率，提高报警精度。为达到上述目的，本申请的实施例采用如下技术方案：第一方面，提供了一种异常监控方法，包括：根据任务调度系统中预先设定的基准任务，确定所述任务调度系统中的异常任务；根据预先设定的所述基准任务的基准完成时间，确定重新运行所述异常任务的最晚开始时间；根据重新运行所述异常任务的最晚开始时间和当前时间，对所述异常任务进行报警处理。第二方面，提供了一种异常监控装置，包括：异常任务确定模块，用于根据任务调度系统中预先设定的基准任务，确定所述任务调度系统中的异常任务；最晚时间确定模块，用于根据预先设定的所述基准任务的基准完成时间，确定重新运行所述异常任务的最晚开始时间；报警处理模块，用于根据重新运行所述异常任务的最晚开始时间和当前时间，对所述异常任务进行报警处理。由上述技术方案可知，本申请预先设定任务调度系统中的基准任务及其基准完成时间，在任务调度过程中，根据基准任务确定异常任务，进而根据基准任务的基准完成时间，确定重新运行异常任务的最晚开始时间，根据重新运行异常任务的最晚开始时间和当前时间，对异常任务进行报警处理，而不是像现有技术那样必须在预先配置的报警时间到达时进行报警处理，灵活性较强，有利于降低出现报警不及时或非必要报警的几率，提高了报警精度。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1为本申请一实施例提供的异常监控方法的流程示意图；图2为本申请另一实施例提供的任务调度系统中任务依赖关系示意图；图3为本申请又一实施例提供的任务调度系统中任务依赖关系示意图；图4为本申请又一实施例提供的异常监控装置的结构示意图；图5为本申请又一实施例提供的异常监控装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。任务调度系统是指按照事先设定好的方式和时间对一系列的指令或任务进行调度执行的系统。在现有任务调度系统中，为便于及时发现异常任务，一般采用任务监控方案。现有任务监控方案，基本上都是用户配置繁杂的信息，包括报警触发条件、报警时间、报警对象、报警方式等，基于这些配置信息，对任务运行过程进行监控，当发现符合报警触发条件的任务时，在设定的报警时间，以设定的报警方式向设定的报警对象进行报警。在这种方式中，报警时间是预先配置好的，灵活性较差，容易引起报警不够及时或者非必要的报警，导致报警精度较差。针对上述技术问题，本申请提供一种解决方案，主要原理是：预先配置任务调度系统中的基准任务及其基准完成时间，根据基准任务确定异常任务，根据基准任务的基准完成时间，确定重新运行异常任务的最晚开始时间，进而根据重新运行异常任务的最晚开始时间和当前时间，对异常任务进行报警处理，不再像现有技术那样必须在预先配置的报警时间到达时进行报警处理，灵活性较强，有利于降低出现报警不及时或非必要报警的几率，提高了报警精度。值得说明的是，本申请提供的技术方案适用于任务调度系统，并且优选适用于数据仓库开发过程中的离线任务调度系统，但不限于此。离线任务调度系统中调度的任务属于离线任务，是相对在线或实时任务而言的，主要是指不需要立即应用到在线业务系统上，而是在经过一系列的异步处理之后，再将获得的数据回流到在线业务系统中的任务。本申请以下实施例以离线任务调度系统为例进行说明，但对本领域技术人员来说，在本申请以下实施例给出的技术启示的基础上，很容易将本申请技术方案应用到在线任务调度系统中。下面结合具体实施方式及附图对本申请技术方案进行详细说明。图1为本申请一实施例提供的异常监控方法的流程示意图。如图1所示，该方法包括：101、根据任务调度系统中预先设定的基准任务，确定任务调度系统中的异常任务。102、根据预先设定的基准任务的基准完成时间，确定重新运行异常任务的最晚开始时间。103、根据重新运行异常任务的最晚开始时间和当前时间，对异常任务进行报警处理。本实施例提供一种异常监控方法，可由异常监控装置来执行，用以更加灵活的对异常任务进行报警处理，降低出现报警不及时或非必要报警的几率，提高报警精度。在任务调度系统中，任务之间有上下游依赖关系，下游任务需要等待上游任务执行完成之后方可执行。其中，任务调度系统中任务之间的依赖关系的一种示例如图2所示。在图2所示的任务调度系统中，包括任务A、任务B、任务C、任务D、任务E以及任务F。任务B和任务C依赖于任务A，任务A是任务B和任务C的上游任务，而任务B和任务C是任务A的下游任务；同理，任务F依赖于任务A和任务C，且任务A和任务C是任务F的上游任务，任务F是任务A和任务C的下游任务；任务D和任务E依赖任务A和任务B，任务A和任务B是任务D和任务E的上游任务，任务D和任务E是任务A和任务B的下游任务。值得说明的是，在图2所示的上下游任务关系中，包括直接上下游任务和间接上下游任务。例如，任务A是任务B和任务C的直接上游任务，而任务B和任务C是任务A的直接下游任务，而任务A是任务D、任务E和任务F的间接上游任务，任务D、任务E和任务F是任务A的间接下游任务。在本申请实施例中，并不细分直接上下游任务和间接上下游任务。由于在任务调度系统中任务之间存在上下游依赖关系，所以本实施例预先设定任务调度系统中的基准任务及其基准完成时间，将基准任务及其基准完成时间作为异常监控的基线，通过该基线完成异常任务监控及报警处理。其中，基准任务的基准完成时间是指该基准任务的最晚完成时间，也就是说，需要保证基准任务必须在基准完成时间之前完成，否则会带来严重的不利后果，例如可能导致整个任务调度系统报错，或者影响依赖该任务调本文档来自技高网...

【技术保护点】
一种异常监控方法，其特征在于，包括：根据任务调度系统中预先设定的基准任务，确定所述任务调度系统中的异常任务；根据预先设定的所述基准任务的基准完成时间，确定重新运行所述异常任务的最晚开始时间；根据重新运行所述异常任务的最晚开始时间和当前时间，对所述异常任务进行报警处理。

【技术特征摘要】
1.一种异常监控方法，其特征在于，包括：根据任务调度系统中预先设定的基准任务，确定所述任务调度系统中的异常任务；根据预先设定的所述基准任务的基准完成时间，确定重新运行所述异常任务的最晚开始时间；根据重新运行所述异常任务的最晚开始时间和当前时间，对所述异常任务进行报警处理。2.根据权利要求1所述的方法，其特征在于，所述根据任务调度系统中预先设定的基准任务，确定所述任务调度系统中的异常任务，包括：确定所述任务调度系统中的被所述基准任务所依赖的任务作为待监控任务；获取所述待监控任务中运行状态异常的任务作为所述异常任务。3.根据权利要求2所述的方法，其特征在于，所述获取所述待监控任务中运行状态异常的任务作为所述异常任务，包括以下至少一种操作：获取所述待监控任务中运行出错的任务作为所述异常任务；获取所述待监控任务中运行速度变慢的任务作为所述异常任务。4.根据权利要求3所述的方法，其特征在于，所述获取所述待监控任务中运行速度变慢的任务作为所述异常任务，包括：获取所述待监控任务中运行时长满足指定时长条件的任务作为所述异常任务；其中，所述指定时长条件包括以下至少一个：大于预设时长阈值；比指定时间段内的平均运行时长多出指定比例。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据重新运行所述异常任务的最晚开始时间和当前时间，对所述异常任务进行报警处理，包括：若所述当前时间处于指定时间范围内，立即对所述异常任务进行报警处理；若所述当前时间未处于指定时间范围内，根据所述异常任务的异常类型以及重新运行所述异常任务的最晚开始时间，确定异常报警时间，在所述异常报警时间到达时，对所述异常任务进行报警处理。6.根据权利要求5所述的方法，其特征在于，所述根据所述异常任务的异常类型以及重新运行所述异常任务的最晚开始时间，确定异常报警时间，包括：若所述异常任务的异常类型为运行出错，则在重新运行所述异常任务的最晚开始时间晚于预设的第一时间时，设置晚于当前时间但早于所述第一时间的第二时间作为所述异常报警时间，或者，在重新运行所述异常任务的最晚开始时间早于或等于所述第一时间时，设置当前时间作为所述异常报警时间；若所述异常任务的异常类型为运行速度变慢，则在重新运行所述异常任务的最晚开始时间与当前时间的时间差大于预设的时差阈值时，设置比重新运行所述异常任务的最晚开始时间早所述时差阈值的第三时间作为所述异常报警时间，或者，在重新运行所述异常任务的最晚开始时间与当前时间的时间差小于或等于所述时差阈值...

【专利技术属性】
技术研发人员：陈磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY