一种大数据平台任务管理方法和系统技术方案

本发明专利技术涉及数据处理技术领域，尤其是一种大数据平台任务管理方法和系统。大数据平台任务管理系统包括调度服务模块、任务管理模块、调度实例管理模块和任务实例管理模块。调度服务模块根据特定频率执行调度操作，并管理整个调度的生命周期，确保任务按计划执行。任务管理模块则用于创建和管理一系列的任务，支持多种任务类型并可以声明任务之间的依赖关系。调度实例管理模块用于管理每次调度生成的内容实例，并提供甘特图视图和执行实例操作的功能，使调度过程可视化。任务实例管理模块用于管理每次调度内容中的特定任务实例，从而实现对任务执行的细致监控和管理。本发明专利技术通过这些模块的结合，可以提高任务调度管理的效率。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其是一种大数据平台任务管理方法和系统。

技术介绍

1、随着大数据技术的迅速发展，企业内部数据量急剧膨胀，数据处理的复杂性不断上升，数据调度和数据治理的重要性愈加突显。

2、在大型企业中，任务的管理变得越发复杂，涉及多个部门和不同类型的数据源，以及各种数据处理逻辑。企业在处理多步骤、多层级的数据任务时，经常遇到效率低下和准确性不足的问题，特别是在动态变化的业务环境中，任务管理工具的固定设定难以迅速适应新的需求。为了应对这些复杂的业务场景，企业不得不依赖多种任务管理工具的集成，但这样会增加操作的复杂度，降低管理的效率。

技术实现思路

1、本专利技术的目的是提供一种大数据平台任务管理系统，可以提高任务管理的效率。

2、本专利技术提供的基础方案：一种大数据平台任务管理系统，包括调度服务模块、任务管理模块、调度实例管理模块和任务实例管理模块；所述调度服务模块根据特定频率执行调度操作，并管理调度的生命周期；所述任务管理模块用于创建和管理一系列任务，支持多种任务类型，并声明任务之间的依赖关系；所述调度实例管理模块用于管理按照调度频率生成的每一次调度内容的实例，包含查看甘特图和执行实例操作的功能；所述任务实例管理模块用于管理每一次调度内容中的特定任务实例。

3、本专利技术的实现原理与有益效果：调度服务模块根据设定的频率执行调度操作，并管理整个调度的生命周期，确保任务的按时执行。任务管理模块提供创建和管理多种类型任务的功能，包括声明任务之间的依赖关系，使得任务执行更加高效。调度实例管理模块管理每个调度产生的实例，提供甘特图视图和实例操作功能，增加了调度过程的可视化和可操作性，提升了调度管理效率。任务实例管理模块用于管理每次调度内容中的特定任务实例，可以监控各个任务的执行状态和性能。通过各个模块的结合，可以提高任务调度管理的效率。

4、进一步，所述调度服务模块包括调度频率配置器、实例并发度配置器以及策略管理器；所述调度频率配置器，用于设置crontab表达式、固定间隔、指定日期时间单次调度和手动触发的调度；所述实例并发度配置器，用于设置每次调度实例的并发度；所述策略管理器，用于管理调度层级的优先级策略以及配置任务失败时的处理策略。

5、本方案的有益效果为：调度频率配置器通过支持crontab表达式、固定间隔、指定日期时间单次调度和手动触发等多种调度方式，为不同类型的任务和业务场景提供了灵活的调度选项。实例并发度配置器可以控制每次调度实例的并发执行数量，优化资源使用并防止过载。策略管理器通过管理调度层级的优先级策略和定义任务失败时的处理策略，可以提高任务执行的可靠性以及系统对异常情况的应对能力。

6、进一步，所述任务管理模块包括任务类型管理器、任务依赖配置器、任务属性配置器以及告警管理器；所述任务类型管理器，用于支持和扩展多种任务类型；所述任务依赖配置器，用于声明任务之间的依赖关系；所述任务属性配置器，用于配置任务的固定属性；所述告警管理器，用于配置和触发不同场景下的告警。

7、本方案的有益效果为：任务类型管理器支持并扩展多种任务类型，使得系统能够处理各种不同的数据处理任务。任务依赖配置器可以让用户明确声明任务之间的依赖关系，确保了任务执行的正确顺序和数据一致性。任务属性配置器用于配置任务的固定属性，使任务配置标准化和易于管理。告警管理器提供了配置和触发不同场景下告警的功能，提高系统的及时响应能力。

8、进一步，所述调度实例管理模块包括查看器以及实例操作器；所述查看器，使用甘特图展示任务的血缘依赖和关键路径；所述实例操作器，用于对调度实例进行终止，挂起，恢复和重运行。

9、本方案的有益效果为：查看器使用甘特图展示任务的血缘依赖和关键路径，使得用户可以一目了然地理解任务之间的关系和执行顺序，并且可以识别潜在的调度问题，从而优化调度策略。实例操作器提供了对调度实例进行终止、挂起、恢复和重运行的能力，使得用户能够灵活应对各种运行时情况，提高了对异常情况的响应能力。

10、进一步，所述任务实例管理模块包括日志查看器、链路分析器以及耗时分析器；所述日志查看器，用于查看任务实例的日志信息；所述链路分析器，用于分析任务实例的上下游链路和最缓链路；所述耗时分析器，用于分析历史任务的执行耗时。

11、本方案的有益效果为：日志查看器使用户能够访问和审查任务实例的详细日志信息。链路分析器提供了分析任务实例上下游依赖和识别最缓链路的能力，有助于优化整个工作流程和提升数据处理效率。耗时分析器使得用户可以分析历史任务的执行耗时，帮助用户优化评估系统性能。

12、进一步，所述告警管理器中包括使用邮件、短信、钉钉发出告警通知。

13、本方案的有益效果为：通过这些多渠道的通知方法，系统能够在出现关键问题或需要紧急处理的情况时，迅速通知到相关人员，确保问题能够得到即时的注意和处理。

本文档来自技高网...

【技术保护点】

1.一种大数据平台任务管理系统，其特征在于，包括调度服务模块、任务管理模块、调度实例管理模块和任务实例管理模块；所述调度服务模块根据特定频率执行调度操作，并管理调度的生命周期；所述任务管理模块用于创建和管理一系列任务；所述调度实例管理模块用于管理按照调度频率生成的每一次调度内容的实例；所述任务实例管理模块用于管理每一次调度内容中的特定任务实例。

2.根据权利要求1所述的大数据平台任务管理系统，其特征在于，所述调度服务模块包括调度频率配置器、实例并发度配置器以及策略管理器；所述调度频率配置器，用于设置CRONTAB表达式、固定间隔、指定日期时间单次调度和手动触发的调度；所述实例并发度配置器，用于设置每次调度实例的并发度；所述策略管理器，用于管理调度层级的优先级策略以及配置任务失败时的处理策略。

3.根据权利要求2所述的大数据平台任务管理系统，其特征在于，所述任务管理模块包括任务类型管理器、任务依赖配置器、任务属性配置器以及告警管理器；所述任务类型管理器，用于支持和扩展多种任务类型；所述任务依赖配置器，用于声明任务之间的依赖关系；所述任务属性配置器，用于配置任务的固定属性；所述告警管理器，用于配置和触发不同场景下的告警。

4.根据权利要求3所述的大数据平台任务管理系统，其特征在于，所述调度实例管理模块包括查看器以及实例操作器；所述查看器，使用甘特图展示任务的血缘依赖和关键路径；所述实例操作器，用于对调度实例进行终止，挂起，恢复和重运行。

5.根据权利要求4所述的大数据平台任务管理系统，其特征在于，所述任务实例管理模块包括日志查看器、链路分析器以及耗时分析器；所述日志查看器，用于查看任务实例的日志信息；所述链路分析器，用于分析任务实例的上下游链路和最缓链路；所述耗时分析器，用于分析历史任务的执行耗时。

6.根据权利要求3所述的大数据平台任务管理系统，其特征在于，所述告警管理器中包括使用邮件、短信、钉钉发出告警通知。

7.一种大数据平台任务管理方法，其特征在于，所述方法使用了权利要求1-6任一项所述的大数据平台任务管理系统。

...

【技术特征摘要】

1.一种大数据平台任务管理系统，其特征在于，包括调度服务模块、任务管理模块、调度实例管理模块和任务实例管理模块；所述调度服务模块根据特定频率执行调度操作，并管理调度的生命周期；所述任务管理模块用于创建和管理一系列任务；所述调度实例管理模块用于管理按照调度频率生成的每一次调度内容的实例；所述任务实例管理模块用于管理每一次调度内容中的特定任务实例。

2.根据权利要求1所述的大数据平台任务管理系统，其特征在于，所述调度服务模块包括调度频率配置器、实例并发度配置器以及策略管理器；所述调度频率配置器，用于设置crontab表达式、固定间隔、指定日期时间单次调度和手动触发的调度；所述实例并发度配置器，用于设置每次调度实例的并发度；所述策略管理器，用于管理调度层级的优先级策略以及配置任务失败时的处理策略。

3.根据权利要求2所述的大数据平台任务管理系统，其特征在于，所述任务管理模块包括任务类型管理器、任务依赖配置器、任务属性配置器以及告警管理器；所述任务类型管理器，用于支持和扩展多种任务...

【专利技术属性】
技术研发人员：郭慧蓉，吴广，屈春花，柏世豪，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：