任务处理方法及装置、存储介质、电子装置制造方法及图纸

本发明专利技术实施例提供了一种任务处理方法及装置、存储介质、电子装置，该方法包括：在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取集群数据库中节点资源的资源使用率，确定M个资源使用率，其中，资源使用率用于表示集群数据库中的资源的使用情况，M是大于1的自然数；利用M个资源使用率确定集群数据库的平均资源使用率，以确定集群数据库的资源使用率；按照集群数据库的资源使用率对异常任务进行处理。通过本发明专利技术，解决了相关技术中处理集群数据库中异常任务的问题，达到保证任务正常执行的效果。达到保证任务正常执行的效果。达到保证任务正常执行的效果。

【技术实现步骤摘要】
任务处理方法及装置、存储介质、电子装置


[0001]本专利技术实施例涉及数据处理领域，具体而言，涉及一种任务处理方法及装置、存储介质、电子装置。

技术介绍

[0002]Greenplum是面向数据库仓库应用的关系型数据库，基于Postgresql开发。采用shared
‑
nothing的大规模并行处理架构，具有可横向伸缩、高可用、高性能等优点。但是，在使用过程中，由于硬件问题或者使用不当，经常导致集群不能正常提供服务，需要运维人员去处理。如果运维人员不能及时处理，就会影响现场相关业务，给用户带来不好的体验。
[0003]针对以上出现的问题，常见的有以下处理方式，部署Greenplum集群状态监控装置，对Greenplum集群中的故障节点进行自检查、自恢复和自启动。
[0004]该方案主要用来监控集群的运行状态，只能保证在集群运行状态异常的进行处理。并未对集群资源消耗情况及集群性能情况进行监控，在集群压力较大的情况下，此时集群运行状态虽然为正常，但是由于集群压力较大，大部分任务都无法正常执行。

技术实现思路

[0005]本专利技术实施例提供了一种任务处理方法及装置、存储介质、电子装置，以至少解决相关技术中处理集群数据库中异常任务的问题。
[0006]根据本专利技术的一个实施例，提供了一种任务处理方法，包括：在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取上述集群数据库中节点资源的资源使用率，确定M个资源使用率，其中，上述资源使用率用于表示上述集群数据库中的资源的使用情况，上述M是大于1的自然数；利用上述M个资源使用率确定上述集群数据库的平均资源使用率，以确定上述集群数据库的资源使用率；按照上述集群数据库的资源使用率对上述异常任务进行处理。
[0007]根据本专利技术的另一个实施例，提供了一种任务处理装置，包括：第一获取模块，用于在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取上述集群数据库中节点资源的资源使用率，确定M个资源使用率，其中，上述资源使用率用于表示上述集群数据库中的资源的使用情况，上述M是大于1的自然数；第一确定模块，用于利用上述M个资源使用率确定上述集群数据库的平均资源使用率，以确定上述集群数据库的资源使用率；第一处理模块，用于按照上述集群数据库的资源使用率对上述异常任务进行处理。
[0008]在一个示例性实施例中，上述装置还包括：第二获取模块，用于在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取集群数据库中节点资源的资源使用率，确定M个资源使用率之前，获取上述集群数据库中当前执行的任务的开始执行时间和当前时间之间的差值，确定为上述当前执行的任务的第一执行时间；第二确定模块，用于在上述第一执行时间大于第一预设阈值的情况下，将上述当前执行的任务确定
为上述异常任务。
[0009]在一个示例性实施例中，上述装置还包括：第三获取模块，用于在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取集群数据库中节点资源的资源使用率，确定M个资源使用率之前，获取上述集群数据库中当前执行的N个任务，其中，上述N是大于1的自然数；第三确定模块，用于将上述N个任务中相同的任务确定为上述异常任务。
[0010]在一个示例性实施例中，上述装置还包括：第四确定模块，用于利用上述M个资源使用率确定上述集群数据库的平均资源使用率之后，在上述平均资源使用率大于第二预设阈值的情况下，确定服务器资源异常，以确定上述集群数据库的资源存在异常，其中，上述节点资源包括上述服务器资源。
[0011]在一个示例性实施例中，上述第一处理模块，包括：第五确定模块，用于在上述资源使用率大于第三预设阈值的情况下，确定上述异常任务的任务类型；第二处理模块，用于按照上述异常任务的任务类型对上述异常任务进行处理。
[0012]在一个示例性实施例中，上述第一处理模块，包括：第一删除模块，用于在上述异常任务包括执行时间异常的任务的情况下，按照时间顺序删除上述异常任务。
[0013]在一个示例性实施例中，上述第一处理模块，包括：第一取消模块，用于在上述异常任务包括重复执行的任务的情况下，取消对重复任务的执行。
[0014]根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0015]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0016]通过本专利技术，通过在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取集群数据库中节点资源的资源使用率，确定M个资源使用率，其中，资源使用率用于表示集群数据库中的资源的使用情况，M是大于1的自然数；利用M个资源使用率确定集群数据库的平均资源使用率，以确定集群数据库的资源使用率；按照集群数据库的资源使用率对异常任务进行处理。实现了基于集群数据库中的资源使用情况对异常任务进行处理的目的。可以在集群数据库压力较大的情况下，保证任务的正常执行。因此，可以解决相关技术中处理集群数据库中异常任务的问题，达到保证任务正常执行的效果。
附图说明
[0017]图1是本专利技术实施例的一种任务处理方法的移动终端的硬件结构框图；
[0018]图2是根据本专利技术实施例的任务处理方法的流程图；
[0019]图3是根据本专利技术实施例的对集群数据库进行监控的流程图；
[0020]图4是根据本专利技术实施例的任务处理装置的结构框图。
具体实施方式
[0021]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0023]本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种任务处理方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0024]存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的任务处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取所述集群数据库中节点资源的资源使用率，确定M个资源使用率，其中，所述资源使用率用于表示所述集群数据库中的资源的使用情况，所述M是大于1的自然数；利用所述M个资源使用率确定所述集群数据库的平均资源使用率，以确定所述集群数据库的资源使用率；按照所述集群数据库的资源使用率对所述异常任务进行处理。2.根据权利要求1所述的方法，其特征在于，在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取所述集群数据库中节点资源的资源使用率，确定M个资源使用率之前，所述方法还包括：获取所述集群数据库中当前执行的任务的开始执行时间和当前时间之间的差值，确定为所述当前执行的任务的第一执行时间；在所述第一执行时间大于第一预设阈值的情况下，将所述当前执行的任务确定为所述异常任务。3.根据权利要求1所述的方法，其特征在于，在确定集群数据库中当前执行的任务中包括异常任务的情况下，按照预设时间间隔获取所述集群数据库中节点资源的资源使用率，确定M个资源使用率之前，所述方法还包括：获取所述集群数据库中当前执行的N个任务，其中，所述N是大于1的自然数；将所述N个任务中相同的任务确定为所述异常任务。4.根据权利要求1所述的方法，其特征在于，利用所述M个资源使用率确定所述集群数据库的平均资源使用率之后，所述方法还包括：在所述平均资源使用率大于第二预设阈值的情况下，确定服务器资源异常，以确定所述集群数据库的资源存在异常，其中，所述节点资源包括所述服务器资源...

【专利技术属性】
技术研发人员：徐斌，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：