海量任务异步处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了海量任务异步处理方法、装置、计算机设备及存储介质。所述方法包括：获取用户终端上传的海量任务，以得到待处理任务；根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；获取消费配置；根据所述消费配置以及编排后的任务进行处理，以得到处理结果；反馈所述处理结果至用户终端。通过实施本发明专利技术实施例的方法可实现进行统一的任务编排，可动态实时扩容大量的消费节点即服务器，支持海量的任务消费和处理。务消费和处理。务消费和处理。

【技术实现步骤摘要】
海量任务异步处理方法、装置、计算机设备及存储介质


[0001]本专利技术涉及计算机，更具体地说是指海量任务异步处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]任务处理的方式按照服务器的个数可以分为单机处理方式以及分布式处理方式，其中，单机处理方式的逻辑简单，对任务的状态，幂等性等方面维护简便，但是单机处理可处理的容量有限，尤其针对海量任务的情况下，用户等待时间以及性能方便有比较大的瓶颈，并且单机的高可用性做不到，单点挂了整个任务体系就奔溃了。分布式任务处理方式可以提高整个任务体系的高可用性，单点服务器挂了不会对整个任务体系造成的影响，并且能接受海量任务的并发处理，减少用户的等待时间，在复杂的业务场景下，用户对任务的优先级、异常处理策略、构建策略等各方面做一个自定义编排，但是目前现有分布式任务处理框架对任务编排，任务监控告警以及对接的权限等方面没有做到很好的统一，对配置中心化的依赖比较严重，并且消费节点的水平扩容有限，导致当消费节点很多时分布式服务器带来的锁消耗比较大。
[0003]因此，有必要设计一种新的方法，实现进行统一的任务编排，可动态实时扩容大量的消费节点，支持海量的任务消费。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺陷，提供海量任务异步处理方法、装置、计算机设备及存储介质。
[0005]为实现上述目的，本专利技术采用以下技术方案：海量任务异步处理方法，包括：
[0006]获取用户终端上传的海量任务，以得到待处理任务；
[0007]根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；
[0008]获取消费配置；
[0009]根据所述消费配置以及编排后的任务进行处理，以得到处理结果；
[0010]反馈所述处理结果至用户终端。
[0011]其进一步技术方案为：所述反馈所述处理结果至用户终端之后，还包括：
[0012]反馈处理状态、任务量以及任务的处理耗时至监控中心，由监控中心获取监控配置，并根据所述监控配置进行任务监控，以得到监控结果；当所述监控结果为异常时，生成报警信息，并反馈所述报警信息。
[0013]其进一步技术方案为：所述编排内容包括对不同类型的任务的优先等级。
[0014]其进一步技术方案为：所述根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务，包括：
[0015]获取自定义的编排内容；
[0016]根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排，以得到编排后的任务。
[0017]其进一步技术方案为：所述消费配置包括处理任务的权限。
[0018]其进一步技术方案为：所述根据所述消费配置以及编排后的任务进行处理，以得到处理结果，包括：
[0019]对编排后的任务进行任务信息的维护；
[0020]按照所述消费配置对编排后的任务中具备处理权限的任务进行处理，且对处理后的任务进行状态标记，以得到处理结果。
[0021]其进一步技术方案为：所述监控配置包括监控的参数以及异常的判断条件。
[0022]本专利技术还提供了海量任务异步处理装置，包括：
[0023]任务获取单元，用于获取用户终端上传的海量任务，以得到待处理任务；
[0024]编排单元，用于根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；
[0025]消费配置获取单元，用于获取消费配置；
[0026]处理单元，用于根据所述消费配置以及编排后的任务进行处理，以得到处理结果；
[0027]反馈单元，用于反馈所述处理结果至用户终端。
[0028]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
[0029]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
[0030]本专利技术与现有技术相比的有益效果是：本专利技术通过从配置中心获取编排内容，对海量的待处理任务进行任务编排，并从配置中心获取消费配置，根据消费配置对编排后的任务进行有权限的任务处理，当无法及时处理任务时，可通过在增设服务器进行任务处理，实现进行统一的任务编排，可动态实时扩容大量的消费节点即服务器，支持海量的任务消费和处理。
[0031]下面结合附图和具体实施例对本专利技术作进一步描述。
附图说明
[0032]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术实施例提供的海量任务异步处理方法的应用场景示意图；
[0034]图2为本专利技术实施例提供的海量任务异步处理方法的流程示意图；
[0035]图3为本专利技术实施例提供的海量任务异步处理方法的子流程示意图；
[0036]图4为本专利技术实施例提供的海量任务异步处理方法的子流程示意图；
[0037]图5为本专利技术另一实施例提供的海量任务异步处理方法的流程示意图；
[0038]图6为本专利技术实施例提供的海量任务异步处理装置的示意性框图；
[0039]图7为本专利技术实施例提供的海量任务异步处理装置的编排单元的示意性框图；
[0040]图8为本专利技术实施例提供的海量任务异步处理装置的处理单元的示意性框图；
[0041]图9为本专利技术另一实施例提供的海量任务异步处理装置的示意性框图；
[0042]图10为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0043]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0045]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0046]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0047]请参阅图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.海量任务异步处理方法，其特征在于，包括：获取用户终端上传的海量任务，以得到待处理任务；根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；获取消费配置；根据所述消费配置以及编排后的任务进行处理，以得到处理结果；反馈所述处理结果至用户终端。2.根据权利要求1所述的海量任务异步处理方法，其特征在于，所述反馈所述处理结果至用户终端之后，还包括：反馈处理状态、任务量以及任务的处理耗时至监控中心，由监控中心获取监控配置，并根据所述监控配置进行任务监控，以得到监控结果；当所述监控结果为异常时，生成报警信息，并反馈所述报警信息。3.根据权利要求1或2所述的海量任务异步处理方法，其特征在于，所述编排内容包括对不同类型的任务的优先等级。4.根据权利要求3所述的海量任务异步处理方法，其特征在于，所述根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务，包括：获取自定义的编排内容；根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排，以得到编排后的任务。5.根据权利要求1或2所述的海量任务异步处理方法，其特征在于，所述消费配置包括处理任务的权限。6.根据权利要求...

【专利技术属性】
技术研发人员：谭光华，
申请(专利权)人：杭州光云科技股份有限公司，
类型：发明
国别省市：