本发明专利技术公开了一种异步任务调度方法、装置、设备及存储介质，属于数据处理技术领域。本发明专利技术通过调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务；对各待派发任务进行分片，得到分片任务；将所述分片任务多线程派发到各目标任务线程进行处理。通过这种方式，实现了对异步任务的过滤和分片，使得在过滤后不会出现重复调度的任务，并且进行分片后多线程处理的任务提高了各个异步任务的处理效率。处理效率。处理效率。
【技术实现步骤摘要】
异步任务调度方法、装置、设备及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种异步任务调度方法、装置、设备及存储介质。
技术介绍
[0002]随着软件系统规模和业务越来越复杂，为了不影响接口的响应，提升系统的TPS和QPS，许多接口都是采用接收数据后同步返回，异步处理的方式。但是采用异步任务处理的过程中存在如下的问题：目前一般使用的异步方式，较多都是启动一个子线程执行任务。后台启动子线程的方式面临着在生产环境执行时，难以运维，失败后只能通过日志的方式排查原因。而且由于都是系统自动执行的异步任务，任务执行后没办法重试，且没办法在连续失败后，对某个任务进行熔断，降级处理；在应用部署多台实例时，如果由多个实例同时执行异步任务时，可能会存在同一个异步任务被多台实例同时调起，导致异步任务重复执行。而如果采用单个实例执行任务时，又会导致其他实例的资源被白白浪费。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
[0004]本专利技术的主要目的在于提供一种异步任务调度方法、装置、设备及存储介质，旨在解决现有技术异步任务重复调度且难以运维的技术问题。
[0005]为实现上述目的，本专利技术提供了一种异步任务调度方法，所述异步任务调度方法包括以下步骤：调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务；对各待派发任务进行分片，得到分片任务；将所述分片任务多线程派发到各目标任务线程进行处理。
[0006]可选地，所述调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务，包括：采用预设框架的目标注解的预设配置文件调用数据库中的定时任务，作为待分配异步任务；通过预设接口过滤所述待分配异步任务中的锁定任务，得到待派发任务，所述锁定任务为已经执行成功或者正在执行中的所述待分配异步任务。
[0007]可选地，所述对各待派发任务进行分片，得到分片任务，包括：根据分库信息和应用名称信息确定活跃任务线程；根据所述活跃任务线程确定地域信息；根据所述活跃任务线程和所述地域信息对各待派发任务进行分片，得到分片任
务。
[0008]可选地，所述根据所述活跃任务线程和所述地域信息对各待派发任务进行分片，得到分片任务，包括：根据所述活跃任务线程确定分片数量；根据所述地域信息确定优先处理顺序；根据所述分片数量和所述有限处理顺序对各待派发任务进行分片，得到分片任务。
[0009]可选地，所述将所述分片任务多线程派发到各目标任务线程进行处理，包括：根据所述活跃任务线程确定目标任务线程；将各分片任务派发到各目标任务线程按照预设处理方式进行执行，所述预设处理方式为各目标任务线程锁定异步任务记录并更新执行中任务进行处理。
[0010]可选地，所述将所述分片任务多线程派发到各目标任务线程进行处理之后，还包括：在接收到报错信息时，根据所述报错信息确定待重试任务；启动自动重试线程，并在周期时间内轮训各待重试任务，得到重试次数信息和任务状态更新信息；根据所述重试次数信息和所述任务状态更新业务状态。
[0011]可选地，所述将所述分片任务多线程派发到各目标任务线程进行处理之后，还包括：获取各渠道的任务执行时间信息；根据所述任务执行时间信息确定异常任务；获取所述异常任务的任务信息，并根据所述任务信息确定渠道处理方式并进行流量控制，所述渠道处理方式包括任务降级和任务熔断。
[0012]此外，为实现上述目的，本专利技术还提出一种异步任务调度装置，所述异步任务调度装置包括：任务过滤模块，用于调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务；任务分片模块，用于对各待派发任务进行分片，得到分片任务；任务派发模块，用于将所述分片任务多线程派发到各目标任务线程进行处理。
[0013]此外，为实现上述目的，本专利技术还提出一种异步任务调度设备，所述异步任务调度设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的异步任务调度程序，所述异步任务调度程序配置为实现如上文所述的异步任务调度方法。
[0014]此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有异步任务调度程序，所述异步任务调度程序被处理器执行时实现如上文所述的异步任务调度方法。
[0015]本专利技术调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务；对各待派发任务进行分片，得到分片任务；将所述分片任务多线程派发到各目标任务线程进行处理。通过这种方式，实现了对异步任务的过滤和分片，使得在过滤后不会出现重复调度的任务，并且进行分片后多线程处理的任务提高了各个异步任务的处理效率。
附图说明
[0016]图1是本专利技术实施例方案涉及的硬件运行环境的异步任务调度设备的结构示意图；图2为本专利技术异步任务调度方法第一实施例的流程示意图；图3为本专利技术异步任务调度方法一实施例中的完整实施流程示意图；图4为本专利技术异步任务调度方法一实施例中的任务重试流程示意图；图5为本专利技术异步任务调度方法第二实施例的流程示意图；图6为本专利技术异步任务调度装置第一实施例的结构框图。
[0017]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0018]应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0019]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的异步任务调度设备结构示意图。
[0020]如图1所示，该异步任务调度设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless
‑
Fidelity，Wi
‑
Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non
‑
Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0021]本领域技术人员可以理解，图1中示出的结构并不构成对异步任务调度设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0022]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及异步任务调度程序。
[0023]在图1所示的异步任务调度设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异步任务调度方法，其特征在于，所述异步任务调度方法包括：调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务；对各待派发任务进行分片，得到分片任务；将所述分片任务多线程派发到各目标任务线程进行处理。2.如权利要求1所述的异步任务调度方法，其特征在于，所述调用待分配异步任务，并对各待分配异步任务进行过滤，得到待派发任务，包括：采用预设框架的目标注解的预设配置文件调用数据库中的定时任务，作为待分配异步任务；通过预设接口过滤所述待分配异步任务中的锁定任务，得到待派发任务，所述锁定任务为已经执行成功或者正在执行中的所述待分配异步任务。3.如权利要求1所述的异步任务调度方法，其特征在于，所述对各待派发任务进行分片，得到分片任务，包括：根据分库信息和应用名称信息确定活跃任务线程；根据所述活跃任务线程确定地域信息；根据所述活跃任务线程和所述地域信息对各待派发任务进行分片，得到分片任务。4.如权利要求3所述的异步任务调度方法，其特征在于，所述根据所述活跃任务线程和所述地域信息对各待派发任务进行分片，得到分片任务，包括：根据所述活跃任务线程确定分片数量；根据所述地域信息确定优先处理顺序；根据所述分片数量和所述有限处理顺序对各待派发任务进行分片，得到分片任务。5.如权利要求3所述的异步任务调度方法，其特征在于，所述将所述分片任务多线程派发到各目标任务线程进行处理，包括：根据所述活跃任务线程确定目标任务线程；将各分片任务派发到各目标任务线程按照预设处理方式进行执行，所述预设处理方式为各目标任务线程锁定异步任务记录并更新执行中任务进行处理。...
【专利技术属性】
技术研发人员：刘胤，伍明，邓昱，李如峰，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。