【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种批量任务处理方法、装置、设备及计算机程序产品。
技术介绍
1、随着互联网用户量的持续增加，系统用户数量级可达亿级。在各大互联网系统中，都存在给大量用户开展营销活动的诉求。针对此类场景如何设计方案实现大数据量级用户存储、业务处理以及下游权益方调用，具有很大的挑战。其中，系统对接的下游权益提供方可能较多，且数量会持续变化。而不同类型的活动在同一队列中排队串行发放，系统整体性能低，耗时高，吞吐性差，且新增下游权益提供方需要定制化对接，无法自适应速率匹配。
2、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种批量任务处理方法、装置、设备及计算机程序产品，旨在解决现有技术中任务并行处理效率低且新增权益提供方无法自适应匹配的技术问题。
2、为实现上述目的，本申请提出一种批量任务处理方法，所述方法包括：
3、获取待处理客户营销活动任务；
4、基于预设的权益类型数据和若干个初始任务队列，根据所述待处理客户营销活动任务，获得若干个待处理任务队列；
5、将若干个所述待处理任务队列投递至预设的调度线程组；
6、响应于任务处理指令，通过所述调度线程组，将若干个所述待处理任务队列投递至预设的工作线程组进行处理，获得批量任务处理结果。
7、在一实施例中，所述基于预设的权益类型数据和若干个初始任务队列，根据所述待处理客户营销活
8、根据所述权益类型数据，对所述待处理客户营销活动任务进行分类，获得若干个分类客户营销活动任务；
9、根据预设的若干个权益提供方每秒事务数数据，对所述若干个分类客户营销活动任务进行分解，获得若干个权益营销活动任务；
10、将所述权益营销活动任务加入对应的所述初始任务队列，获得第一任务队列；
11、基于所述权益类型数据，对若干个所述第一任务队列进行加锁，获得若干个所述待处理任务队列。
12、在一实施例中，所述权益营销活动任务为第一权益营销活动任务或第二权益营销活动任务，所述根据预设的若干个权益提供方每秒事务数数据，对所述若干个分类客户营销活动任务进行分解，获得若干个权益营销活动任务的步骤包括：
13、根据所述分类客户营销活动任务，获得任务数量数据；
14、判断所述任务数量数据是否大于对应的所述权益提供方每秒事务数数据；
15、若是，则根据所述权益提供方每秒事务数数据对所述分类客户营销活动任务进行分解，获得若干个所述第一权益营销活动任务；
16、若否，则将所述分类客户营销活动任务作为所述第二权益营销活动任务。
17、在一实施例中，所述响应于任务处理指令，通过所述调度线程组，将若干个所述待处理任务队列投递至预设的工作线程组进行处理，获得批量任务处理结果的步骤之前还包括：
18、通过所述调度线程组，对所述工作线程组进行监听；
19、当监听到所述工作线程组结束当前任务时，触发所述任务处理指令。
20、在一实施例中，所述获取待处理客户营销活动任务的步骤之后，还包括：
21、根据所述待处理客户营销活动任务，获得营销名单数据
22、基于预设的分块存储策略，根据所述营销名单数据，获得若干个营销名单数据表。
23、在一实施例中，所述基于预设的分块存储策略，根据所述营销名单数据，获得若干个营销名单数据表的步骤之后还包括：
24、接收到名单查询指令；
25、根据所述名单查询指令，对若干个所述营销名单数据表进行并发扫描，获得扫描结果；
26、根据所述扫描结果，生成名单查询结果。
27、在一实施例中，所述根据所述名单查询指令，对若干个所述营销名单数据表进行并发扫描，获得扫描结果的步骤包括：
28、s1：根据所述名单查询指令，获取若干个所述营销名单数据表中的任一营销名单数据表；
29、s2：判断所述营销名单数据表的承载量是否大于预设的内存处理阈值；
30、s3：若是，则基于预设的单批次可处理容量，对所述营销名单数据表进行分批次扫描；
31、s4：若否，则对所述营销名单数据表进行扫描；
32、对若干个所述营销名单数据表并发执行步骤s1-s4，获得所述扫描结果。
33、此外，为实现上述目的，本申请还提出一种批量任务处理装置，所述批量任务处理装置包括：
34、任务获取模块，用于获取待处理客户营销活动任务；
35、队列获得模块，用于基于预设的权益类型数据和若干个初始任务队列，根据所述待处理客户营销活动任务，获得若干个待处理任务队列；
36、投递模块，用于将若干个所述待处理任务队列投递至预设的调度线程组；
37、处理模块，用于响应于任务处理指令，通过所述调度线程组，将若干个所述待处理任务队列投递至预设的工作线程组进行处理，获得批量任务处理结果。
38、此外，为实现上述目的，本申请还提出一种批量任务处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的批量任务处理方法的步骤。
39、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的批量任务处理方法的步骤。
40、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的批量任务处理方法的步骤。
41、本申请提供了一种批量任务处理方法，通过调度线程组和工作线程组，对任务进行并行处理，提高任务处理效率，保证多个客户营销活动之间互不影响，调度线程组与工作线程组的依赖关系剥离保证系统不会因任务执行而阻塞任务调度，让整个系统运转过程充分发挥并行处理的特性，其中初始任务队列由系统根据当前权益提供方的数量创建，当新增权益提供方时，能够自适应匹配，保证批量任务处理的可扩展性，解决了任务并行处理效率低且新增权益提供方无法自适应匹配的问题。
本文档来自技高网...【技术保护点】
1.一种批量任务处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述基于预设的权益类型数据和若干个初始任务队列，根据所述待处理客户营销活动任务，获得若干个待处理任务队列的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述权益营销活动任务为第一权益营销活动任务或第二权益营销活动任务，所述根据预设的若干个权益提供方每秒事务数数据，对所述若干个分类客户营销活动任务进行分解，获得若干个权益营销活动任务的步骤包括：
4.如权利要求1所述的方法，其特征在于，所述响应于任务处理指令，通过所述调度线程组，将若干个所述待处理任务队列投递至预设的工作线程组进行处理，获得批量任务处理结果的步骤之前还包括：
5.如权利要求1所述的方法，其特征在于，所述获取待处理客户营销活动任务的步骤之后，还包括：
6.如权利要求5所述的方法，其特征在于，所述基于预设的分块存储策略，根据所述营销名单数据，获得若干个营销名单数据表的步骤之后还包括：
7.如权利要求6所述的方法，其特征在于，所述根据所述名单查询指令，对
8.一种批量任务处理装置，其特征在于，所述装置包括：
9.一种批量任务处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的批量任务处理方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的批量任务处理方法的步骤。
...【技术特征摘要】
1.一种批量任务处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述基于预设的权益类型数据和若干个初始任务队列，根据所述待处理客户营销活动任务，获得若干个待处理任务队列的步骤包括：
3.如权利要求2所述的方法，其特征在于，所述权益营销活动任务为第一权益营销活动任务或第二权益营销活动任务，所述根据预设的若干个权益提供方每秒事务数数据，对所述若干个分类客户营销活动任务进行分解，获得若干个权益营销活动任务的步骤包括：
4.如权利要求1所述的方法，其特征在于，所述响应于任务处理指令，通过所述调度线程组，将若干个所述待处理任务队列投递至预设的工作线程组进行处理，获得批量任务处理结果的步骤之前还包括：
5.如权利要求1所述的方法，其特征在于，所述获取待处理客户营销活动任务的步骤之...
【专利技术属性】
技术研发人员：王心阳，费海跃，王春明，向飞，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。