一种用于财险核心系统的批处理方法及系统技术方案

本发明专利技术公开了一种用于财险核心系统的批处理方法及系统，其中，所述方法包括：系统首先调用任务状态管理器检查任务是否可以执行，是否为重跑数据，如果不是所述重跑数据，则判定为预检通过；继而依据任务的配置数据；提取任务数据中的主档数据并建立主档表之后，对任务进行分片操作处理；完成数据分片后，CTM平台将不同分片数据调度到不同服务器上执行，执行时将数据分片进行分块后使用线程池并行调度业务逻辑。在执行完、被取消或者分片任务执行失败后，整体流程进入汇总阶段。解决了现有寿险核心系统的批处理任务使用简单定时器进行调度，处理逻辑简陋，批处理任务存在单点故障、处理效率低下、容错能力差的问题。

【技术实现步骤摘要】
一种用于财险核心系统的批处理方法及系统
本专利技术涉及批处理领域，尤其涉及一种用于财险核心系统的批处理方法及系统。
技术介绍
SpringBatch提供大量的、可复用的数据处理功能，包括事务管理、作业处理统计工作重新启动、跳过和资源管理等重要功能，常用于数据的离线迁移，和数据处理。其提供了大量且丰富的系统接口，提供了大量的定制化作业能力，通过将一个批次任务分片、分步并发调度，实现了批处理任务的高效处理。但其在保险系统的应用中也存在一些缺点：与保险业务结合不够深入，开发人员需要提供大量其他配置或接口开发才能正常使用、技术框架体系与建行新一代项目框架体系需要做深入改造适配，不利于后续改进，其没有提供合适监控与管理平台方案，用于生产运维。本申请专利技术人在实现本申请实施例中专利技术技术方案的过程中，发现上述技术至少存在如下技术问题：现有寿险核心系统的批处理任务使用简单定时器进行调度，处理逻辑简陋，批处理任务存在单点故障、处理效率低下、容错能力差的问题。
技术实现思路
本申请实施例通过提供一种用于财险核心系统的批处理方法及系统，解决了现有技术中现有寿险核心系统的批处理任务使用简单定时器进行调度，处理逻辑简陋，批处理任务存在单点故障、处理效率低下、容错能力差的技术问题，达到了采用多线程分布式方案，分片分块进行调度，合理容错，定期重试，将异常或错误的影响降低，从而提高常规定时任务的处理效率及高效监控，满足日益增长的业务需求的技术目的。本申请实施例通过提供一种用于财险核心系统的批处理方法，所述方法应用于一财险核心系统，其中，所述方法包括：获得第一任务调度指令和第一任务信息，其中，所述第一任务信息包括第一任务数据；根据所述第一任务调度指令，获得所述第一任务信息的第一流程状态数据信息；判断所述第一流程状态数据信息是否为重跑数据；如果不是所述重跑数据，获得第一输出信息，其中，所述第一输出信息为预检通过信息；根据所述第一输出信息，获得所述第一任务的配置数据；提取所述第一任务数据中的主档数据并建立第一主档表之后，根据所述配置数据，对所述主档数据进行分片操作处理；当所述分片操作处理完成之后，获得第一分片数据，其中，所述第一分片数据中包括多个分片数据；获得第二任务调度指令和第二任务信息，并根据所述第二任务调度指令和所述第二任务信息，检索所述财险核心系统中的所有缓存器信息；将所述所有缓存器信息存储至第一内存中之后，获得第一分块指令；根据所述第一分块指令，对所述第一分片数据进行分块并获得第一分块数据之后，采用线程池对所述第一分块数据进行并行调度；当所述并行调度结束之后，判断所述第二任务中的失败次数是否超过预设数量；如果未超过，调用预定业务逻辑并获得第一任务结果信息；获得第三任务调度指令和第三任务信息，并根据所述第三任务调度指令，对所述第一任务结果信息进行汇总之后，获得第二输出信息。另一方面，本申请还提供了一种用于财险核心系统的批处理系统，其中，所述系统包括：第一获得单元，所述第一获得单元用于获得第一任务调度指令和第一任务信息，其中，所述第一任务信息包括第一任务数据；第二获得单元，所述第二获得单元用于根据所述第一任务调度指令，获得所述第一任务信息的第一流程状态数据信息；第一判断单元，所述第一判断单元用于判断所述第一流程状态数据信息是否为重跑数据；第三获得单元，所述第三获得单元用于如果不是所述重跑数据，获得第一输出信息，其中，所述第一输出信息为预检通过信息；第四获得单元，所述第四获得单元用于根据所述第一输出信息，获得所述第一任务的配置数据；第一执行单元，所述第一执行单元用于提取所述第一任务数据中的主档数据并建立第一主档表之后，根据所述配置数据，对所述主档数据进行分片操作处理；第五获得单元，所述第五获得单元用于当所述分片操作处理完成之后，获得第一分片数据，其中，所述第一分片数据中包括多个分片数据；第六获得单元，所述第六获得单元用于获得第二任务调度指令和第二任务信息，并根据所述第二任务调度指令和所述第二任务信息，检索所述财险核心系统中的所有缓存器信息；第七获得单元，所述第七获得单元用于将所述所有缓存器信息存储至第一内存中之后，获得第一分块指令；第八获得单元，所述第八获得单元用于根据所述第一分块指令，对所述第一分片数据进行分块并获得第一分块数据之后，采用线程池对所述第一分块数据进行并行调度；第二判断单元，所述第二判断单元用于当所述并行调度结束之后，判断所述第二任务中的失败次数是否超过预设数量；第九获得单元，所述第九获得单元用于如果未超过，调用预定业务逻辑并获得第一任务结果信息；第十获得单元，所述第十获得单元用于获得第三任务调度指令和第三任务信息，并根据所述第三任务调度指令，对所述第一任务结果信息进行汇总之后，获得第二输出信息。另一方面，本申请实施例还提供了一种用于财险核心系统的批处理系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述第一方面所述方法的步骤。本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：由于采用了在任务调度上，使用了先分片后分块并行调度的方案，充分使用了所有服务器的处理能力，将任务处理速度提升到极致；同时针对错误和异常，框架提供了指定的容错能力，并在分片任务失败的情况下提供了重试的能力，保障业务的正常进行。上述说明是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。附图说明图1为本申请实施例一种用于财险核心系统的批处理方法的流程示意图；图2为本申请实施例一种用于财险核心系统的批处理系统的结构示意图；图3为本申请实施例示例性电子设备的结构示意图。附图标记说明：第一获得单元11，第二获得单元12，第一判断单元13，第三获得单元14，第四获得单元15，第一执行单元16，第五获得单元17，第六获得单元18，第七获得单元19，第八获得单元20，第二判断单元21，第九获得单元22，第十获得单元23，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。具体实施方式本申请实施例通过提一种用于财险核心系统的批处理方法及系统，解决了现有技术中现有寿险核心系统的批处理任务使用简单定时器进行调度，处理逻辑简陋，批处理任务存在单点故障、处理效率低下、容错能力差的技术问题，达到了采用多线程分布式方案，分片分块进行调度，合理容错，定期重试，将异常或错误的影响降低，从而提高常规定时任务的处理效率及高效监控，满足日益增长的业务需求的技术目的。下面，将参考附图详细的描述本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。申请概述SpringBatch在保险系统的应用中也存在一些缺点：与保险业务结合不够深入，开发人员需要提供大量其他配本文档来自技高网...

【技术保护点】
1.一种用于财险核心系统的批处理方法，所述方法应用于一财险核心系统，其中，所述方法包括：/n获得第一任务调度指令和第一任务信息，其中，所述第一任务信息包括第一任务数据；/n根据所述第一任务调度指令，获得所述第一任务信息的第一流程状态数据信息；/n判断所述第一流程状态数据信息是否为重跑数据；/n如果不是所述重跑数据，获得第一输出信息，其中，所述第一输出信息为预检通过信息；/n根据所述第一输出信息，获得所述第一任务的配置数据；/n提取所述第一任务数据中的主档数据并建立第一主档表之后，根据所述配置数据，对所述主档数据进行分片操作处理；/n当所述分片操作处理完成之后，获得第一分片数据，其中，所述第一分片数据中包括多个分片数据；/n获得第二任务调度指令和第二任务信息，并根据所述第二任务调度指令和所述第二任务信息，检索所述财险核心系统中的所有缓存器信息；/n将所述所有缓存器信息存储至第一内存中之后，获得第一分块指令；/n根据所述第一分块指令，对所述第一分片数据进行分块并获得第一分块数据之后，采用线程池对所述第一分块数据进行并行调度；/n当所述并行调度结束之后，判断所述第二任务中的失败次数是否超过预设数量；/n如果未超过，调用预定业务逻辑并获得第一任务结果信息；/n获得第三任务调度指令和第三任务信息，并根据所述第三任务调度指令，对所述第一任务结果信息进行汇总之后，获得第二输出信息。/n...

【技术特征摘要】
1.一种用于财险核心系统的批处理方法，所述方法应用于一财险核心系统，其中，所述方法包括：
获得第一任务调度指令和第一任务信息，其中，所述第一任务信息包括第一任务数据；
根据所述第一任务调度指令，获得所述第一任务信息的第一流程状态数据信息；
判断所述第一流程状态数据信息是否为重跑数据；
如果不是所述重跑数据，获得第一输出信息，其中，所述第一输出信息为预检通过信息；
根据所述第一输出信息，获得所述第一任务的配置数据；
提取所述第一任务数据中的主档数据并建立第一主档表之后，根据所述配置数据，对所述主档数据进行分片操作处理；
当所述分片操作处理完成之后，获得第一分片数据，其中，所述第一分片数据中包括多个分片数据；
获得第二任务调度指令和第二任务信息，并根据所述第二任务调度指令和所述第二任务信息，检索所述财险核心系统中的所有缓存器信息；
将所述所有缓存器信息存储至第一内存中之后，获得第一分块指令；
根据所述第一分块指令，对所述第一分片数据进行分块并获得第一分块数据之后，采用线程池对所述第一分块数据进行并行调度；
当所述并行调度结束之后，判断所述第二任务中的失败次数是否超过预设数量；
如果未超过，调用预定业务逻辑并获得第一任务结果信息；
获得第三任务调度指令和第三任务信息，并根据所述第三任务调度指令，对所述第一任务结果信息进行汇总之后，获得第二输出信息。


2.如权利要求1所述的方法，其中，所述获得所述第一任务信息的第一流程状态数据信息之前，所述方法还包括：
根据所述第一任务调度指令，对所述第一任务数据进行初始化之后，判断所述财险核心系统中是否包括第四任务信息，其中，所述第四任务信息与所述第一任务信息具有相同的服务编码；
如果不包括所述第四任务信息，则获得所述第一流程状态数据信息；
如果包括所述第四任务信息，则获得第一输出指令；
根据所述第一输出指令，终止所述第一任务并返回执行失败结果信息。


3.如权利要求1所述的方法，其中，所述获得所述第一任务信息的第一流程状态数据信息之后，所述方法还包括：
获得第一启动指令；
根据所述第一启动指令，启动第一异步任务；
按照第一预设频率，通过所述第一异步任务对所述第一流程状态数据信息进行维护。


4.如权利要求1所述的方法，其中，所述根据所述第一输出信息，获得所述第一任务的配置数据之后，所述方法还包括：
对所述配置数据进行初始化之后，获得第一检查指令，其中，所述第一检查指令用于检查所述配置数据是否满足预设规则；
如果所述配置数据满足所述预设规则，则获得第一操作指令；
根据所述第一操作指令，提取所述第一任务数据中的主档数据并建立第一主档表之后，根据所述配置数据，对所述主档数据进行分片操作处理。


5.如权利要求1所述的方法，其中，所述方法还包括：
如果所述第一流程状态数据信息为所述重跑数据，则获得第三输出信息；
根据所述第三输出信息，将所述第一任务的流程状态设定为待执行状态之后，返回执行成功信息。


6.如权利要求3所述的方法，其中，所述当所述分片操作处理完成之后，获得第一分片数据之后，所述方法还包括：
获得第一终止指令；
根据所述第一终止指令，终止所述第一异步任务。


7.如权利要求1所述的方法，其中，所述当所述分片操作处理完成之后，获得第一分片数据之后，所述方法还包括：
判断所述第一任务的各个流程是否存在异常；
如果存在异常，获得第一清理指令；
根据所述第一清理指令，对所述第一任务的各个流程的执行内容进行清除之后，获得第二启动指令；
根据所述第二启动指令，启动CTM的重试机制。


8.如权利要求7所述的方法，其中，所述获得第二任务调度指令和第二任务信息之后，所述方法还包括：
根据所述第二任务调度指令，获得所述第二任务信息的第二任务状态信息；
判断所述第二任务状态信息是否满足执行所述第二任务的状态；
如果满足，则判断所述财险核心系统中是否包括第五任务信息，其中，所述第五任务信息和所述第二任务信息具有相同的分片任务；
如果包括所述第五任务信息，则获得第一返回指令，并根据所述第一返回指令返回至所述CTM之后，获得所述第二任务的第二流程状态数据信息。


9.如权利要求8所述的方法，其中，所述获得所述第二任务的第二流程状态数据信息之后，所述方法还包括：
根据所述第二流程状态数据信息，获得第三启动指...

【专利技术属性】
技术研发人员：张鹏，陈立伟，范新生，吴志祥，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：上海;31