本申请公开一种批处理控制方法及装置，所述方法和装置包括获取目标批处理作业对应的执行信息；所述执行信息包括目标批处理服务的调用信息以及调用执行所述目标批处理服务所需的控制信息；基于所述调用信息，对所述目标批处理服务进行相应的调用执行处理；基于所述控制信息，对所述目标批处理服务的调用执行过程进行控制。可见，本申请方法在提供批处理服务入口功能的同时，还实现了对批处理服务进行控制的控制功能，从而应用本申请方法，可有效扩展批处理触发器的功能，技术人员在开发批处理服务时，仅需关心批处理服务的业务逻辑实现，有效降低了批处理服务的开发复杂度。
【技术实现步骤摘要】
本专利技术属于数据批处理领域，尤其涉及一种批处理控制方法及装置。
技术介绍
批处理是指在预置时段内批量处理大数据，以日终批处理为例，通常是指以天(24小时)为周期，在日终时段批量处理大数据。批处理一般以批处理触发器为批处理服务的统一入口，通过调用相应的批处理服务实现所需的大数据处理。目前的批处理触发器功能较为单一，仅提供简单的批处理服务入口功能。从而导致技术人员在开发批处理服务时，除了需关心批处理服务的业务逻辑实现，还需关心批处理相关控制过程的技术实现，比如批处理事务控制(如事务提交)的技术实现、批处理多线程并发控制的技术实现等等，进而导致批处理服务的开发复杂度较高，增加了技术人员开发批处理服务的工作量和难度。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种批处理控制方法及装置，旨在解决现有的批处理触发器因功能简单而导致批处理服务的开发复杂度较高这一问题。为此，本专利技术公开如下技术方案:一种批处理控制方法，包括:获取目标批处理作业对应的执行信息;所述执行信息包括目标批处理服务的调用信息以及调用执行所述目标批处理服务所需的控制信息；基于所述调用信息，对所述目标批处理服务进行相应的调用执行处理；基于所述控制信息，对所述目标批处理服务的调用执行过程进行控制。上述方法，优选的，所述获取目标批处理作业对应的执行信息包括:获取目标批处理作业的作业编号；依据所述作业编号，确定所述目标批处理作业的配置文件;所述配置文件由用户预先对通用配置模板进行配置得到，所述通用配置模板包括对批处理进行控制所需的各种控制参数；读取所述配置文件，得到所述目标批处理服务的执行信息。上述方法，优选的，所述调用信息包括所述目标批处理服务的标识信息以及批处理预判条件，则所述基于所述调用信息，对所述目标批处理服务进行相应的调用执行处理，包括:判断所述批处理预判条件是否成立；如果成立，则利用所述标识信息调用并执行所述目标批处理服务；如果不成立，则结束批处理。上述方法，优选的，所述目标批处理服务包括批处理前置服务、批处理主服务和批处理后置服务，所述标识信息包括前置服务标识、主服务标识和后置服务标识;则所述利用所述标识信息调用并执行所述目标批处理服务，包括:利用所述前置服务标识，调用所述批处理前置服务，得到需处理的数据对象列表。上述方法，优选的，所述控制信息包括批处理类型和同步笔数;则当所述批处理类型为参数化同步批处理时，所述基于所述控制信息对所述目标批处理服务的调用执行过程进行控制包括:基于所述同步笔数对所述数据对象列表进行拆分，得到多个子列表，并将每个所述子列表的数据处理作为一个事务;其中，每个所述子列表包括不超过所述同步笔数的数据对象；基于对所述批处理主服务进行循环调用，依次执行各个事务;如果事务正常结束，则提交所述事务;如果事务异常，则回滚所述事务；在各个所述事务执行结束时，调用所述批处理后置服务，得到所述目标批处理作业的执行状态信息并退出作业。上述方法，优选的，所述控制信息包括批处理类型和同步笔数;则当所述批处理类型为断点续跑批处理时，所述基于所述控制信息对所述目标批处理服务的调用执行过程进行控制包括:基于预先生成的断点信息，去除所述数据对象列表中已执行成功的数据对象，得到需处理的新数据对象列表；基于所述同步笔数对所述新数据对象列表进行拆分，得到多个子列表，并将每个所述子列表的数据处理作为一个事务;其中，每个所述子列表包括不超过所述同步笔数的数据对象；基于对所述批处理主服务进行循环调用，依次执行各个事务;如果事务正常结束，则提交所述事务;如果事务异常，则回滚所述事务；在各个所述事务执行结束时，调用所述批处理后置服务，得到所述目标批处理作业的执行状态信息并退出作业。上述方法，优选的，所述控制信息包括批处理类型和同步笔数，当所述批处理类型为参数化多线程批处理时，所述控制信息还包括用户设置的并发线程数;则所述基于所述控制信息对所述目标批处理服务的调用执行过程进行控制包括:基于所述并发线程数对所述数据对象列表进行拆分，得到多个子列表；基于所述同步笔数对每个所述子列表进行拆分，得到每个所述子列表的多个小列表，并将每个所述小列表的数据处理作为一个事务;其中，每个所述小列表包括不超过所述同步笔数的数据对象；创建数目为所述并发线程数的多个并发线程，并将每个所述线程与每个所述子列表对应；在每个所述线程内，基于对所述批处理主服务进行循环调用，依次执行相应子列表的各个事务;如果事务正常结束，则提交所述事务;如果事务异常，则回滚所述事务；在各个线程的事务执行结束时，调用所述批处理后置服务，得到所述目标批处理作业的执行状态信息并退出作业。上述方法，优选的，还包括:在所述目标批处理作业的处理过程中，实时记录、更新所述目标批处理作业的执行状态信息。一种批处理控制装置，包括:获取模块，用于获取目标批处理作业对应的执行信息；所述执行信息包括目标批处理服务的调用信息以及调用执行所述目标批处理服务所需的控制信息；调用处理模块，用于基于所述调用信息，对所述目标批处理服务进行相应的调用执行处理；控制模块，用于基于所述控制信息，对所述目标批处理服务的调用执行过程进行控制。上述装置，优选的，所述获取模块包括:获取单元，用于获取目标批处理作业的作业编号；确定单元，用于依据所述作业编号，确定所述目标批处理作业的配置文件;所述配置文件由用户预先对通用配置模板进行配置得到，所述通用配置模板包括对批处理进行控制所需的各种控制参数；读取单元，用于读取所述配置文件，得到所述目标批处理服务的执行信息。上述装置，优选的，所述调用信息包括所述目标批处理服务的标识信息以及批处理预判条件，则所述调用处理模块包括:判断单元，用于判断所述批处理预判条件是否成立；第一处理单元，用于在所述预判条件成立时，利用所述标识信息调用并执行所述目标批处理服务；第二处理单元，用于在所述预判条件不成立时，结束批处理。上述装置，优选的，所述目标批处理服务包括批处理前置服务、批处理主服务和批处理后置服务，所述标识信息包括前置服务标识、主服务标识和后置服务标识;则所述第一处理单元包括:前置服务调用子单元，用于利用所述前置服务标识，调用所述批处理前置服务，得到需处理的数据对象列表。上述装置，优选的，所述控制信息包括批处理类型和同步笔数;则当所述批处理类型为参数化同步批处理时，所述控制模块包括:第一拆分单元，用于基于所述同步笔数对所述数据对象列表进行拆分，得到多个子列表，并将每个所述子列表的数据处理作为一个事务;其中，每个所述子列表包括不超过所述同步笔数的数据对象；第一事务控制单元，用于基于对所述批处理主服务进行循环调用，依次执行各个事务;如果事务正常结束，则提交所述事务;如果事务异常，则回滚所述事务；[005当前第1页1 2 3 4 5 本文档来自技高网...
【技术保护点】
一种批处理控制方法，其特征在于，包括：获取目标批处理作业对应的执行信息；所述执行信息包括目标批处理服务的调用信息以及调用执行所述目标批处理服务所需的控制信息；基于所述调用信息，对所述目标批处理服务进行相应的调用执行处理；基于所述控制信息，对所述目标批处理服务的调用执行过程进行控制。
【技术特征摘要】
【专利技术属性】
技术研发人员：任林涛，吴炜斯，丁伟奇，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。