System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术实施例涉及大数据处理,尤其涉及一种业务处理插件的生成方法、装置、设备、介质及产品。
技术介绍
1、在大数据时代,对业务数据的处理流程变得越来越复杂和庞大。目前通常是通过程序员编写数据加工脚本,执行该数据加工脚本以实现对业务数据的处理。但是,传统的数据处理流程通常需要人工编写复杂的数据加工脚本,这不仅耗时耗力,而且容易出现错误。此外,随着数据处理需求的变化,已有的数据加工脚本难以应对不同数据源和处理流程的变化,可能需要频繁地修改和维护,但人工手动维护脚本容易出现遗漏或错误,导致系统不稳定。
技术实现思路
1、本专利技术实施例提供一种业务处理插件的生成方法、装置、设备、介质及产品,可以自动生成目标业务处理插件,可以提高目标业务处理插件的可维护性和灵活适应性,进而可以提高业务系统的稳定性。
2、第一方面,本专利技术实施例提供了一种业务处理插件的生成方法,该方法包括:
3、基于目标业务的业务类型获取所述业务类型对应的初始业务处理插件,所述初始业务处理插件是采用数据集成工具kettle开发的;
4、对所述目标业务进行分析,得到所述目标业务对应的元数据信息和处理逻辑,所述元数据信息至少包括数据源元数据、输出元数据和调度元数据;
5、基于所述数据源元数据和所述处理逻辑为所述初始业务处理插件配置目标数据处理组件;
6、基于所述输出元数据为所述初始业务处理插件配置目标数据输出组件;
7、基于所述调度元数据为所述初始业务
8、根据所述目标数据处理组件、所述目标数据输出组件和所述目标业务调度组件确定用于处理所述目标业务的目标业务处理插件。
9、第二方面,本专利技术实施例还提供了一种业务处理插件的生成装置,该装置包括:
10、初始插件获取模块,用于基于目标业务的业务类型获取所述业务类型对应的初始业务处理插件,所述初始业务处理插件是采用数据集成工具kettle开发的;
11、业务数据分析模块,用于对所述目标业务进行分析,得到所述目标业务对应的元数据信息和处理逻辑,所述元数据信息至少包括数据源元数据、输出元数据和调度元数据;
12、第一组件配置模块,用于基于所述数据源元数据和所述处理逻辑为所述初始业务处理插件配置目标数据处理组件;
13、第二组件配置模块,用于基于所述输出元数据为所述初始业务处理插件配置目标数据输出组件;
14、第三组件配置模块,用于基于所述调度元数据为所述初始业务处理插件配置目标业务调度组件;
15、目标插件生成模块,用于根据所述目标数据处理组件、所述目标数据输出组件和所述目标业务调度组件确定用于处理所述目标业务的目标业务处理插件。
16、第三方面,本专利技术实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本专利技术实施例中任一所述的业务处理插件的生成方法。
17、第四方面,本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本专利技术实施例中任一所述的业务处理插件的生成方法。
18、第五方面,本专利技术实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本专利技术实施例中任一所述的业务处理插件的生成方法。
19、本专利技术实施例中,基于目标业务的业务类型获取业务类型对应的初始业务处理插件;对目标业务进行分析,得到目标业务对应的元数据信息和处理逻辑;基于数据源元数据和处理逻辑为初始业务处理插件配置目标数据处理组件;基于输出元数据为初始业务处理插件配置目标数据输出组件;基于调度元数据为初始业务处理插件配置目标业务调度组件;根据目标数据处理组件、目标数据输出组件和目标业务调度组件确定用于处理目标业务的目标业务处理插件。本申请预先为业务系统中每种业务类型构建对应的包含基础结构的初始业务处理插件;再对目标业务的数据结构和业务规则进行分析,得到描述该目标业务的元数据信息和处理逻辑;根据元数据信息和处理逻辑分别对初始业务处理插件进行动态配置目标数据处理组件、目标数据输出组件和目标业务调度组件,从而得到用于处理目标业务的目标业务处理插件。本申请通过对目标业务的数据处理需求分析,在kettle中以插件形式动态生成目标业务处理插件,解决了现有技术中数据处理流程通常需要人工编写复杂的数据加工脚本造成的耗时耗力且容易出现错误的问题;本申请通过目标业务的元数据和处理逻辑驱动生成目标业务处理插件,可以应对不同数据源和处理流程的变化,提高了对目标业务处理插件的可维护性和灵活适应性,进而可以提高业务系统的稳定性。
本文档来自技高网...【技术保护点】
1.一种业务处理插件的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述初始业务处理插件包括初始数据提取组件和初始数据处理组件;基于所述数据源元数据和所述处理逻辑为所述初始业务处理插件配置目标数据处理组件,包括:
3.根据权利要求2所述的方法,其特征在于,所述第一组件参数包括结构化查询语言SQL查询语句;基于所述数据源元数据为所述初始数据提取组件配置第一组件参数,得到所述目标数据提取组件,包括:
4.根据权利要求2所述的方法,其特征在于,所述第二组件参数包括映射关系和数据加工任务;基于所述处理逻辑和所述业务宽表数据对所述初始数据处理组件配置第二组件参数,得到所述目标数据处理组件,包括:
5.根据权利要求3所述的方法,其特征在于,基于所述业务主键和预设脚本编辑工具生成所述SQL查询语句,包括:
6.根据权利要求4所述的方法,其特征在于,当所述目标业务为预算业务时,所述至少一个业务字段至少包括预算执行率、总预算额度、预算执行金额、原始编制金额、上期结转金额和调剂金额,所述数据加工任务为确定所述预算执
7.根据权利要求4所述的方法,其特征在于,当所述目标业务为资金集中度业务时,所述至少一个业务字段至少包括账户信息、账户余额和汇率值,所述数据加工任务为确定目标账户的已归集资金、未归集资金和受限资金;通过如下方式确定所述数据加工任务:
8.根据权利要求1所述的方法,其特征在于,在基于目标业务的业务类型获取所述业务类型对应的初始业务处理插件之前,所述方法还包括:
9.根据权利要求1所述的方法,其特征在于,所述初始业务处理插件还包括初始数据输出组件;基于所述输出元数据为所述初始业务处理插件配置目标数据输出组件,包括:
10.根据权利要求1所述的方法,其特征在于,所述初始业务处理插件还包括初始业务调度组件;基于所述调度元数据为所述初始业务处理插件配置目标业务调度组件,包括:
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
12.一种业务处理插件的生成装置,其特征在于,包括:
13.一种电子设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至11中任一项所述的业务处理插件的生成方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一所述的业务处理插件的生成方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1至11中任一项所述的业务处理插件的生成方法。
...【技术特征摘要】
1.一种业务处理插件的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述初始业务处理插件包括初始数据提取组件和初始数据处理组件;基于所述数据源元数据和所述处理逻辑为所述初始业务处理插件配置目标数据处理组件,包括:
3.根据权利要求2所述的方法,其特征在于,所述第一组件参数包括结构化查询语言sql查询语句;基于所述数据源元数据为所述初始数据提取组件配置第一组件参数,得到所述目标数据提取组件,包括:
4.根据权利要求2所述的方法,其特征在于,所述第二组件参数包括映射关系和数据加工任务;基于所述处理逻辑和所述业务宽表数据对所述初始数据处理组件配置第二组件参数,得到所述目标数据处理组件,包括:
5.根据权利要求3所述的方法,其特征在于,基于所述业务主键和预设脚本编辑工具生成所述sql查询语句,包括:
6.根据权利要求4所述的方法,其特征在于,当所述目标业务为预算业务时,所述至少一个业务字段至少包括预算执行率、总预算额度、预算执行金额、原始编制金额、上期结转金额和调剂金额,所述数据加工任务为确定所述预算执行率;通过如下方式确定所述数据加工任务:
7.根据权利要求4所述的方法,其特征在于,当所述目标业务为资金集中度业务时,所述至少一个业务字段至少包括账户信息、账户余额和汇率值,所述数据加工任务为确定目标账户的已归...
【专利技术属性】
技术研发人员:康延妮,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。