数据抽取-转换-加载ETL加工脚本的生成方法和装置制造方法及图纸

本公开关于一种数据抽取

【技术实现步骤摘要】
数据抽取
‑
转换
‑
加载ETL加工脚本的生成方法和装置


[0001]本公开涉及数据处理
，尤其涉及一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成方法和装置。

技术介绍

[0002]大多数金融机构采用数据仓库加工出各个报送任务的报表数据，通过对每个报送任务的制度解读、业务口径分析、数据口径分析、数据报送等，将不同报送任务分配到不同部门，然而，不同的报送任务数据加工逻辑和来源不一样，数据逻辑口径在抽取
‑
转换
‑
加载(Extract
‑
Transform
‑
Load，简称ETL)脚本中固化，最终的报表数据需要在最后阶段才可以被验证，造成业务人员在报表末端进行口径验证的局限性，且因为ETL脚本内口径固化的原因，ETL脚本修改需要进行版本变更流程，增加了运维压力。
[0003]相关技术中，ETL加工方式可以为ETL加工脚本直接编写逻辑加工的方式，另外，还可以通过加工模版的方式填写加工逻辑，生成加工脚本，然而，上述两种ETL加工方式都只适合在初期的开发阶段，在后续的验证和修改阶段都需要投入时间和人力，同时，上述两种ETL加工逻辑都是在ETL脚本内固化加工口径，没有将监管制度规范的内容提炼出来，整合成可供实时修改的参数化脚本以及易解读的参数种类。因此，如何提高对监管规范信息进行分析，将ETL的更新优化为参数化加工，以减轻报送任务流程中验证，修改，维护的压力已成为亟待解决的问题。

技术实现思路

[0004]本公开提供一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品，以至少解决相关技术中并未对监管规范信息进行解读以及报送任务流程中验证，修改，维护的压力较大的问题。
[0005]本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成方法，包括：确定报送任务对应的监管规范信息；对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数；获取所述报送任务对应的初始ETL加工脚本；向所述初始ETL加工脚本中嵌入不同类型的ETL参数，生成所述报送任务对应的目标ETL加工脚本。
[0007]在本公开的一个实施例中，所述对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数，包括：对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息；对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息。
[0008]在本公开的一个实施例中，所述对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息，包括：对所述
监管规范信息进行分析，确定第一类型的ETL参数，其中，所述第一ETL参数的取值信息包括规范空值与规范默认值；确定参数取值为所述规范默认值的第一类型的第一ETL参数，作为一类可批量修改的ETL参数。
[0009]在本公开的一个实施例中，所述对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息，包括：对所述监管规范信息进行分析，确定第二类型的ETL参数，其中，所述第二ETL参数的取值信息包括规范枚举值；从所述第二类型的ETL参数中，确定所述规范枚举值处于预设标准范围内的第二类型的第一ETL参数，作为一类可批量修改的ETL参数。
[0010]在本公开的一个实施例中，所述生成所述报送任务对应的目标ETL加工脚本之后，还包括：接收参数批量修改指令，根据所述参数批量修改指令，确定所述目标ETL加工脚本中待修改的可批量修改的ETL参数；确定所述待修改的可批量修改的ETL参数的位置符；根据所述参数批量修改指令中所述待修改的可批量修改的ETL参数的目标取值信息；根据所述目标取值信息和所述位置符，对所述待修改的可批量修改的ETL参数的取值信息进行修改。
[0011]在本公开的一个实施例中，所述对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息，包括：对所述监管规范信息进行分析，确定第二类型的ETL参数，其中，所述第二ETL参数的取值信息包括规范枚举值；从所述第二类型的ETL参数中，确定所述规范枚举值对应的专属枚举值范围的第二类型的第二ETL参数，作为一类实时修改的ETL参数。
[0012]在本公开的一个实施例中，所述对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息，包括：对所述报送任务所属系统的业务约定信息进行分析，获取所述报送任务对应的业务参数范围；根据所述业务参数范围生成业务边界参数，作为一类实时修改的ETL参数。
[0013]在本公开的一个实施例中，所述对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数，包括：确定所述报送任务对应的报送目的系统；对所述监管规范信息进行分析，获取参数取值为所述规范枚举值，并获取所述规范枚举值所属的专属枚举值范围；根据所述报送目的系统，对所述专属枚举值范围进行转换，得到转换关系参数，作为一类ETL参数。
[0014]根据本公开实施例的第二方面，提供一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成装置，包括：确定模块，被配置为确定报送任务对应的监管规范信息；提取模块，被配置为对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数；获取模块，被配置为获取所述报送任务对应的初始ETL加工脚本；生成模块，被配置为向所述初始ETL加工脚本中嵌入不同类型的ETL参数，生成所述报送任务对应的目标ETL加工脚本。
[0015]在本公开的一个实施例中，所述提取模块，还被配置为：对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息；对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分
析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息。
[0016]在本公开的一个实施例中，所述提取模块，还被配置为：对所述监管规范信息进行分析，确定第一类型的ETL参数，其中，所述第一ETL参数的取值信息包括规范空值与规范默认值；确定参数取值为所述规范默认值的第一类型的第一ETL参数，作为一类可批量修改的ETL参数。...

【技术保护点】

【技术特征摘要】
1.一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成方法，其特征在于，包括：确定报送任务对应的监管规范信息；对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ET L参数；获取所述报送任务对应的初始ETL加工脚本；向所述初始ETL加工脚本中嵌入不同类型的ETL参数，生成所述报送任务对应的目标ETL加工脚本。2.根据权利要求1所述的方法，其特征在于，所述对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数，包括：对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息；对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息。3.根据权利要求2所述的方法，其特征在于，所述对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息，包括：对所述监管规范信息进行分析，确定第一类型的ETL参数，其中，所述第一ETL参数的取值信息包括规范空值与规范默认值；确定参数取值为所述规范默认值的第一类型的第一ETL参数，作为一类可批量修改的ETL参数。4.根据权利要求2所述的方法，其特征在于，所述对所述监管规范信息进行分析，获取可批量修改的不同类型的ETL参数和所述可批量修改的不同类型的ETL参数的取值信息，包括：对所述监管规范信息进行分析，确定第二类型的ETL参数，其中，所述第二ETL参数的取值信息包括规范枚举值；从所述第二类型的ETL参数中，确定所述规范枚举值处于预设标准范围内的第二类型的第一ETL参数，作为一类可批量修改的ETL参数。5.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述生成所述报送任务对应的目标ETL加工脚本之后，还包括：接收参数批量修改指令，根据所述参数批量修改指令，确定所述目标ETL加工脚本中待修改的可批量修改的ETL参数；确定所述待修改的可批量修改的ETL参数的位置符；根据所述参数批量修改指令中所述待修改的可批量修改的ETL参数的目标取值信息；根据所述目标取值信息和所述位置符，对所述待修改的可批量修改的ETL参数的取值信息进行修改。6.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息，包括：对所述监管规范信息进行分析，确定第二类型的ETL参数，其中，所述第二ETL参数的取
值信息包括规范枚举值；从所述第二类型的ETL参数中，确定所述规范枚举值对应的专属枚举值范围的第二类型的第二ETL参数，作为一类实时修改的ETL参数。7.根据权利要求2
‑
4中任一项所述的方法，其特征在于，所述对所述监管规范信息和所述报送任务所属系统的业务约定信息中的一个进行分析，获取实时修改的不同类型的ETL参数和所述实时修改的不同类型的ETL参数的取值信息，包括：对所述报送任务所属系统的业务约定信息进行分析，获取所述报送任务对应的业务参数范围；根据所述业务参数范围生成业务边界参数，作为一类实时修改的ETL参数。8.根据权利要求1或2所述的方法，其特征在于，所述对所述监管规范信息进行分析，以确定需要从所述报送任务中提取的不同类型的ETL参数，包括：确定所述报送任务对应的报送目的系统；对所述监管规范信息进行分析，获取参数取值为所述规范枚举值，并获取所述规范枚举值所属的专属枚举值范围；根据所述报送目的系统，对所述专属枚举值范围进行转换，得到转换关系参数，作为一类ETL参数。9.一种数据抽取
‑
转换
‑
加载ETL加工脚本的生成装置，其特征在于，包括：确定模块，被配置为确定报送任务对应...

【专利技术属性】
技术研发人员：张榕，陈常淳，刘强，罗兰宇，洪舒婷，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：