一种屏蔽异构数据源的方法及装置制造方法及图纸

本发明专利技术实施例公开了一种屏蔽异构数据源的方法，包括：IDE接收用户发起的产品流程发布请求或产品流程测试请求；所述IDE获取产品的配置参数以及预先为产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，多输入节点上配置有输入数据源与不同类型的配置参数的匹配关系；IDE以产品的配置参数在匹配关系中查找对应的输入数据源；IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源，并以替换后的数据流模型作为产品流程发布或所述产品流程测试的数据流模型。本发明专利技术实施例还公开了一种屏蔽异构数据源的装置。采用本发明专利技术，具有可屏蔽不同输入数据源之间的差异，降低了产品流程发布或测试的实现成本的优点。

【技术实现步骤摘要】
【专利摘要】本专利技术实施例公开了一种屏蔽异构数据源的方法，包括：IDE接收用户发起的产品流程发布请求或产品流程测试请求；所述IDE获取产品的配置参数以及预先为产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，多输入节点上配置有输入数据源与不同类型的配置参数的匹配关系；IDE以产品的配置参数在匹配关系中查找对应的输入数据源；IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源，并以替换后的数据流模型作为产品流程发布或所述产品流程测试的数据流模型。本专利技术实施例还公开了一种屏蔽异构数据源的装置。采用本专利技术，具有可屏蔽不同输入数据源之间的差异，降低了产品流程发布或测试的实现成本的优点。【专利说明】一种屏蔽异构数据源的方法及装置
本专利技术涉及通信
，尤其涉及一种屏蔽异构数据源的方法及装置。
技术介绍
数据集成(Extract Transform Load,ETL)主要是从各种源系统中获取数据,再经过ETL的转换、清洗、关联、汇总等逻辑处理，最后根据业务需求将处理得到的数据加载到目标系统。ETL的数据流实现核心的抽取、转换和加载等功能，数据流中对抽取、转换、加载等逻辑抽象封装，形成多个计算步骤，通过图形化的开发模式，最终完成一个E-T-L逻辑。 在现有的ETL架构中，ETL的开发流程包括:1、在集成开发环境(IntegratedDevelopment Environment, IDE)上开发数据流模型、开发控制流模型、设置调度计划，并将数据流模型、开发控制流模型、设置调度计划保存为流程信息；2、执行装置获取相应的流程信息，并执行具体逻辑；3、监控装置通过监控界面监控相应的执行结果。现有的ETL开发流程中对于采用相同格式的数据，经过相同的计算逻辑后加载到不同的目标数据源中，若目标数据源有N个，数据流模型则需要配置N个，相应的控制流模型也需要配置N个。若增加一个数据源，则需要新增开发一套控制流模型和数据流模型，参见图1，图1是现有技术中相同格式的数据经过相同的计算逻辑后加载到不同的目标数据源时的控制流模型和数据流模型配置的示意图。在这种情况下，产品的基线开发中需要维护多个工程的流程信息，还要对多个工程的流程做相应的映射，加大了开发难度，产品流程发布成本高。此外，流程开发完成后，由于流程是分开调试，一旦发现问题，需要逐个流程进行修改，流程测试需要逐套进行测试，后期如果流程配置要升级，工作量都是多份，流程测试以及后期维护成本高。
技术实现思路
本专利技术实施例提供一种屏蔽异构数据源的方法及装置，以屏蔽不同输入数据源或目标数据源之间的差异，降低了产品流程发布或测试的实现成本。 本专利技术实施例第一方面提供了一种屏蔽异构数据源的方法，其可包括: 集成开发环境IDE接收用户发起的产品流程发布请求或产品流程测试请求； 所述IDE获取所述产品的配置参数以及预先为所述产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，所述多输入节点上配置有所述输入数据源与不同类型的配置参数的匹配关系； 所述IDE以所述产品的配置参数在所述匹配关系中查找对应的输入数据源； 所述IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源，并以替换后的数据流模型作为所述产品流程发布或所述产品流程测试的数据流模型。 结合第一方面，在第一种可能的实现方式中，在所述IDE以所述产品的配置参数在所述匹配关系中查找对应的输入数据源之前，所述方法还包括: 所述IDE遍历所述数据流模型中的图元，找出所述数据流模型中为多输入节点的图元。 结合第一方面或第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源具体包括: 将查找到的输入数据源的图元编号修改为所述多输入节点的图元编号； 删除所述多输入节点接入的除所述查找到的输入数据源外的其它输入数据源以及删除所述多输入节点。 结合第一方面至第一方面第二种可能的实现方式中任一种，在第三种可能的实现方式中，所述数据流模型中还包括连接多个目标数据源的多输出节点，所述多输出节点上配置有所述目标数据源与不同类型的配置参数的匹配关系； 所述IDE遍历所述数据流模型中的图元时，还进一步找出所述数据流模型中为多输出节点的图元。 结合第一方面第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括: 所述IDE以所述产品的配置参数在所述目标数据源与不同类型的配置参数的匹配关系中查找对应的目标数据源； 所述IDE将所述数据流模型中的多输出节点替换为查找到的目标数据源。 结合第一方面第四种可能的实现方式，在第五种可能的实现方式中，所述IDE将所述数据流模型中的多输出节点替换为查找到的目标数据源具体包括: 将查找到的目标数据源的图元编号修改为所述多输出节点的图元编号； 删除与所述多输出节点连接的除所述查找到的目标数据源外的其它目标数据源以及删除所述多输出节点。 结合第一方面至第一方面第五种可能的实现方式中任一种，在第六种可能的实现方式中，所述IDE获取所述产品的配置参数具体包括: 从所述产品的系统配置项中获取所述产品的配置参数或者从所述产品的流程配置项中获取所述产品的配置参数。 结合第一方面至第一方面第六种可能的实现方式中任一种，在第七种可能的实现方式中，所述输入数据源包括:文本文件、可扩展标记语言XML文件、关系型数据库、Hive、Hadoop分布式文件系统HDFS、Hadoop数据库Hbase、Mpp数据库中的至少一种。 结合第一方面至第一方面第七种可能的实现方式中任一种，在第八种可能的实现方式中，所述目标数据源包括:文本文件、XML文件、关系型数据库、Hive、HDFS、Hbase、Mpp数据库中的至少一种。 本专利技术实施例第二方面提供了一种屏蔽异构数据源的装置，其可包括: 接收模块，用于接收用户发起的产品流程发布请求或产品流程测试请求； 预编译模块，用于获取所述产品的配置参数以及预先为所述产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，所述多输入节点上配置有所述输入数据源与不同类型的配置参数的匹配关系；以所述产品的配置参数在所述匹配关系中查找对应的输入数据源；将所述数据流模型中的多输入节点替换为查找到的输入数据源； 输出模块，用于将所述预编译模块替换后的数据流模型输出为进行所述产品流程发布或所述产品流程测试的数据流模型。 结合第二方面，在第一种可能的实现方式中，所述预编译模块在以所述产品的配置参数在所述匹配关系中查找对应的输入数据源之前，还用于遍历所述数据流模型中的图元，找出所述数据流模型中为多输入节点的图元。 结合第二方面或第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述预编译模块将所述数据流模型中的多输入节点替换为查找到的输入数据源具体包括: 所述预编译模块将查找到的输入数据源的图元编号修改为所述多输入节点的图元编号；删除所述多输入节点接入的除所述查找到的输入数据源外的其它输入数据源以及删除所述多输入节点。 结合第二方面至第二方面第二种可能的实现方式中任一种，在第三种可能的本文档来自技高网...

【技术保护点】
一种屏蔽异构数据源的方法，其特征在于，包括：集成开发环境IDE接收用户发起的产品流程发布请求或产品流程测试请求；所述IDE获取所述产品的配置参数以及预先为所述产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，所述多输入节点上配置有所述输入数据源与不同类型的配置参数的匹配关系；所述IDE以所述产品的配置参数在所述匹配关系中查找对应的输入数据源；所述IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源，并以替换后的数据流模型作为所述产品流程发布或所述产品流程测试的数据流模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：黄红莉，刘衍初，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44