一种用于上下游数据库系统的数据适配器的数据适配方法技术方案

本发明专利技术涉及一种用于上下游数据库系统的数据适配器的数据适配方法，与现有技术相比解决了上下游数据库系统接口不匹配的缺陷。本发明专利技术的数据适配方法包括以下步骤：上游数据库系统的文件抽取；适配方式的配置；数据适配器进行数据适配处理；下游数据库系统的导入。本发明专利技术在数据库系统接口开发的过程中，引入数据适配器，实现了数据接口经过简单配置即可适配的效果。效果。效果。

【技术实现步骤摘要】
一种用于上下游数据库系统的数据适配器的数据适配方法


[0001]本专利技术涉及数据库处理
，具体来说是一种用于上下游数据库系统的数据适配器的数据适配方法。

技术介绍

[0002]目前，很多数据库管理系统在项目实施过程中，需要上游系统供数和提供给下游系统的数据种类比较多，所以在实施的过程中，接口开发是一个比较大的工程。另外，各个独立的上下游系统都是由不同的供应商或者业主方单独开发的，所以数据库类型、数据源的抽数方式、数据格式及数据文件的类型都不太一样。这样，各个独立系统在接口开发的时候，就具有独立性强、代码不可完全复制性的特质，也就导致有比较大的开发和测试工作量。
[0003]表1上下游数据库系统接口列表
[0004][0005]如表1所示，在实施过程中，需要和上下游系统实现的接口就有15个种类，合计接口数为104个。从表1中可以看出，实时报文类+准实时报文类合计12个，这一部分由于是采取ESB或者API方式做实时的报文交互，或者采取MQ消息来发布和订阅。这一部分由于各数据库系统的机制和设计不同，工具化降低项目实施成本很困难，这一部分还是实施时单独处理。剩余的92个，基本上都是源库到目标库，源库到文件，文件到目标库，这一部分采取灵活的设计思想，工具化降低实施成本是没有问题的，基于这种考虑，可以开发数据适配器来大幅降低项目实施接口开发的成本。
[0006]同时，现有技术一般是采用JAVA程序来实现接口的开发，无论是基于ESB或者API方式的实时接口，还是基于文件或者数据库的非实时接口。一般情况下，实时接口在实施过程中占的比例比较低，大部分都是非实时接口，非实时接口的代码开发+测试需要大量的实施工程人员消耗，导致大幅提高成本且容易造成人为错误。
[0007]因此，如何开发一套灵活、可配置的数据适配器以满足各家行在项目实施过程中的接口开发的需要，减低开发和测试的工作量的需求就显得很迫切。

技术实现思路

[0008]本专利技术的目的是为了解决现有技术中上下游数据库系统接口不匹配的缺陷，提供一种用于上下游数据库系统的数据适配器的数据适配方法来解决上述问题。
[0009]为了实现上述目的，本专利技术的技术方案如下：
[0010]一种用于上下游数据库系统的数据适配器的数据适配方法，上下游数据库系统包
括上游数据库系统和下游数据库系统，上游数据库系统提供数据并通过数据适配器传递给下游数据库系统，所述的数据适配方法包括以下步骤：
[0011]上游数据库系统的文件抽取：上游数据库系统文件从数据库中抽取数据，并生成文件类数据；或从上游数据库系统中直接抽取数据；
[0012]适配方式的配置；
[0013]数据适配器进行数据适配处理；
[0014]下游数据库系统的导入：下游数据库系统将适配处理后的文件类数据导入指定目标下的数据库。
[0015]所述适配方式的配置包括以下步骤：
[0016]配置数据适配方式，其包括适配方式A、适配方式B和适配方式C；
[0017]设定适配方式A为：上游数据库系统，至数据适配器抽取数据、加工数据，至生成下游系统需要的文件；
[0018]设定适配方式B为：上游数据文件，至数据适配器读取文件、加工数据，至导入下游数据库系统；
[0019]设定适配方式C为：上游数据库系统，至数据适配器抽取数据、加工数据，至导入下游数据库系统；
[0020]配置适配方式A；
[0021]配置适配方式B；
[0022]配置适配方式C。
[0023]所述数据适配器进行数据适配处理包括以下步骤：
[0024]分析需要配置接口应用的业务诉求，明确接口应用的数据适配方式；
[0025]若为适配方式A，则数据适配器不断轮询，在到达数据适配器配置时，按适配方式A从上游数据库系统抽取及加工数据生成下游系统的文件，并且按照适配方式A中的信息放到指定的目录中以供下游系统读取；
[0026]若为适配方式B，数据适配器执行时不断轮询，在到达数据适配器配置时，按照适配方式B的配置、解析及加工上游系统的数据文件，将数据生成到下游系统指定的数据表中；
[0027]若为适配方式C，数据适配器执行时不断轮询，在到达数据适配器配置时，按照适配方式C的配置，从上游数据库系统抽取及加工数据，将数据生成到下游系统指定的数据表中。
[0028]所述配置适配方式A包括以下步骤：
[0029]配置上游数据库系统的数据库链接信息；
[0030]配置抽取数据的SQL；
[0031]配置提供给下游系统的生成文件的路径、文件名、文件分隔符、文件结束符信息；
[0032]配置该数据适配器的执行时间，支持指定日期及定时模式；
[0033]配置基础列信息，基础列抽取数据SQL的SELECT项目，对于基础列的各个项目配置验证函数，验证函数验证非零、验证日期、验证负数、验证正数、验证数字、验证整数，以使数据适配器在执行的时候进行自动校验；
[0034]配置增强列信息，对于基础列的数据进行二次加工以满足下游系统的需要；
[0035]对于基础列和增强列的数据，通过筛选数据功能配置在设定条件下过滤不满足的条件数据；
[0036]在消息模板的模块，配置基础列、增强列和下游系统需要的文件header字段的匹配关系。
[0037]所述配置适配方式B包括以下步骤：
[0038]配置上游数据文件信息，其为数据适配器服务器的指定目录或SFTP/FTP服务器的指定目录，
[0039]SFTP/FTP服务器的场合，配置SFTP/FTP服务器的信息，其包括IP、端口、用户名、密码、目录名、文件名类型及通配符，即自动连接SFTP/FTP服务器，并将文件下载到数据适配器服务器的指定目录以供后续处理；
[0040]文件格式支持DBF、TXT、EXCEL、CSV、XML、GZ、GZCSV、TAR，文件编码支持GB2312、GBK、UTF
‑
8、UTF
‑
16、ISO方式，文件名、开始行、分隔符、结束符均可配置；
[0041]配置下游数据库系统的数据库链接信息和导入数据表信息；
[0042]配置该数据适配器的执行时间，支持指定日期及定时模式；
[0043]配置基础列信息，其上游数据文件的header列就是基础列，对于基础列的各个项目配置验证函数，验证函数验证非零、验证日期、验证负数、验证正数、验证数字、验证整数，数据适配器在执行的时候自动校验；
[0044]配置增强列信息，对于基础列的数据进行二次加工以满足下游系统的要求；
[0045]对于基础列和增强列的数据，通过筛选数据功能配置在设定条件下过滤不满足条件数据；
[0046]在消息模板的模块，配置基础列、增强列和下游系统导入数据表字段的匹配关系。
[0047]所述配置适配方式C包括以下步骤：
[0048]配置上游数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于上下游数据库系统的数据适配器的数据适配方法，上下游数据库系统包括上游数据库系统和下游数据库系统，上游数据库系统提供数据并通过数据适配器传递给下游数据库系统，其特征在于，所述的数据适配方法包括以下步骤：11)上游数据库系统的文件抽取：上游数据库系统文件从数据库中抽取数据，并生成文件类数据；或从上游数据库系统中直接抽取数据；12)适配方式的配置；13)数据适配器进行数据适配处理；14)下游数据库系统的导入：下游数据库系统将适配处理后的文件类数据导入指定目标下的数据库。2.根据权利要求1所述的一种用于上下游数据库系统的数据适配器的数据适配方法，其特征在于，所述适配方式的配置包括以下步骤：21)配置数据适配方式，其包括适配方式A、适配方式B和适配方式C；22)设定适配方式A为：上游数据库系统，至数据适配器抽取数据、加工数据，至生成下游系统需要的文件；23)设定适配方式B为：上游数据文件，至数据适配器读取文件、加工数据，至导入下游数据库系统；24)设定适配方式C为：上游数据库系统，至数据适配器抽取数据、加工数据，至导入下游数据库系统；25)配置适配方式A；26)配置适配方式B；27)配置适配方式C。3.根据权利要求1所述的一种用于上下游数据库系统的数据适配器的数据适配方法，其特征在于，所述数据适配器进行数据适配处理包括以下步骤：31)分析需要配置接口应用的业务诉求，明确接口应用的数据适配方式；32)若为适配方式A，则数据适配器不断轮询，在到达数据适配器配置时，按适配方式A从上游数据库系统抽取及加工数据生成下游系统的文件，并且按照适配方式A中的信息放到指定的目录中以供下游系统读取；33)若为适配方式B，数据适配器执行时不断轮询，在到达数据适配器配置时，按照适配方式B的配置、解析及加工上游系统的数据文件，将数据生成到下游系统指定的数据表中；34)若为适配方式C，数据适配器执行时不断轮询，在到达数据适配器配置时，按照适配方式C的配置，从上游数据库系统抽取及加工数据，将数据生成到下游系统指定的数据表中。4.根据权利要求2所述的一种用于上下游数据库系统的数据适配器的数据适配方法，其特征在于，所述配置适配方式A包括以下步骤：41)配置上游数据库系统的数据库链接信息；42)配置抽取数据的SQL；43)配置提供给下游系统的生成文件的路径、文件名、文件分隔符、文件结束符信息；44)配置该数据适配器的执行时间，支持指定日期及定时模式；45)配置基础列信息，基础列抽取数据SQL的SELECT项目，对于基础列的各个项目配置
验证函数，验证函数验证非零、验证日期、验证负数、验证正数、验证数字、验证整数，以使数据适...

【专利技术属性】
技术研发人员：尹留志，吴杰，陈卓，何阳阳，卢鹏，何成弥，张健，范念念，
申请(专利权)人：安徽兆尹安联科技有限公司，
类型：发明
国别省市：