基于数据库服务间的通用数据同步系统技术方案

本实用新型专利技术公开了一种基于数据库服务间的通用数据同步系统，包括：发送端供数控制装置，用于检测各个导出任务是否满足可供导出的条件，并执行满足条件的导出任务；文件传输装置，用于将发送端应用节点下，指定发送目录中的文件传送到接收端应用节点的指定接收目录；接收端文件检测装置，用于检测接收端数据存储装置的接收目录中是否有供数文件到达；接收端数据处理装置，用于提取接收端文件检测装置登记的待处理任务，执行装载导入。应用本实用新型专利技术能够有效地解决了新增接口的重复编制问题，减少了各类资源成本。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本技术涉及应用间数据文件交换和数据同步
，特别是涉及一种基于数据库服务间((即，数据库服务器之间))的通用数据同步系统。
技术介绍
现有应用之间的数据传输技术主要有联机接口和文件接口两种方式，无论是对于联机接口方式还是文件接口方式，若要实现数据同步，都需要上游应用系统和下游应用系统按照统一的规范和接口标准进行定制，如果需要新增接口就需要上下游对该新增的接口定义格式，重新针对该接口定制数据生成、校验、导入等功能模块，导致接口的扩展性、灵活性差，且众多接口间存在较多的共性部分，不能充分复用，造成计算机系统资源浪费。另外，对于数据接收异常的情况，目前应用间没有实现统一的自动化反馈处理机制，一般需要依赖某些人工介入的处理流程实现跳过或数据重新接收。在数据交换非常频繁的情况下，可能会时常出现人工接管请求，而系统不能自适应处理，导致数据准确性和处理效率受到影响。
技术实现思路
本技术克服了现有数据传输同步技术中程序复用性弱、参数化程度低、无反馈机制等不足，提供一种复用性强、准确度高、可参数化配置、并基本实现主辅数据源间准实时的数据同步系统。本技术的基于数据库服务间的通用数据同步系统包括发送端供数控制装置，用于检测各个导出任务是否满足可供导出的条件，并执行满足条件的导出任务；发送端数据存储装置，用于存储发送端应用的系统数据、数据库程序及存放待发送的供数文件；文件传输装置，用于将发送端应用节点下，指定发送目录中的文件传送到接收端应用节点的指定接收目录；接收端文件检测装置，用于检测接收端数据存储装置的接收目录中是否有供数文件到达，若存在，则向待处理任务批次列表中登记各个文件的属性信息；接收端数据存储装置，用于存储接收端应用的系统数据及存放供数文件；接收端数据处理装置，用于提取接收端文件检测装置登记的待处理任务，执行装载导入。其中所述发送端供数控制装置进一步包括时间频率检测单元，其读取各个导出任务的参数以及任务状态，并根据当前时间点和任务的上次供数时间，筛选出需要执行导出的任务；查询执行单元，其取得经过时间频率检测单元筛选后的任务的SQL语句，对SQL语句中的变量进行绑定后执行动态查询；模板转化单元，其读取导出任务对应的模板格式，将查询执行单元所得的记录以该格式进行套用；文件生成单元，其将模板化后的属性信息及查询结果写入接口文件，写入完毕后根据该任务对应的各个目标应用，分别复制到各自的发送目录以及备份目录；重发请求处理单元，用于接收并处理下游应用因各种异常而反馈给该单元的重发请求，根据请求中的异常代码，决定处理流程，重发数据文件。其中，接收端数据处理装置进一步包括任务获取单元，其取得待处理、且前置依赖都已完成的导入任务；数据装载单元，其将供数文件数据写入到通用数据装载表中；数据校验单元，其检验文件的属性信息是否正确；数据导入单元，其将通用数据装载表中的未处理数据取出，按照事先配置的信息动态地导入到目标表中。应用本技术的本技术的基于数据库服务间的通用数据同步系统，具有以下效果有效地解决了新增接口的重复编制问题，减少了各类资源成本。通过本技术提供的方案，如果需要新增一项数据传输，只需要对数据同步任务及数据结构属性信息进行配置，即可实现上下游数据的自动同步，无需重新定制联机接口或文件生成、装载、导入等功能模块，极大地减少了工作量，并显著缩短了项目周期。满足了应用与应用之间准实时数据同步的需求，保证了数据准确性。本技术以多线程轮询的形式进行定频、定时供数任务执行，实现了数据的准实时传输。对数据生成和还原流程进行不同程度的优化，能够稳定、高效地完成大数据量的同步工作。同时通过一定规则的校验，并配合数据异常重发请求机制，能够对数据还原的准确性有较强的保证。附图说明图1是本技术基于数据库服务间的通用数据同步系统的结构框图。图2是本技术的供数控制装置结构示意图。图3是本技术的数据处理装置结构示意图。图4是本技术的发送端数据导出流程图。图5是本技术的接收端文件检测流程图。图6是本技术的接收端数据处理流程图。具体实施方式为使本技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本技术进一步详细说明。本技术的基于数据库服务间的通用数据同步系统的工作原理是将数据传输同步过程中可复用的部分进行提取，并将个性化的部分转换为参数配置，采用上游应用表——文件——下游应用表的途径，实现数据同步。一般是将每张表的每种数据传输方式(增量、全量)分别作为一个传输任务，使用者可通过配置传输任务，在任务清单中设置上游应用的源数据表、下游应用的目的数据表、供数频率(供数频率描述的是两次同步之间的时间间隔，频率越高则实时性越强)、数据传输方式、模板等参数。通过设置任务清单，可以实现多种典型的同步方案，例如，日间定频率扫描源数据表，如有增量数据更新，则同步到下游应用的目的表，日终定时进行源表和目的表的全量同步。采用参数配置的形式，根据上下游应用不同的需求定制合适的同步方案，主要的参数配置及设置依据有根据传输数据量的大小，在数据传输方式上，选择增量、全量或者两者结合的方式；根据对准实时性能的要求，在性能允许的范围内设置任务的供数频率和导入导出线程的数量；根据数据传输方向，设置文件发送目录和接收文件的目标应用；根据数据存储结构，设置上下游的表名、字段名、主键名并建立对照关系。为了使数据在还原过程中保持准确，本技术提供的同步方案，对每一个供数任务都分别设置一个序列的批次号，上游应用系统每次供数都要对生成的文件按升序指定一个批次号，下游应用在接收到数据文件后，分别对每个导入任务，按批次号的顺序，采用一定的逻辑判断有无存在冲突的数据，最后对数据进行一定规则的校验，校验通过后才进行导入，若出现批次号不连续、校验失败或导入出错等情况，下游应用会发起有限次数的数据重发请求，上游应用接收请求并重新生成和发送文件，机制上能够充分保证主辅数据源间数据一致性的原则。图1是本技术数据库服务间的通用数据同步系统结构示意图，参照图1，该系统包括发送端供数控制装置1、发送端数据存储装置2、文件传输装置3、接收端文件检测装置4、接收端数据存储装置5和接收端数据处理装置6。在实际应用中，发送端和接收端并不局限于一对一，可以是多个主数据源和辅数据源的任意组合。发送端供数控制装置I可以是一种通过批量调度工具实现的轮询设备，用于检测各个导出任务是否满足可供导出的条件，并执行满足条件的导出任务(即，被导出的任务)，从发送端数据存储装置2获取数据，经过处理后生成一定格式的文件。图2为发送端供数控制装置I的逻辑结构图。参照图2，发送端供数控制装置I包括时间频率检测单元11、查询执行单元12、模板转化单元13、文件生成单元14和重发请求处理单元15。时间频率检测单元11用于读取各个导出任务的间隔时间、单位等参数以及任务状态，并根据当前时间点和任务的上次供数时间，筛选出需要执行导出的任务，例如，筛选条件为任务状态为空闲，且上次供数时间+供数时间间隔 < 当前时间。查询执行单元12用于取得经过时间频率检测单元11筛选后的任务的SQL语句，对SQL语句中的变量进行绑定后执行动态查询。模板转化单元13用于读本文档来自技高网...

【技术保护点】
一种基于数据库服务间的通用数据同步系统，其特征在于，该系统包括：发送端供数控制装置，其连接发送端数据存储装置，检测各个导出任务是否满足可供导出的条件，并执行满足条件的导出任务；发送端数据存储装置，其连接发送端供数控制装置和文件传输装置，用于存储发送端应用的系统数据、数据库程序及存放待发送的供数文件；文件传输装置，其连接发送端数据存储装置和接收端数据存储装置，用于将发送端应用节点下，指定发送目录中的文件传送到接收端应用节点的指定接收目录；接收端数据存储装置，其连接文件传输装置、接收端文件检测装置和接收端数据处理装置，用于存储接收端应用的系统数据及存放供数文件；接收端文件检测装置，其连接接收端数据存储装置，用于检测接收端数据存储装置的接收目录中是否有供数文件到达，若存在，则向待处理任务批次列表中登记各个文件的属性信息；接收端数据处理装置，其连接接收端数据存储装置，用于提取接收端文件检测装置登记的待处理任务，执行装载导入。

【技术特征摘要】

【专利技术属性】
技术研发人员：邹沙豪，许宜，杨煜杰，王雍，潘玉峰，李宁，
申请(专利权)人：中国工商银行股份有限公司，
类型：实用新型
国别省市：