一种异构数据同步实现方法技术

本发明专利技术公开了一种异构数据同步实现方法，发布客户端定时调用收集dll组件扫描发布客户端自身的源数据库，提取新数据，之后将收集的新数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档dll组件将相应队列中的数据包还原安装到对应的应用中。本发明专利技术可以在互联网环境的任意两个数据库之间实现数据结构和数据的同步，这种同步方法完全基于统一的平台的，对不同子系统或外部系统的支持在平台上完全是可插拔式的。

【技术实现步骤摘要】

本专利技术涉及一种在统一的数据发布平台上实现异构数据库结构及数据同步的方法，其特点是基于Web Services技术，以及中间件理念，并采用多宗措施保证数据传输过程的安全性。
技术介绍
信息产生后，会被不同的子系统或外部系统使用，各子系统或外部系统对数据的存储和使用方式各不相同，于是，针对不同的子系统或外部系统的数据转换工作会占用大量的时间和人力资源。各大主流数据库产品中采用发布/订阅模式实现了数据同步功能，但未提供异构数据库结构的同步功能。另外，已经存在的异构数据库同步工具虽然能够实现数据库结构的同步，但是，每多出一个子系统或者外部系统，都要围绕同步功能对工具本身进行修改， 不仅工作量巨大，代码的可维护性也得不到保证。而且，这些同步工具对安全性方面的考虑非常少，还需要参与同步的计算机开放额外的端口，这使得其在互联网上的应用收到局限。
技术实现思路
本专利技术所要解决的技术问题是提供一种在互联网环境的任意两个数据库之间实现数据结构和数据的同步方法，这种同步方法完全基于统一的平台的，对不同子系统或外部系统的支持在平台上完全是可插拔式的。，其特征在于包括以下步骤1)发布客户端定时调用收集dll组件扫描发布客户端自身的源数据库，提取新数据， 之后将收集的新数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，2)收集客户端定时 调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档dll组件将相应队列中的数据包还原安装到对应的应用中。所述步骤I)的具体过程为1.O发布客户端的调度进程按时启动收集dll组件；1.2)收集dll组件从收集配置表中获取收集配置参数；1.3)以上一次收集开始时间为界限，扫描相关的数据库，根据收集配置参数从源数据库中获取符合条件的数据；1.4)获取同一资讯类型的所有级别，按顺序将级别相同的资讯数据SOAP封装到一个数据包中，每种级别都生成一个XML数据包，将该数据包的相关信息存储到数据包状态表中；1.5)将XML数据包进行压缩操作；1.6)调度进程向服务器发出上传请求；1.7)调度进程在获得服务器准许上传的回复后将数据包上传至服务器。其中，步骤1.1)中的收集dll组件是一个dll收集驱动组件的集合，每种类型的数据都对应一个dll收集驱动组件，相应的收集整理封装操作由dll收集驱动组件完成。所述步骤2)的具体过程为2.1)收集客户端的调度进程按时向服务器提出下载请求；2.2)服务器根据发出下载请求的进程相关身份信息准备预下载的XML数据并返回给调度进程；2.3)下载完成后，调度进程将XML数据包解压缩并按照数据包类型进行数据分配；2.4)调度进程启动相应转档dll组件；2.5)转档dll组件从转档配置表中获取转档配置参数；2.6)转档dll组件根据转档配置参数将数据还原成各应用对应的数据存放位置。其中步骤2. 4)中的转档dll组件是一个dll转档驱动组件的集合，每种类型的数据都对应一个dll转档驱动组件，相应的还原操作由dll转档驱动组件完成。本专利技术的有益效果1、数据传输基于HTTP方式，不需要参与同步的计算机开放特定的端口。系统通信采用XML和Web Service/SOAP技术。XML已逐渐成为web信息的主要表示和交换工具，XML技术已经成为数据交互、集成、仓储的标准。Web Service是一种部署在Web上的对象/组件，提供了企业级应用集成的简单的、可扩展的、基于行业标准的模型。Web Service使用现有的web协议和数据模式来进行通讯,不依赖于特定的语言、平台和对象模型。Web Service使用SOAP作为通信的标准。SOAP是一种定义了如何交换数据的Wire Protocol，使用XML作为封装信息的标准。客户端通过SOAP封装请求信息，通过 Internet传递到服务器,再通过Web Service服务接口调用后台应用。由于SOAP是实现在HTTP通信协议上，因此可以调用到任何支持HTTP协议的平台，并且能够轻易的穿越防火墙，完成一些组件模型无法轻易完成的工作。当服务器处理完客户端请求后，也使用SOAP 封装返回结果，通过Internet传递给客户端。2、多种机制确保数据安全性可选用SSL通道确保信息传输的机密性；采用数据条目级别的用户授权方式确保只有拥有相应权限的用户才能获取相关信息；可选用多种数据验证方式确保信息在传送过程中不会被偶然或故意破坏，保持信息的完整、统一。对信息或数据的发送者进行标识。保证信息被经过标识的发送者所传送，从而避免以前的数据包被重复发送。并且，经过安全认证标识的发送行为被全称记录，无法抵赖。附图说明图1是本专利技术的结构示意图，图2是本专利技术中收集发布过程的流程图，图3是收集发布的类图， 图4是本专利技术中还原转档过程的流程图，图5是还原转档的类图。具体实施方式如图1，本专利技术的异构数据同步实现方法，主要包括两大步骤1)数据收集发布发布客户端定时调用收集dll组件扫描发布客户端自身的源数据库，提取新数据，之后将收集的新数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，2)数据还原转档收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档dll组件将相应队列中的数据包还原安装到对应的应用中。以下结合附图对本专利技术作进一步描述。1、数据收集发布如图2，数据收集发布服务主要包括资讯数据的提取、封装、上传等，功能部署在发布客户端，比如发布客户端。主应用程序每天定时调用收集dll组件扫描发布客户端端的资讯数据(存放在发布客户端服务器(资讯服务器)的数据库或文件夹中)，提取自上一次扫描结束后的新内容， 将其按照一定的格式封装成XML格式的数据包，然后发送到公网的公共服务器数据库中。资讯数据的收集、封装主要靠调用收集dll组件来完成。这部分的类图如图3。1.1收集调度收集调度是收集端的主应用程序。进程启动后定时读取系统时钟，按时调用不同的收集dll扫描资讯数据库及存放在文件夹中的资讯数据，以上一次扫描开始时间为界限，将所有新的资讯报告读出；资讯按照级别进行分类，将同一级别的资讯按照统一格式封装到 XML数据包中，然后以队列形式存储到收集客户端本地的发布目录，并上传到服务器；1.1.1方法描述1.收集dll调度方法说明以分钟为间隔读取系统时钟，同时查询收集配置表，以时间为触发条件，根据不同的收集开始时间调用相应的收集dll组件，收集该dll组件工作范围内的资讯数据； 将数据按不同级别封装成XML数据包，存放到指定路径。主要接口 (传入)收集配置文件。2.数据包压缩方法说明调用压缩服务中的数据压缩方法将新生成的XML数据包压缩为ZIP包。主要接口 (传入)数据包名和路径；(传出)zip包名和路径。3.数据包上传方法说明每一个收集dll完成收集封装的工作后，向服务器发送上传请求，得到回应后调用数据传输服务的数据发送方法，将新生成的XML数据包上传到服务器；上传成功完成后将数据包状态表的数据包状态更新为已上传。主要接口 数据 包存放路径；1.1. 2设计思路资讯数据有多种类型，不同类型的资讯数据根据其重要性和本文档来自技高网...

【技术保护点】
一种异构数据同步实现方法，其特征在于包括以下步骤：1）发布客户端定时调用收集dll组件扫描发布客户端自身的源数据库，提取新数据，之后将收集的新数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，?2）收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档dll组件将相应队列中的数据包还原安装到对应的应用中。

【技术特征摘要】
1.一种异构数据同步实现方法，其特征在于包括以下步骤1)发布客户端定时调用收集dll组件扫描发布客户端自身的源数据库，提取新数据， 之后将收集的新数据按照所要求的格式SOAP封装成XML格式的数据包并上传至服务器，2)收集客户端定时调用下载进程下载XML格式的数据包，下载完成后将新下载的数据包按照不同应用的需求进行分类队列管理，然后调用转档dll组件将相应队列中的数据包还原安装到对应的应用中。2.根据权利要求1所述的异构数据同步实现方法，其特征在于，所述步骤I)的具体过程为1.1)发布客户端的调度进程按时启动收集dll组件；1. 2)收集dll组件从收集配置表中获取收集配置参数；1. 3)以上一次收集开始时间为界限，扫描相关的数据库，根据收集配置参数从源数据库中获取符合条件的数据；1. 4)获取同一资讯类型的所有级别，按顺序将级别相同的资讯数据SOAP封装到一个数据包中，每种级别都生成一个XML数据包，将该数据包的相关信息存储到数据包状态表中；1. 5)将XML数据包进行压缩操作；1. 6)调度进程向服务器发出上传请求；1.7)调度...

【专利技术属性】
技术研发人员：李文明，王瑄，赵军锋，
申请(专利权)人：南京轨道交通系统工程有限公司，
类型：发明
国别省市：