基于多数据源的数据整合装置制造方法及图纸

本发明专利技术提出一种基于多数据源的数据整合装置，将来自多个数据源的数据进行整合，包括：传输组件，在多个数据源之间进行端对端的数据传输。交换组件，在多个数据源之间进行消息通信，多个数据源包括异构应用系统或者异构数据库，交换组件对来自不同应用系统或者数据库的消息进行转换和校验，以统一格式在异构应用系统或者异构数据库之间进行消息通信，消息通信被加密。控制组件，提供多种接口，控制数据整合的业务流程，统一多个数据源的业务对象的定义，管理用户权限，控制组件以图形化展示数据整合的业务流程。本发明专利技术基于多数据源的数据整合装置能有效整合包括异构应用系统或异构数据库的多个数据源的数据，满足日益提升的对于数据整合度的要求。

Data integration device based on multiple data sources

【技术实现步骤摘要】
基于多数据源的数据整合装置
本专利技术涉及数据库
，更具体地说，涉及一种在多个数据源之间进行数据整合的技术。
技术介绍
随着政府部门对于信息技术使用的不断提升，对数据整合提出了越来越高的要求。为了提升办理效率，希望将各个下属部门的数据进行有效整合。在政府部门目前使用的管理系统中，管理系统大致可以分为以下三个层：客户层、业务层和数据库层。客户层提供完整的人机交互界面。解决系统的输入和输出，实现数据采集、外设管理和使用、资料的显示和打印等功能。客户层接受业务层的约束，依据业务功能的要求提供特定的应用界面序列。客户层的客户端通常通过浏览器实现。业务层形成业务逻辑，业务层同时也提供了资源管理，规则服务，安全服务，日志管理，消息服务等功能。数据库层主要存放系统数据，数据库层包括数据库管理系统、数据库应用软件、数据及文件。由于政府部门的下属部门繁多，各个下属部门之前基本都属于独立办公的状态，因此在数据整合的过程中需要整合下属的多个部门的系统和数据。而下属部门各自的管理子系统使用的应用系统或者数据库的结构可能有所不同，形成异构数据库或者异构应用系统。异构数据库或者异构应用系统在数据结构和业务定义方面都有所差异，在进行系统整合时需要在异构数据库和异构应用系统之间进行数据整合和数据传输，这就会面临数据格式、业务定义不统一的问题。
技术实现思路
本专利技术旨在提出一种能够在包括异构数据库或者异构应用系统的多个数据源之间进行数据整合的技术。根据一个实施例，提出一种基于多数据源的数据整合装置，将来自多个数据源的数据进行整合，该基于多数据源的数据整合装置包括：传输组件，传输组件在多个数据源之间进行端对端的数据传输；交换组件，交换组件在多个数据源之间进行消息通信，所述多个数据源包括异构应用系统或者异构数据库，交换组件对来自不同应用系统或者数据库的消息进行转换和校验，以统一格式在异构应用系统或者异构数据库之间进行消息通信，所述消息通信被加密；控制组件，控制组件提供多种接口，控制数据整合的业务流程，统一多个数据源的业务对象的定义，管理用户权限，控制组件以图形化展示数据整合的业务流程。根据一个实施例，传输组件包括：JMS应用适配器，JMS应用适配器进行大数据量的异步传输；WebService应用适配器，WebService应用适配器进行小数据量的实时传输；辅助应用适配器，辅助应用适配器进行特殊数据的传输。根据一个实施例，数据整合组件包括：数据收发单元，数据收发单元进行消息的收发；转换与校验单元，转换与校验单元对来自不同异构应用系统或者异构数据库的具有不同格式的消息进行格式转换以获得统一格式的消息，并对经过格式转换的消息进行校验；消息传输单元，使用传输协议在多个数据源之间传输具有统一格式的消息，消息传输单元以加密方式传输消息；路由控制单元，使用基于规则的路由在多个数据源之间建立传输路径。根据一个实施例，交换组件在包括异构应用系统或者异构数据库的多个数据源之间建立消息总线，通过消息总线进行消息的收发，消息转换，消息校验和路由控制。根据一个实施例，消息传输单元在消息总线上完成加密和解密过程，消息传输单元从发送消息的数据源获得未加密的消息，消息传输单元在发送方的消息总线进程中对该消息加密并将加密后的消息在消息总线上传输，消息传输单元在接收方的消息总线进程中对该消息解密并将解密后的消息提供给接收消息的数据源。根据一个实施例，消息传输单元使用XML-Encryption加密机制进行消息加密，消息传输单元在发送方的消息总线进程中使用接收方的公钥对消息加密，并将解密私钥包含在经加密后的消息中，消息传输单元在接收方的消息总线进程中先获取解密私钥，再使用解密私钥对消息进行解密。根据一个实施例，控制组件包括：接口管理单元，接口管理单元提供多种接口，不同的接口使用不同的适配器在不同的数据格式之间进行映射；图形化展示单元，图形化展示单元提供人机交互界面，以图形化展示数据整合的业务流程并接收用户指令；调度单元，调度单元依据用户指令对数据整合的业务流程进行调度，并进行异常处理；业务标准化单元，业务标准化单元定义业务数据的表现，以统一不同数据源的业务对象的定义；安全管理单元，安全管理单元管理用户权限。根据一个实施例，接口管理单元使用的适配器包括：数据库适配器、数据库转换器、消息中间件适配器、WebServices适配器、XML适配器、HTML适配器、COM适配器、CORBA适配器，通过适配器将数据格式映射为统一的XML格式。根据一个实施例，控制组件包括应用中间件软件和消息中间件软件，应用中间件软件和消息中间件软件与多个数据源中的各个异构应用系统或者异构数据库相匹配。本专利技术的基于多数据源的数据整合装置能有效整合包括异构应用系统或异构数据库的多个数据源的数据，满足日益提升的对于数据整合度的要求。附图说明图1揭示了本专利技术的一个实施例的基于多数据源的数据整合装置的结构框图。图2揭示了本专利技术的一个实施例的数据加密和解密过程。图3揭示了本专利技术的一个实施例的基于多数据源的数据整合装置的应用场景。具体实施方式图3揭示了本专利技术的一个实施例的基于多数据源的数据整合装置的应用场景。该应用场景可以是政府部门的综合服务平台，参考图3所示，在该应用场景中，综合服务平台：客户层301、业务层302和数据库层303。客户层301提供完整的人机交互界面。解决系统的输入和输出，实现数据采集、外设管理和使用、资料的显示和打印等功能。客户层接受业务层的约束，依据业务功能的要求提供特定的应用界面序列。客户层301的客户端311通常通过浏览器实现。浏览器可以是在台式电脑、笔记本电脑、智能手机上安装的浏览器，也可以是集成在手机的app中的浏览模块。业务层302形成数个业务逻辑321，业务层同时也提供了资源管理，规则服务，安全服务，日志管理，消息服务等功能。数据库层303主要存放系统数据，数据库层包括数据库管理系统、数据库应用软件、数据及文件。在数据库层303中，需要将子系统的各个数据库332、333等中的数据都整合到整合数据库331中。由于各个子系统可能采用了不同的应用系统或者结构，因此数据库332、333等构成异构数据库或者异构应用系统。本专利技术的基于多数据源的数据整合装置的功能就是在包括异构数据库或者异构应用系统的多个数据源之间进行数据整合，将其中的数据都整合到整合数据库331中。图1揭示了本专利技术的一个实施例的基于多数据源的数据整合装置的结构框图。参考图1所示，该基于多数据源的数据整合装置100将来自多个数据源的数据进行整合，该多个数据源包括异构应用系统或者异构数据库。该基于多数据源的数据整合装置100包括：控制组件101、交换组件102和传输组件103。控制组件101控制组件提供多种接口，控制数据整合的业务流程，统一多个数据源的业务对象的定义，管理用户权本文档来自技高网...

【技术保护点】
1.一种基于多数据源的数据整合装置，将来自多个数据源的数据进行整合，其特征在于，该基于多数据源的数据整合装置包括：/n传输组件，传输组件在多个数据源之间进行端对端的数据传输；/n交换组件，交换组件在多个数据源之间进行消息通信，所述多个数据源包括异构应用系统或者异构数据库，交换组件对来自不同应用系统或者数据库的消息进行转换和校验，以统一格式在异构应用系统或者异构数据库之间进行消息通信，所述消息通信被加密；/n控制组件，控制组件提供多种接口，控制数据整合的业务流程，统一多个数据源的业务对象的定义，管理用户权限，控制组件以图形化展示数据整合的业务流程。/n

【技术特征摘要】
1.一种基于多数据源的数据整合装置，将来自多个数据源的数据进行整合，其特征在于，该基于多数据源的数据整合装置包括：
传输组件，传输组件在多个数据源之间进行端对端的数据传输；
交换组件，交换组件在多个数据源之间进行消息通信，所述多个数据源包括异构应用系统或者异构数据库，交换组件对来自不同应用系统或者数据库的消息进行转换和校验，以统一格式在异构应用系统或者异构数据库之间进行消息通信，所述消息通信被加密；
控制组件，控制组件提供多种接口，控制数据整合的业务流程，统一多个数据源的业务对象的定义，管理用户权限，控制组件以图形化展示数据整合的业务流程。


2.如权利要求1所述的基于多数据源的数据整合装置，其特征在于，所述传输组件包括：
JMS应用适配器，JMS应用适配器进行大数据量的异步传输；
WebService应用适配器，WebService应用适配器进行小数据量的实时传输；
辅助应用适配器，辅助应用适配器进行特殊数据的传输。


3.如权利要求1所述的基于多数据源的数据整合装置，其特征在于，所述数据整合组件包括：
数据收发单元，数据收发单元进行消息的收发；
转换与校验单元，转换与校验单元对来自不同异构应用系统或者异构数据库的具有不同格式的消息进行格式转换以获得统一格式的消息，并对经过格式转换的消息进行校验；
消息传输单元，使用传输协议在多个数据源之间传输具有统一格式的消息，消息传输单元以加密方式传输消息；
路由控制单元，使用基于规则的路由在多个数据源之间建立传输路径。


4.如权利要求3所述的基于多数据源的数据整合装置，其特征在于，所述交换组件在包括异构应用系统或者异构数据库的多个数据源之间建立消息总线，通过消息总线进行消息的收发，消息转换，消息校验和路由控制。


5.如权利要求4所述的基于多数据源的数据整合装置...

【专利技术属性】
技术研发人员：王占宏，施苗苗，王战英，冯佳乐，王冲，熊健，周琳华，
申请(专利权)人：上海众恒信息产业股份有限公司，
类型：发明
国别省市：上海;31