自主智能异构数据集成系统技术方案

本发明专利技术公开一种自主智能异构数据集成系统及方法，其特征在于，该发明专利技术利用映射器和基础内核进行的网络异构数据库自动探索处理；利用映射器和基础内核进行的网络数据源模型、主机定位索引表的创建；利用映射器和基础内核进行的自动化数据结构、数据字典和数据语义映射。本发明专利技术提供一种适用于企业、政府、行业、以及电子商务所迫切需要的安全、高效、低成本、高可用性，可运行在任何网络环境下的终端产品的自主智能异构数据集成系统及方法。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种与异构数据集成技术以及数据挖掘技术相关的网络数据互联
，更具体地涉及一种。
技术介绍
众所周知，互联网、内联网和广域网三网互联提供了覆盖全球的信息通讯网络，但目前网络只提供了通过以TCP/IP(transmission controlprotocol/internet protocol，传输控制与网际协议协议)为主的计算设备和软端口的连接，对各种硬件平台中，不同操作系统之间可以实现文件级共享，如内联网中的文件、驱动器共享设备等以及在互联网中的FTP(file transfer protocol，文件传输协议)系统。但对于各种数据结构之间数据对数据的直接互联和集成尚且是一项技术空白。由于历史因素的影响，截止目前，在网络中存在着保存大量结构化数据的各类型数据库系统超过30多种，而保存非结构化数据的文件格式已经超过万种。这些异构数据之间由于缺乏可以相互识别数据的接口和统一的数据表达标准，因此，虽然置身于全球信息互联网络之中，但却存在着极其严重的信息孤岛现象。对于构建在广泛信息共享基础上的高效信息运用产生了极大的阻碍作用。当前，包括IBM、Oracle等主流数据库厂商和以CA为代表的应用软件开发商已经对基于三网的分布数据集成技术给予了高度的重视，并投入相当的力量开发相关软件产品。但目前出现的该类相关软件产品均为简单的辅助工具软件，不具备开放性、自主性和智能化特征。总结其主要缺陷有不开放；不通用；不独立；无智能；不安全；缺乏同时对内联网、互联网和广域网的支持能力；缺乏自主运行能力。
技术实现思路
本专利技术目的是提供一种适用于企业、政府、行业、以及电子商务所迫切需要的安全、高效、低成本、高可用性，可运行在任何网络环境下的终端产品的。本专利技术是这样实现的一种自主智能异构数据集成系统，该系统是一种在互联网、局域网和广域网环境中，具有开放性、自主化和智能化的异构数据探索、数据模型结构分析、数据挖掘、语义分析、及XML数据传输处理能力的跨网络跨平台异构数据库的数据集成系统，该系统包括一个实现了对象化数据库和多个异构数据库驱动的基础内核，该内核提供上述装置在异构数据集成处理中的算法、规则、模型、底层调用和设备管理；一个连接到上述基础内核的映射器，该映射器实现异构数据集成处理中的网络数据探索和关系映射处理；一个连接到上述基础内核的挖掘器，该挖掘器实现异构数据集成处理中的数据查询引擎、数据挖掘引擎，针对上述映射器的输出结果-映射图进行网络数据挖掘；一个连接到上述基础内核的交换器，该交换器针对上述挖掘器的输出-数据报，进行异构数据集成处理中的数据格式化、通讯连接与管理，及网络控制和数据传输； 一个连接到上述基础内核的接收器，异构数据集成处理过程中，该接收器针对网络进行通讯监听、对上述交换器进行应答、数据接收和数据库数据推入与更新。一种自主智能异构数据集成方法，该方法是一种在互联网、局域网和广域网环境中的异构数据探索、数据模型结构分析、数据挖掘、语义分析、及XML数据传输的跨网络跨平台异构数据库的数据集成方法，该方法包括下属步骤利用映射器和基础内核进行的网络异构数据库自动探索处理；基于上述步骤的结果，利用映射器和基础内核进行的网络数据源模型、主机定位索引表的创建；基于上述步骤的结果，利用映射器和基础内核进行的自动化数据结构、数据字典和数据语义映射；基于上述步骤的结果，利用挖掘器和基础内核进行的针对多个异构数据库跨越网络的数据挖掘；基于上述步骤的结果，利用交换器、接收器和基础内核进行的网络监听数据报并接收数据，进行对目标数据库的数据插入和数据更新。与现有技术相比较，本专利技术具备如下优点开放的体系结构；动态的应用模型；全面支持三网环境；与应用无关的应用跨平台能力；支持全部类型数据库的自动、智能数据集成；支持全部类型非结构化字符流数据结构的自动、智能数据集成。附图说明根据下面附图及最佳实施例的描述，本专利技术的特性和优点将会更加易于理解。图1是本专利技术自主智能异构数据集成系统的总体模块图； 图2-6是图解图1中5个模块的详细模块图；图7是实现本专利技术方法的总体步骤流程图；图8-9是图解图7中自动探索和异构映射的详细步骤流程图。具体实施例方式在图1中，本专利技术包括基础内核19，和通过基础内核19连接的映射器20、挖掘器21、交换器22和接收器23。基础内核19向提供底层计算和服务基础，包括实现一个基本对象化数据库和多个异构数据库的数据库驱动接口；与其连接的映射器20主要实现网络数据探索和关系映射；与基础内核19连接的挖掘器21实现数据查询引擎、数据挖掘引擎；与基础内核19连接的交换器22主要实现数据格式器、通讯与网络控制器和数据传输器；与基础内核19连接的接收器23主要实现通讯监听器、应答器、接收器和数据库数据推入操纵引擎。映射器20、挖掘器21、交换器22和接收器23之间通过数据总线连接，主要实现数据内部传输、消息交换和共享数据堆栈访问。图2更详细地图示了基础内核19的内部模块构造。基础内核19包括公共类接口24、同步调用器25、异步调用器26、文件及数据库服务引擎27、网络通讯引擎33和网络协议引擎35。其中，网络协议引擎35内部组成包括HTIP(hypertext transfer protocol，超文本传输协议)引擎38、ASP(active server page，动态服务器主页)引擎39、XML引擎40和消息队列41；网络通讯引擎33内部组成包括通讯驱动器31和TCP/IP引擎34等网络协议引擎。在基础内核19中的公共类接口24实现为一组动态连接库和运行时中间转译服务代码，由与其直接连接的同步调用器25和异步调用器26进行运行时调用、控制和管理。与公共类接口24连接的文件及数据库服务引擎27提供本地系统级文件和对象化数据库服务。与公共类接口24连接的通讯协议引擎33提供可基于多种可扩充网络通讯协议之上的通讯服务、提供不断植入新硬件、设备的驱动软件。由通讯驱动器31和TCP/IP引擎等多种通讯协议引擎组成。与公共类接口24连接的网络协议引擎35是在运行时互为客户、服务角色中的精简中间件服务容器。提供HTTP服务、ASP服务和XML服务40；以及消息队列服务。上述四项服务分别由组成网络协议引擎35的HTTP引擎38、ASP引擎39、XML引擎40和消息队列41提供。图3更详细地图示了映射器20的内部模块构造。映射器20包括SQL(structured query language，结构化查询语言)模型库43、SQL引擎42、样本映射器53、关系映射器52和抽取映射器51。其中，样本映射器53内部组成包括数据库探针63、模型管理器62和样本管理器61；关系映射器52内部组成包括视图管理器60、算法管理器59和连接管理器58；抽取映射器51内部组成包括模板引擎54、触发器引擎55、字符转换器56和数据表达器57。映射器20中的SQL引擎42实现基于关系映射语言的SQL定义、存储和维护，以及基于SQL标准的分析和创建。与SQL引擎42连接的SQL模型库43提供SQL模型和对象服务，包括含SQL标准语法库和SQL标准函数及运算库。与SQL引擎42连接的样本映射器53实现对各种网络的自动和智能化数据源样本分析、探索、本文档来自技高网...

【技术保护点】
一种自主智能异构数据集成系统，该系统是一种在互联网、局域网和广域网环境中，具有开放性、自主化和智能化的异构数据探索、数据模型结构分析、数据挖掘、语义分析、及ＸＭＬ数据传输处理能力的跨网络跨平台异构数据库的数据集成系统，其特征在于，该系统包括： 一个实现了对象化数据库和多个异构数据库驱动的基础内核，该内核提供上述装置在异构数据集成处理中的算法、规则、模型、底层调用和设备管理； 一个连接到上述基础内核的映射器，该映射器实现异构数据集成处理中的网络数据探索和关系映射处理； 一个连接到上述基础内核的挖掘器，该挖掘器实现异构数据集成处理中的数据查询引擎、数据挖掘引擎，针对上述映射器的输出结果－映射图进行网络数据挖掘； 一个连接到上述基础内核的交换器，该交换器针对上述挖掘器的输出－数据报，进行异构数据集成处理中的数据格式化、通讯连接与管理，及网络控制和数据传输； 一个连接到上述基础内核的接收器，异构数据集成处理过程中，该接收器针对网络进行通讯监听、对上述交换器进行应答、数据接收和数据库数据推入与更新。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：孙晓红，俞雷，王保明，孙建新，
申请(专利权)人：北京慧讯信息技术有限公司，
类型：发明
国别省市：11[中国|北京]