基于SOA的网格异构数据集成方法技术

本发明专利技术请求保护一种基于ＳＯＡ的网格异构数据集成方法，涉及软件体系技术。该方法基于面向服务架构的基本思想，提出了基于网格服务的异构数据集成框架及方法，它能够透明地访问异构数据并且使框架各层具有低耦合性，利用此框架结合ｓｔｒｕｔｓ的ＭＶＣ流程图，开发出信息管理系统（ＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ　Ｓｙｓｔｅｍ，ＩＭＳ），它不仅能够保证数据源的灵活动态改变，而且使得用户能够得到及时响应。本发明专利技术提出的基于ＳＯＡ的网格异构数据集成方法，可以满足现有的信息管理系统的要求，需要更少的硬件开销，可以查询海量的异构数据；其访问数据库所需的往返时间、ＣＰＵ占有率等性能均优于现有数据集成方法。

【技术实现步骤摘要】

本专利技术涉及计算机领域，尤其涉及一种数据集成方法。
技术介绍
随着信息化的普及、分布式计算技术、数据库技术和网格计算的广泛应用，各种数据存在异构集成和接入访问困难的问题日趋严重。各类信息管理系统的数据，包括关系数据库、扩展标记语言(XML)文档、Web页面等，由于数据库的异构性、数据模型及存储方式的差异，不同的数据库之间的数据共享比较困难，形成了一个个的信息孤岛，资源管理及互操作性困难，这就使异构数据集成成为数据库应用领域的一个有待解决的关键技术问题。从数据集成的发展过程看，先后出现的体系结构主要有三种，即多数据库系统、中间件、面向服务的体系结构。多数据库系统是一种能够接受和容纳多个异构数据库的系统，能够提供统一的多数据库操作语言和公共接口(如ODBC，JDBC)以访问成员数据库，对外能够呈现一种集成结构，而对内又允许各个异构数据库的“自治性”。在多个异构数据库集成时，能够通过映射各异构的局部数据库的概念模式而得到全局统一的概念模式。但是用户必须指明所要访问的数据库，数据间的完整性和一致性必须由用户和应用程序定义和维护。这种方式没有解决透明存取问题，适合于集成少量数据。基于中间件的异构数据集成方法，是一种性价比较高的解决方案。在不影响原有系统的基础上，构建中间层的数据集成组件，有效地实现现有系统的快速集成。通过使用中间件技术(Microsoft的DCOM，OMG的CORBA-->和Sun的RMI等)，可以在数据库系统和应用系统之间构建中间层，对数据库的操作都通过中间层来进行，为应用层提供完全一致的接口。它位于异构数据源系统和应用程序之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口，为异构数据源提供一个高层次检索服务，避免了系统开发代价大，代码难以重用的问题，但它不能有效地解决跨网络通信，紧耦合特性使之难以适应数据源的动态变化。基于面向服务体系结构实现异构数据集成方法主要有两种，第一种基于面向服务架构(service-oriented architecture，SOA)的Web Service技术可直接将各种应用程序、服务和设备链接起来，实现在不同平台之间以一致的方式交换和描述数据，为实现信息共享、互操作和集成提供了新的解决方案。并且支持动态数据集成和组合异构环境中的服务，可使用大量工具和现有服务，降低了信息集成的复杂性。第二种基于网格技术实现异构数据集成。在中国专利(专利申请号200710176557)中公开网格环境下模式复用的异构数据库访问和集成方法，它不仅能更加灵活地适应数据源动态变化，而且为数据集成中的大量数据传输提供了可靠的文件传输服务，为资源使用者提供了访问数据库的全局访问接口，能够从数据库注册到使用的全部过程。但其在基于服务导向架构下虚拟数据库服务效率不高，对非数据库资源集成有待提高。
技术实现思路
本专利技术所要解决的技术问题是：针对服务架构的异构数据集成技术中存在虚拟数据库服务效率不高、非数据库资源集成度不够和多数据库集成技术在海量异构数据领域中不能适应数据源的灵活动态变化的情况下，设计出一种基于SOA的网格异构数据集成方法，利用网格环境的高效处理能力可以实-->现海量数据和已有的众多的数据库资源的有效集成，有效利用资源，为网格环境内实现数据库资源的高效管理、大数据的分析处理提供强有力的支持。本专利技术解决上述技术问题的方案是：以异构数据集成为切入点提出了基于SOA的网格异构数据集成框架，将网格异构数据集成框架分为网格数据服务层、网格数据集成层和网格数据显示层三层，该框架充分利用了SOA的灵活性，能够更快地响应数据需求，使得用户能够快速应对变化并有效地做出响应。而且，各个子模块松耦合的设计使得系统具有良好的灵活性。最底层是网格数据服务层，负责实现数据集成模块请求的网格数据服务以及数据源的具体连接等。并且所有的网格数据服务在初始化时就设定生命周期和信息安全机制。以保证良好的执行性能和响应能力，所以能够解决已有集成技术在海量异构数据领域中不能适应数据源的灵活动态变化问题。网格数据集成层是异构数据集成框架的核心层，它负责网格数据集成服务发现、数据查询、数据语义转换、数据传输、数据访问等核心部分。网格数据集成服务发现部分可以灵活地判断无网格数据集成和网格数据集成状况。在无网格数据集成情况下，数据查询部分根据用户选定的数据源ID号就可以查询到用户选择的数据源，查询到的数据源提交给网格数据显示层，以虚拟数据库视图方式供用户对数据进行查询与更新。在网格数据集成情况下，利用部署到网格中的数据服务数，产生出服务资源对象service[i]，根据i(服务资源对象累加值)的累加变化，可以选定数据集成过程中用于相互集成的源数据库。在选定的服务资源对象中查询数据，将查询到的数据以文本转化WebRowSet格式进行数据流化，利用数据集成层中的缓存机制对查询到的数据进行缓存，并在选定的目标数据库中创建临时表，临时表存储源数据库查询得到的缓存数据，另外，在存储的过程中，采用匹配规则对数据表之间属性-->进行约减，进而得到属性一致以及无噪声数据的目标数据库。如果创建了临时表的目标服务资源对象存在，把目标服务资源对象得到的数据返回到虚拟数据库中，供用户透明查询。所述匹配规则包括对服务资源对象的数据表之间的属性进行约减和语义转换，在服务资源对象的数据表之间建立字段数逻辑关系，依次根据小于、等于、大于、相似和不等于逻辑关系，来判断数据表之间字段数是否一致，并且在格式转换过程中将数据表中具有相似属性名称进行统一。在目标数据库中查询到的集成数据提交给网格数据显示层，以虚拟数据库视图方式供用户对数据进行查询与更新。这层充分利用了网格的可靠传输机制，解决了异构数据集成中的数据传输安全问题。同时，在网格异构数据集成情况下，该方法有效地解决已有集成技术非数据库资源集成度不够的问题。数据显示层提供了虚拟统一服务接口，对数据库查询结果合并，将来自各服务资源对象的查询响应合并为一个结果集，该结果集的元数据结构能够匹配所访问的虚拟数据库模式。提供对查询得到的数据进行显示或更新操作，并由Action负责把这些操作请求信息传递给数据集成层。该层可以让用户使用标准的SQL查询语句对选定的数据库进行查询，并提供透明的访问模式，所以有效地解决底层异构本专利技术数据源的差异性问题。能够供用户对数据进行透明的访问。本专利技术基于SOA的网格异构数据集成框架，开发出信息管理系统(Information Management System，IMS)，从利用数据集成方法查询得到的数据结果、系统访问数据库往返时间和CPU占有率情况三个方面，比已有集成系统体现出更加的灵活性和实用性。通过本专利技术提出的基于SOA的网格异构数据集成方法，可以满足现有的-->IMS的要求，需要更少的硬件开销，可以查询海量的数据；解决了数据集成中各层的低耦合性、可扩充性和非数据库资源集成度不够等问题，可使信息使用者对数据的访问不受数据格式、数据位置和访问接口差异限制，能够达到数据源集成的自治性，在保证集成过程中的访问完整性以外，还能保持数据源各自的独立性和准确性。附图说明图图1所示为基于SOA的网格异构数据集成框架示意图图2所示为本专利技术数据集成方法实现流程图图本文档来自技高网...

【技术保护点】
一种基于ＳＯＡ的网格异构数据集成方法，其特征在于，基于ＳＯＡ的网格异构数据集成框架自底向上分为三层，分别为网格数据服务层、网格数据集成层和网格数据显示层，该方法包括以下步骤，网格数据服务层负责数据集成模块请求的网格数据服务以及数据源的连接；网格数据集成层负责网格数据集成服务发现、数据查询、数据语义转换、数据传输、数据访问；网格数据显示层提供虚拟统一服务接口，对数据库查询结果进行合并，将来自各服务资源对象的查询响应合并为一个结果集，该结果集的元数据结构匹配所访问的虚拟数据库模式。

【技术特征摘要】
1、一种基于SOA的网格异构数据集成方法，其特征在于，基于SOA的网格异构数据集成框架自底向上分为三层，分别为网格数据服务层、网格数据集成层和网格数据显示层，该方法包括以下步骤，网格数据服务层负责数据集成模块请求的网格数据服务以及数据源的连接；网格数据集成层负责网格数据集成服务发现、数据查询、数据语义转换、数据传输、数据访问；网格数据显示层提供虚拟统一服务接口，对数据库查询结果进行合并，将来自各服务资源对象的查询响应合并为一个结果集，该结果集的元数据结构匹配所访问的虚拟数据库模式。2、根据权利要求1所述的基于SOA的网格异构数据集成方法，其特征在于，网格数据集成服务发现部分判断无网格数据集成和网格数据集成状态，在无网格数据集成状态下，数据查询部分根据用户选定的数据源ID号查询用户选择的服务资源对象，查询到的服务资源对象提交给网格数据显示层，以虚拟数据库视图方式供用户对数据进行查询与更新；在网格数据集成状态下，利用数据服务数，产生出服务资源对象service[i]，根据服务资...

【专利技术属性】
技术研发人员：刘宴兵，刘章雄，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：85[中国|重庆]