【技术实现步骤摘要】
本专利技术涉及数据集成领域，特别涉及一种基于数据中心的数据集成方法。
技术介绍
1、本部分提供的仅仅是与本公开相关的背景信息,其并不必然是现有技术。
2、由于大型综合业务信息平台通常包含众多子系统，各子系统业务分工不同，独立开发，由于开发时间、团队等因素，通常缺乏统一的标准和规划，导致应用开发技术和数据结构差异较大。随着系统信息化建设步伐加快，将产生各业务系统间信息交互不畅的“信息孤岛”问题。虽然各业务系统功能独立，但系统间存在业务流程关联，随着信息化建设的发展，对各业务系统间信息交互更加重视，构建多源异构数据集成系统实现个业务系统间信息集成的需求与日俱增。
3、数据集成实现方式与业务自身特性密切相关，各系统需按自身情况进行设计集成方式，国内外当前数据集成主要有以下几种方式：第一种是基于xml数据交换技术实现信息集成(刘洋.基于数据交换技术的信息集成平台开发[j].信息技术与信息化,2021,12(038))；第二种是采用soap消息机制和web service技术(韦杰.基于web service的电子政务数据交换技术研究[d].广西大学,2018)；第三种是采用交换前置的方式，通过前置节点以库表和文件的形式进行交换，主要的技术利用etl工具对数据库的数据记录，转置加载到目标服务器中(王晓波.基于etl技术的数据交换平台在电子政务领域中的应用[j].电脑知识与技术,2016,12(21):278-280)。第一种方式传输数据时需使用xml格式或者json来封装数据，对于原本就存放于数据库中的结构化数据，
技术实现思路
1、本专利技术的目的在于，针对上述技术问题，提供一种基于数据中心的数据集成方法，增加数据对象封装访问技术供其他业务获取数据，同时使用中间件技术实时分发集成后的数据，实现多源异构系统间数据集成。
2、实现本专利技术目的的技术解决方案为：一种基于数据中心的数据集成方法，步骤如下：
3、步骤1、建立数据标准，构建数据模型，由于业务系统间数据具有多源异构的特点，为实现数据集成，需建立统一的数据结构和标准，使得集成过程中的数据基于统一的描述规范；
4、步骤2、搭建数据仓库，存储多源异构系统集成过程中的数据。
5、步骤3、构建数据中心，提供多种数据服务，包括使用etl技术和数据对象封装访问方法实现数据抽取、转换、加载和展示等服务。
6、步骤4、基于消息中间件技术对数据中心的数据进行分发，使得多源异构系统间数据实现同步。
7、进一步的，步骤1中建立数据标准，构建数据模型步骤如下：
8、步骤1-1、建立数据标准，首先对需进行集成的业务系统数据进行分类，本方法仅支持业务系统中结构化数据集成，系统中结构化数据具有多源异构的特点，构建数据标准时需对同类数据尽量保持结构一致、包括表的组成、表名、字段类型等，方便后期数据抽取时建立数据映射关系。
9、步骤1-2、根据建立的数据标准，创建对应数据表的数据模型，包括数据逻辑模型和数据物理模型，为搭建数据仓库做准备。
10、进一步的，步骤2中搭建数据仓库步骤如下：
11、步骤2-1、数据仓库用于存储集成方法中处理的数据，由业务实体库和元数据库组成。
12、步骤2-2、步骤1中构建的业务相关数据物理模型将建在业务实体库中，构建的元数据物理模型建在元数据库中。
13、进一步的，步骤3中构建数据中心步骤如下：
14、步骤3-1、使用java语言，基于vue+springboot+mybatis框架，根据步骤2得到的数据仓库构建数据中心，
15、步骤3-2、数据中心基于etl技术实现数据服务，所述数据服务包括数据抽取、数据转换、数据加载和数据展示。
16、进一步的，步骤3-2中实现数据服务步骤包括，
17、数据抽取服务通过将系统的多源数据抽取到临时数据库中实现功能；
18、数据转换服务通过将抽取的数据按照制定的数据转换规则进行映射处理实现功能；
19、数据加载服务通过将转换处理后的数据存储至数据仓库中实现功能；
20、数据展示服务通过数据对象封装访问方法实现功能。
21、数据抽取、转换和加载服务都基于etl技术中kettle工具，在数据中心服务框架中集成kettle工具，实现数据etl过程。
22、进一步的，所述数据对象封装访问方法包括，
23、数据模型封装，定义数据仓库中数据对象模型，建立对象模型与数据库表对象的映射关系。
24、数据访问服务发布，在服务端通过应用框架完成数据访问服务的开发和配置，并打包部署至服务器，向外发布数据访问服务。
25、处理数据访问请求，系统中其他业务系统通过数据对象封装访问接口获取数据，服务端接收到请求后执行相应的数据库操作，返回结果数据包，请求方在接收数据包后进行反序列化。
26、进一步的，步骤4中基于消息中间件技术分发数据步骤如下：
27、步骤4-1、使用消息中间件实现数据分发，在步骤3构建的数据中心服务中创建消息生产者，各业务系统创建消息消费者，生产者将数据分发给消费者。
28、步骤4-2、根据业务制定消息topic，使得消费者能获取集成后的业务数据，实现业务数据同步。
29、进一步的，所述消息中间件采用kafka消息中间件。
30、进一步的，所述数据中心基于vue+springboot+mybatis框架开发。
31、本专利技术与现有技术相比，显著优点是：本方法采用soa架构，通过搭建数据中心服务提供数据集成方法，与集成的各业务系统间解耦。本方法通过集成成熟的kettle工具实现高效数据抽取、转换和加载，保障系统中多源异构数据集成。本方法采用数据对象封装访问方法供各业务系统获取数据，保障数据仓库的安全性。本方法采用中间件技术实现集成数据的分发。对比传统技术，相比于使用xml数据交换技术实现数据集成拥有更高集成性能；比使用soap消息机制和web service技术实现数据集成对原有系统改动小，更加去耦合；比使用单一的etl技术实现数据集成多了数据维护和共享功能，更具通用性。
本文档来自技高网...【技术保护点】
1.一种基于数据中心的数据集成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数据中心的数据集成方法，其特征在于，步骤1中建立数据标准，构建数据模型步骤如下：
3.根据权利要求2所述的基于数据中心的数据集成方法，其特征在于，步骤2中搭建数据仓库步骤包括：
4.根据权利要求3所述的基于数据中心的数据集成方法，其特征在于，步骤3中构建数据中心步骤包括：
5.根据权利要求4所述的基于数据中心的数据集成方法，其特征在于，步骤3-2中实现数据服务步骤包括，
6.根据权利要求5所述的基于数据中心的数据集成方法，其特征在于，所述数据抽取、数据转换和数据加载服务均基于ETL技术中Kettle工具实现。
7.根据权利要求6所述的基于数据中心的数据集成方法，其特征在于，所述数据对象封装访问方法包括，
8.根据权利要求7所述的基于数据中心的数据集成方法，其特征在于，步骤4中基于消息中间件技术分发数据步骤如下：
9.根据权利要求8所述的基于数据中心的数据集成方法，其特征在于，所述消息中间件采用K
10.根据权利要求1所述的基于数据中心的数据集成方法，其特征在于，所述数据中心基于Vue+SpringBoot+Mybatis框架开发。
...【技术特征摘要】
1.一种基于数据中心的数据集成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数据中心的数据集成方法，其特征在于，步骤1中建立数据标准，构建数据模型步骤如下：
3.根据权利要求2所述的基于数据中心的数据集成方法，其特征在于，步骤2中搭建数据仓库步骤包括：
4.根据权利要求3所述的基于数据中心的数据集成方法，其特征在于，步骤3中构建数据中心步骤包括：
5.根据权利要求4所述的基于数据中心的数据集成方法，其特征在于，步骤3-2中实现数据服务步骤包括，
6.根据权利要求5所述的基于数据中心的数据集成方法，其特...
【专利技术属性】
技术研发人员：张志伟，向露，张晓策，
申请(专利权)人：中国电子科技集团公司第二十八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。