一种城市轨道交通工程的多源异构数据集成处理方法技术

本发明专利技术涉及一种城市轨道交通工程的多源异构数据集成处理方法，创建数据源并将数据进行分类并存储至各源端数据库；根据各源端数据库创建元数据库；将异构数据源的数据抽取到过渡性数据库；在规则和元数据库的约束下对过渡性数据库进行数据转换；对转换后的数据进行数据集成和融合，实现数据模型和数据格式的统一；基于元数据库，其内部的元数据管理器定义目标数据模型结构，得到定义数据关联规则和目标映射关系；根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。服务的多源异构数据集成显示。服务的多源异构数据集成显示。

【技术实现步骤摘要】
一种城市轨道交通工程的多源异构数据集成处理方法


[0001]本专利技术涉及建筑信息化领域，更具体地，涉及一种城市轨道交通工程的多源异构数据集成处理方法。

技术介绍

[0002]多源异构数据集成是整合来自多个数据源的数据，减少数据之间类型和结构上的差异，解决多源异构数据的来源复杂、结构异构问题，从而实现对数据的统一存储、管理和分析，实现用户无差别访问，充分发挥数据的价值。随着地铁建设项目复杂程度的提升，大规模的数据信息不断积累，城市轨道交通建造过程中产生的海量多源异构数据，包括结构化、半结构化和非结构化，特别是GIS数据、BIM数据、倾斜摄影数据、地质数据以及激光点云等数据，由于数据的分布式采集和数据来源形式多种，导致不同系统之间无法进行有效的数据互操作和集成应用，这不仅加大数据生产成本，造成人力、物力的极大浪费，也给数据共享带来极大困难。因此，为实现不同数据源的互连互通和数据的共享，构建多源异构数据集成系统显得尤为迫切。
[0003]现有的技术中，中国技术公开了一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，数据处理单元与通信层通讯连接，通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该专利通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用；但是对于多源异构数据的处理中，并没有实现不同数据源的互连互通和数据的共享。

技术实现思路

[0004]本专利技术为解决现有的异构的信息生产环境，其不同系统之间无法进行有效的互操作的技术缺陷，提供了一种城市轨道交通工程的多源异构数据集成处理方法。
[0005]为实现以上专利技术目的，采用的技术方案是：
[0006]一种城市轨道交通工程的多源异构数据集成处理方法，包括以下步骤：
[0007]S1：创建数据源并将数据进行分类并存储至各源端数据库；
[0008]S2：根据各源端数据库创建元数据库；
[0009]S3：将异构数据源中的数据抽取到过渡性数据库；
[0010]S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；
[0011]S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；
[0012]S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结
构，得到定义数据关联规则和目标映射关系；
[0013]S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；
[0014]S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。
[0015]上述方案中，采用抽取、转换和映射技术整合，基于元数据库自定义规则的数据集成处理方法，解决多源异构数据规则自动匹配的数据集成处理问题以及不同数据库系统之间无法进行有效互操作，从而减少人工干预，提高数据处理的效率。
[0016]优选的，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。
[0017]优选的，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。
[0018]优选的，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将源数据系统获取的数据全量或增量传输到过渡性数据库中。
[0019]优选的，在步骤S4中，在元数据库中根据用户定义匹配语义转换、结构转换、属性转换规则；在规则和元数据库的约束下对过渡性数据库的数据进行数据转换处理过程。
[0020]优选的，在步骤S5中，对数据格式差异、坐标体系差异、数据精度差异、时空尺度差异和属性定义差异等进行集成和融合，其方式包括数据格式转换、结构转换、属性语义转换的统一与融合，按照一定的数据标准、空间与属性实现实体分类分级、几何位置、数据模型和数据格式统一。
[0021]优选的，所述数据格式转换是将多源异构数据转换成统一的目标数据格式，并完成对不同数据指标进行转换的计算。
[0022]优选的，所述几何位置的统一是以地球椭球面为空间信息定位的载体，基于统一坐标系和投影方式对BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
[0023]上述方案中，以地球椭球面为空间信息定位的载体，基于统一坐标系(如WGS84大地坐标系)和投影方式(如高斯投影)BIM、倾斜摄影、地质模型、激光点云等各种来源、各种投影的空间地理数据转换成全局地理坐标的几何位置融合。
[0024]优选的，所述属性语义转换的融合是基于自定义的要素编码规则进行实体属性统一表示实现语义融合。
[0025]上述方案中，基于自定义的要素编码规则(如本体表达)进行实体属性统一表示实现语义融合。
[0026]优选的，在步骤S7中，根据自定义数据关联规则和目标映射关系，将已经转换成功的数据从数据过渡区加载到具有多维数据模型结构的数据仓库物理存储区域。
[0027]上述方案中，由于信息技术的标准化工作，特别是服务的标准化工作相对滞后，导致了异构的信息生产环境，不同系统之间如BIM、GIS等无法进行有效的互操作，这不仅加大了数据生产成本，造成人力、物力的极大浪费，也给数据共享带来了极大困难。解决大量多
源异构数据的集成与共享问题，实现信息资源的高效存储、处理和无缝流转是城市轨道交通工程数字建造的基础工作，进而提高数据的利用价值。
[0028]本专利技术的目的是提供面向城市轨道交通工程多源异构数据的数据集成与可视化实现方法，针对各数据来源方式的不同以及工程建造数据的特点，结合主要数据存储和处理流程，提出并设计了一种多源异构数据的集成处理的数据标准化、规范化的方案与技术流程。
[0029]采用自定义规则和数据仓库整合机制，针对城市轨道佳通工程建造多源异构数据，包括BIM、GIS、倾斜摄影、地质模型和激光点云等数据，采用抽取、转换和映射技术整合，解决异构的地理信息生产环境导致不同数据库系统之间无法进行有效互操作等问题，从而使得理，减少人工干预，提高多源异构数据融合处理的效率。
[0030]多源异构数据能够实现自动化融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，包括以下步骤：S1：创建数据源并将数据进行分类并存储至各源端数据库；S2：根据各源端数据库创建元数据库；S3：将异构数据源中的数据抽取到过渡性数据库；S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。2.根据权利要求1所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S1中，选择不同类型的数据库，将获取的GIS、BIM、倾斜摄影、地质、点云等数据，以属性数据、空间数据、文档数据形式进行分类、存储各源端数据库。3.根据权利要求2所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S2中，通过标准接口自动定义和读取各种有关数据库的数据字典创建元数据类，包括数据库类描述、实体类描述、事务类描述、界面类定义，存储到元数据库，建立元数据库。4.根据权利要求3所述的一种城市轨道交通工程的多源异构数据集成处理方法，其特征在于，在步骤S3中，通过面向异构的数据源接口界面，利用用户定义的抽取规则的数据抽取器从MySQL数据库、Oracle、SQL Server、Excel、Access等异构数据源中进行数据抽取；将...

【专利技术属性】
技术研发人员：张育雨，刘继强，蒋四礼，王家远，张立杰，王雪健，
申请(专利权)人：深圳大学深圳市斯维尔科技股份有限公司，
类型：发明
国别省市：