一种流域边缘端多源异构生态环境大数据集成方法及系统技术方案

本发明专利技术公开了一种流域边缘端多源异构生态环境大数据集成方法及系统，涉及数据集成技术领域，包括以下步骤：数据获取步骤：获取边缘端各个边缘节点的数据；边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。本发明专利技术实现了数据的智慧感知、自动识别与网络融合，推进了多源异构数据协同共享。协同共享。协同共享。

【技术实现步骤摘要】
一种流域边缘端多源异构生态环境大数据集成方法及系统


[0001]本专利技术涉及数据集成
，尤其涉及一种流域边缘端多源异构生态环境大数据集成方法及系统。

技术介绍

[0002]基于云的数据管理为大数据时代的发展提供了支持，国内外许多学者开展了关于生态环境大数据技术的研究，生态环境大数据也在不断建设当中，在快速、高效分析、提取和利用实时产生、类型多样的环境大数据时，充满了挑战，在数据存储及传输等方面存在压力大、时延高等问题。
[0003]西班牙维尔瓦大学Cravero等(2018)提出了一种水资源管理大数据体系架构，并针对近年来水资源管理中普遍使用大数据的问题，分析相应特点，提出了几种解决方案。澳大利亚科廷大学Nimmagadda等(2017)建立了岩石圈
‑
大气
‑
生物圈
‑
水圈复合生态系统(LABHE)的数据模型来描述自然界的循环系统，利用非结构化大环境数据源及其在自然界中存在的异常描述各种构造、计算模型，并集成到仓库方法中，以计算环境元数据并在不同的知识域中对其进行解释，指出大数据模型和综合框架有助于环境探索者规划和管理全球环境资源。悉尼大学Yu等(2012)利用矩阵估计算法解释并跟踪用户的查询脚本，从不同来源检索数据，并将它们集成到矩阵估计中，用于集群并行计算。
[0004]我国学者张万顺、王永桂等(2016)基于环境大数据的数据特点和不同层次的组织管理特征，构建了满足各级管理部门需求，高效利用环境大数据的数据中心。谢超颖等(2018)对清潩河流域尺度多目标多部门水环境数据库构建的关键技术进行研究，发展了包括数据库规范设计、要素编码设计、图层及属性表设计、多目标数据库索引设计等技术在内的多源海量异构的多部门数据整合技术，多部门矢量数据与栅格数据无缝拼接技术及一键入库技术等。熊丽君等(2019)对大数据技术在生态环境领域的应用作了综合分析，指出中国仍处于起步阶段，应有效集成多领域生态环境监测数据，提升数据处理技术能力，推进大数据应用。张毅等(2019)、刘丽香等(2017)指出生态环境大数据将有助于全面提高生态环境治理的综合决策水平，但在数据共享和开放、应用创新、数据管理、技术创新和落地、专业人才培养和资金投入等方面还面临着重重挑战，提出了生态环境大数据未来的发展应向各类生态环境数据的标准化、建设生态环境大数据存储与处理分析平台和推动国内外生态环境大数据平台的对接等方向发展。传统的云数据存储及传输存在压力大、时延高等问题。
[0005]因此，提出一种流域边缘端多源异构生态环境大数据集成方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

[0006]有鉴于此，本专利技术提供了一种流域边缘端多源异构生态环境大数据集成方法及系统，实现了数据的智慧感知、自动识别与网络融合，推进了多源异构数据协同共享。
[0007]为了实现上述目的，本专利技术采用如下技术方案：
[0008]一种流域边缘端多源异构生态环境大数据集成方法，包括以下步骤：
[0009]S101.数据获取步骤：获取边缘端各个边缘节点的数据；
[0010]S201.边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；
[0011]S301.数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；
[0012]S401.异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。
[0013]可选的，S101中边缘端各个节点包括但不限于气象、水利、生态环境、自然资源、流域机构和科研机构。
[0014]可选的，S201中构建的各个边缘节点对应的数据库包括但不限于水文数据库、水质数据库和水环境检测数据库，最终构建了水环境及水文边缘端综合数据库。
[0015]可选的，S301中水环境及水文边缘端综合数据库的混合式交换架构为集中式交换架构和分布式交换架构的结合，其存储方式为分布式云存储架构。
[0016]可选的，S401异构数据集成包括以下内容：
[0017]建立通用数据库引擎GDBE处理异构数据的异构问题，包括和直接访问数据库一致的接口，用户以透明的方式访问并检索相关数据源中的数据，实现异构数据源间的数据迁移；
[0018]建立数据交换中间件DEM，基于通用数据库引擎GDBE进行数据从源数据库到目的数据库的导入交换。
[0019]可选的，数据交换中间件DEM基于各种数据库中数据类型的特点，先进行关系模式信息提取，建立关系型数据库以及关系型数据与系统数据间的转换映射，然后进行关系模式转换。
[0020]可选的，各种数据源间的数据类型映射关系，在数据交换DEM中间件中采用了数据库存储的方式保存，可动态增删修改，当有新的数据库类型被加入时只需通过DEM提供的数据类型转换映射维护界面，即可建立新的转换映射关系。
[0021]可选的，S401中对异构数据集成中的列存储的数据进行列组合，并转换为行存储数据，导入水环境及水文边缘端综合数据库，同时针对异构数据的多样性采取配置表技术实现该转换的通用性。
[0022]一种流域边缘端多源异构生态环境大数据集成系统，应用上述的流域边缘端多源异构生态环境大数据集成方法，包括依次连接的数据获取模块、边缘节点数据库建立模块、数据库交互模块、异构结构数据源集成模块；
[0023]数据获取模块用于获取边缘端各个边缘节点的数据；
[0024]边缘节点数据库建立模块用于将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；
[0025]数据库交互模块用于将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；
[0026]异构结构数据源集成模块用于将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。
[0027]经由上述的技术方案可知，与现有技术相比，本专利技术提供了一种流域边缘端多源异构生态环境大数据集成方法及系统：采用了数字流域边缘端生态环境多源异构数据的融合、集成方法，将零散的终端采集数据在边缘端按照统一标准格式转换并集成至综合数据库，不再需要将数据传输到云中心进行处理和分析，有效地减少了90％的数据量；采用聚合传输方式，降低了网络传输协议带来的额外开销和实际传输耗时；数据经过预处理与聚合，大大减轻了网络和服务器上的负载；实现了数据的智慧感知、自动识别与网络融合，推进了多源异构数据协同共享。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0029]图1为本专利技术提供的一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，包括以下步骤：S101.数据获取步骤：获取边缘端各个边缘节点的数据；S201.边缘节点数据库建立步骤：将各个边缘节点的数据按照对应的标准来构建数据库，得到各个边缘节点对应的数据库；S301.数据库交互步骤：将各个边缘节点对应的数据库按照混合式交换架构进行数据的传递和交互；S401.异构结构数据源集成步骤：将各个边缘节点的数据库内的异构数据源集成到一起，使用户以透明的方式访问这些数据源。2.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，S101中边缘端各个节点包括但不限于气象、水利、生态环境、自然资源、流域机构和科研机构。3.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，S201中构建的各个边缘节点对应的数据库包括但不限于水文数据库、水质数据库和水环境检测数据库，最终构建了水环境及水文边缘端综合数据库。4.根据权利要求3所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，S301中水环境及水文边缘端综合数据库的混合式交换架构为集中式交换架构和分布式交换架构的结合，其存储方式为分布式云存储架构。5.根据权利要求1所述的一种流域边缘端多源异构生态环境大数据集成方法，其特征在于，S401异构数据集成包括以下内容：建立通用数据库引擎GDBE处理异构数据的异构问题，包括直接访问数据库一致的接口，用户以透明的方式访问并检索相关数据源中的数据，实现异构数据源间的数据迁移；建立数据交换中间件DEM，基于通用数据库引擎GDBE进行数据从源数据库到目的数据库...

【专利技术属性】
技术研发人员：张万顺，彭虹，王浩，
申请(专利权)人：中国水利水电科学研究院，
类型：发明
国别省市：