生态环境数据动态活动水平库及终端制造技术

本申请的生态环境数据动态活动水平库及终端，涉及数据处理领域。本申请的水平库通过数据采集与录入模块获取生态环境数据，根据数据标准管理模块实现生态环境数据的清洗得到完整的数据集，通过外部数据服务模块对清洗后的完整数据集进行共享。本申请能够将分散、零乱、标准不统一的生态环境数据整合到一起，为需要使用生态环境数据的外部系统提供一个具有完整、标准数据的数据库，提高生态环境数据的利用率。的利用率。的利用率。

【技术实现步骤摘要】
生态环境数据动态活动水平库及终端


[0001]本申请涉及数据处理
，尤其涉及生态环境数据动态活动水平库及终端。

技术介绍

[0002]在云计算、移动互联网等发展的推动下，将大数据的理念引入到环境数据中心，是一种全新的环保行业数据解决方案。
[0003]每年全国的环保部门、住房和城乡建设局、自然资源与规划局、城市管理局、气象局、公安局、农业与农村局等部门能够采集海量生态环境数据。通过大数据采集、管理、价值挖掘分析，实现对海量环境资源的汇聚、交互共享，并对环境管理中看似相互之间毫无关联、碎片化、反映问题某个方面表面现象的信息进行关联分析，从中发现趋势、找准问题、把握规律，说清污染物排放状况，说清环境质量的现状及其变化趋势，实现环境管理部门“用数据说话、用数据管理、用数据决策”。
[0004]由于生态环境中涉及污染源的数据种类较多，如HTTP和WebService接口数据、Excel模板化数据、PDF和Word文档数据、人工填报数据和数据库数据等，导致采集困难的问题。并且，生态环境数据中还存在数据孤岛问题，数据在不同部门相互独立存储，彼此之间相互孤立，这也导致不能获取完整数据的问题。如此可见，由于数据采集困难和获取数据不完整等原因降低了生态环境数据的利用率。

技术实现思路

[0005]本申请提供的生态环境数据动态活动水平库及终端，能够将分散、零乱、标准不统一的数据整合到一起，为需要使用生态环境数据的外部系统提供了一个具有完整、标准数据的数据库。
[0006]本申请采用的技术方案如下：生态环境数据动态活动水平库，所述水平库包括数据采集与录入模块、数据标准管理模块、和外部数据服务模块；所述数据采集与录入模块包括数据采集单元、采集录入元数据管理单元、适配器管理单元和消息总线管理单元；所述数据采集单元用于获取生态环境数据；所述采集录入元数据管理单元用于构建元数据对象和所述元数据对象的基础组件；所述适配器管理单元用于将外部系统的应用数据结构映射到ODS原始数据区的数据结构；所述消息总线管理单元用于对数据采集过程中产生的关键节点进行订阅，其中，所述关键节点为数据收集时、整数据理时和数据持久化时产生的节点；所述数据标准管理模块包括标准化处理单元、ODS原始数据区管理单元、数据存储区管理单元、元数据区管理单元和业务数据区管理单元；所述标准化处理单元用于对所述生态环境数据进行标准化处理，以及对所述生态环境数据中的不同数据进行统一组织和综合管理；所述ODS原始数据区管理单元用于将所述数据采集和录入模块采集的数据存储到ODS原始数据区；所述数据存储区管理单元用于对统一组织和综合管理后的数据进行转换
和分类，并将转换和分类后的数据存储到数据存储区；所述元数据区管理单元用于对统一组织和综合管理后的数据进行转换和分类，并将转换和分类后的数据存储到元数据区；所述业务数据区管理单元用于对统一组织和综合管理后的数据进行转换和分类，并将转换和分类后的数据存储到业务数据区；所述外部数据服务模块用于查看和提取所述业务数据区的数据，其中，所述业务数据区的数据是根据业务场景生成的相应数据。
[0007]进一步地，所述采集录入元数据管理单元用于执行以下步骤：生成七种元数据对象，其中，所述七种元数据对象包括对象类、特性、分类方案、数据元概念、值域、数据元和数据集规范，所述对象类和所述特性构成所述数据元概念，依据所述分类方案制定所述值域，依据所述数据元概念和所述值域构成所述数据元，若干所述数据元组成所述数据集规范；构建所述元数据对象的基础组件，其中，所述基础组件包括多种类型属性，所述多种类型属性包括名称、定义、约束、条件、值域、出现次数、数据类型、最大长度和备注。
[0008]进一步地，所述标准化处理单元用于执行以下步骤：通过数据定义、数据分类、记录格式、转换规则和编码规则对生态环境数据进行标准化处理；对经标准化处理后的数据建立可动态定义及维护的编码规则和数据组织标准；根据所述可动态定义及维护的编码规则和数据组织标准对不同系统数据、不同类型污染源数据进行统一组织和综合管理。
[0009]进一步地，所述数据存储区管理单元用于执行以下步骤：通过元数据信息和ETL工具对统一组织和综合管理后的数据进行转换，其中所述元数据信息包括数据库表信息、数据源连接信息和数据字段权限；通过所述ETL工具，将转换后的数据分为批数据和流数据；分别对所述批数据和所述流数据进行批处理和流处理；将处理后的数据存储到数据存储区。
[0010]进一步地，所述元数据区管理单元用于执行以下步骤：通过元数据信息和ETL工具对统一组织和综合管理后的数据进行转换，其中所述元数据信息包括数据库表信息、数据源连接信息和数据字段权限；通过所述ETL工具，将转换后的数据分为批数据和流数据；分别对所述批数据和所述流数据进行批处理和流处理；将处理后的数据存储到元数据区。
[0011]进一步地，所述业务数据区单元用于执行以下步骤：通过元数据信息和ETL工具对统一组织和综合管理后的数据进行转换，其中所述元数据信息包括数据库表信息、数据源连接信息和数据字段权限；通过所述ETL工具，将转换后的数据分为批数据和流数据；分别对所述批数据和所述流数据进行批处理和流处理；将处理后的数据存储到业务数据区。
[0012]进一步地，所述外部数据服务模块包括数据应用元数据管理单元和数据应用适配器管理单元；
所述数据应用元数据管理单元用于执行以下步骤：通过元数据信息和ETL工具对统一组织和综合管理后的数据进行转换，其中所述元数据信息包括数据库表信息、数据源连接信息和数据字段权限；通过所述ETL工具，将转换后的数据分为批数据和流数据；分别对所述批数据和所述流数据进行批处理和流处理；将处理后的数据存储到数据应用元数据区；所述数据应用适配器管理单元用于执行以下步骤：通过kettle采集外部数据；对所述外部数据的字段名称和生态环境数据动态活动水平库中的表字段进行一一映射。
[0013]又一方面，本申请还提供生态环境数据动态活动水平库终端，包括如上所述的生态环境数据动态活动水平库。
[0014]采用本申请的技术方案的有益效果如下：本申请的生态环境数据动态活动水平库，通过数据采集与录入模块获取生态环境数据，根据数据标准管理模块实现生态环境数据的清洗得到完整的数据集，以及对清洗后的完整数据集进行共享。本申请能够将分散、零乱、标准不统一的生态环境数据整合到一起，为需要使用生态环境数据的外部系统提供一个具有完整、标准数据的数据源，提高生态环境数据的使用率。
附图说明
[0015]为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本申请实施例所提供的生态环境数据动态活动水平库的示意图。
具体实施方式
[0017]为了使本
的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.生态环境数据动态活动水平库，所述水平库包括数据采集与录入模块、数据标准管理模块、和外部数据服务模块；其特征在于，所述数据采集与录入模块包括数据采集单元、采集录入元数据管理单元、适配器管理单元和消息总线管理单元；所述数据采集单元用于获取生态环境数据；所述采集录入元数据管理单元用于构建元数据对象和所述元数据对象的基础组件；所述适配器管理单元用于将外部系统的应用数据结构映射到ODS原始数据区的数据结构；所述消息总线管理单元用于对数据采集过程中产生的关键节点进行订阅，其中，所述关键节点为数据收集时、整数据理时和数据持久化时产生的节点；所述数据标准管理模块包括标准化处理单元、ODS原始数据区管理单元、数据存储区管理单元、元数据区管理单元和业务数据区管理单元；所述标准化处理单元用于对所述生态环境数据进行标准化处理，以及对所述生态环境数据中的不同数据进行统一组织和综合管理；所述ODS原始数据区管理单元用于将所述数据采集和录入模块采集的数据存储到ODS原始数据区；所述数据存储区管理单元用于对统一组织和综合管理后的数据进行转换和分类，并将转换和分类后的数据存储到数据存储区；所述元数据区管理单元用于对统一组织和综合管理后的数据进行转换和分类，并将转换和分类后的数据存储到元数据区；所述业务数据区管理单元用于对统一组织和综合管理后的数据进行转换和分类，并将转换和分类后的数据存储到业务数据区；所述外部数据服务模块用于查看和提取所述业务数据区的数据，其中，所述业务数据区的数据是根据业务场景生成的相应数据。2.根据权利要求1所述的生态环境数据动态活动水平库，其特征在于，所述采集录入元数据管理单元用于执行以下步骤：生成七种元数据对象，其中，所述七种元数据对象包括对象类、特性、分类方案、数据元概念、值域、数据元和数据集规范，所述对象类和所述特性构成所述数据元概念，依据所述分类方案制定所述值域，依据所述数据元概念和所述值域构成所述数据元，若干所述数据元组成所述数据集规范；构建所述元数据对象的基础组件，其中，所述基础组件包括多种类型属性，所述多种类型属性包括名称、定义、约束、条件、值域、出现次数、数据类型、最大长度和备注。3.根据权利要求1所述的生态环境数据动态活动水平库，其特征在于，所述标准化处理单元用于执行以下步骤：通过数据定义、数据分类、记录格式、转换规则和编码规则对生态环境数据进行标准化处理；对经标准化处理后...

【专利技术属性】
技术研发人员：陈瑞，朱林，闫鑫，赵晨淅，
申请(专利权)人：西安中电环通数字科技有限公司，
类型：发明
国别省市：