一种基于数据资源目录构建的地球物理数据服务方法技术

本发明专利技术公开了一种基于数据资源目录构建的地球物理数据服务方法，包括：获取需要从源数据库中采集的地球物理数据的预设元数据；根据预设元数据，从源数据库中采集地球物理数据并进行存储；根据业务需求对地球物理数据进行处理，并生成数据资源目录；利用数据资源目录，将地球物理数据中各类学科数据、业务数据提供服务至用户。本发明专利技术通过采用统一的标准对采集到的地球物理数据按业务描述，以目录技术、元数据技术和网络环境为支撑，建立地球物理数据资源目录体系，从而为用户提供高效的地球物理数据资源的检索及定位服务，加快地球物理数据资源整合与服务，有力推进地球物理数据资源跨部门共享和服务，更好地发挥地震科学数据的社会价值和效益。会价值和效益。会价值和效益。

【技术实现步骤摘要】
一种基于数据资源目录构建的地球物理数据服务方法


[0001]本专利技术属于数据处理
，具体涉及一种基于数据资源目录构建的地球物理数据服务方法。

技术介绍

[0002]地震科学数据是防震减灾业务和地震科学研究的重要基础，也是各行各业防灾减灾的重要资源。地球物理数据具有多学科和历史积累性等特点，数据量及数据种类均不断增长，年产出量巨大，因此成为重要的战略及科研资源。因此，数据服务方式将直接影响到后续数据挖掘及应用的效果。
[0003]然而，随着数据采集范围的不断增加，地球物理数据的管理与服务问题日益突出，严重制约了信息化建设的进一步发展。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于数据资源目录构建的地球物理数据服务方法。本专利技术要解决的技术问题通过以下技术方案实现：
[0005]本专利技术提供一种基于数据资源目录构建的地球物理数据服务方法，包括：
[0006]获取需要从源数据库中采集的地球物理数据的预设元数据；
[0007]根据所述预设元数据，从源数据库中采集地球物理数据并进行存储；
[0008]根据业务需求对所述地球物理数据进行处理，并生成数据资源目录；
[0009]利用所述数据资源目录，将所述地球物理数据中各类学科数据、业务数据提供服务至用户。
[0010]在本专利技术的一个实施例中，所述数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。
[0011]在本专利技术的一个实施例中，所述根据所述预设元数据，从源数据库中采集地球物理数据并进行存储的步骤，包括：
[0012]根据所述预设元数据，利用数据库采集的方法从源数据库中采集地球物理数据；
[0013]构建多种类型的数据库；
[0014]将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库。
[0015]在本专利技术的一个实施例中，所述不同类型的数据库包括：关系型数据库Mysql、内存数据库Redis和时序数据库Clickhouse。
[0016]在本专利技术的一个实施例中，所述将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库的步骤，包括：
[0017]判断所述采集到的地球物理数据类型是否为观测数据；若是，则将采集到的地球物理数据存储至所述时序数据库；
[0018]判断采集到的地球物理数据间是否存在关联，并在采集到的地球物理数据间存在关联时，将采集到的地球物理数据存储至所述关系型数据库；
[0019]判断采集到的地球物理数据的访问频次是否达到预设值，并在采集到的地球物理数据的访问频次达到预设值时，将采集到的地球物理数据存储至所述内存数据库；
[0020]将所述学科数据中的观测数据按类型和特征存储至相应的时序数据库、关系型数据库及内存数据库。
[0021]在本专利技术的一个实施例中，所述数据库采集方式中的交换处理机制包括：轮询方式或数据库触发器方式。
[0022]在本专利技术的一个实施例中，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之前，还包括：
[0023]对所述地球物理数据进行数据统计、重复记录去除、数据截取以及数据主题预处理。
[0024]在本专利技术的一个实施例中，所述获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之后，包括：
[0025]将采集的所述预设元数据按日统计同步数据量、错误数据量以及数据同步任务执行情况。
[0026]在本专利技术的一个实施例中，所述根据业务需求对所述地球物理数据进行处理，并生成数据资源目录的步骤，包括：
[0027]根据所述同步数据量，按时间维度和台站维度生成台站质量主题；
[0028]根据地震事件，归集各类学科观测数据生成地震事件主题。
[0029]与现有技术相比，本专利技术的有益效果在于：
[0030]本专利技术通过采用统一的标准对采集到的地球物理数据按业务描述，以目录技术、元数据技术和网络环境为支撑，建立地球物理数据资源目录体系，从而为用户提供高效的地球物理数据资源的检索及定位服务，加快地球物理数据资源整合与服务，有力推进地球物理数据资源跨部门共享和服务，更好地发挥地震科学数据的社会价值和效益。
[0031]以下将结合附图及实施例对本专利技术做进一步详细说明。
附图说明
[0032]图1是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种流程图；
[0033]图2是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种架构图；
[0034]图3是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法中数据资源目录的一种架构图；
[0035]图4是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法中采集地球物理数据的一种流程图；
[0036]图5是本专利技术实施例提供的电子设备的一种结构示意图。
具体实施方式
[0037]下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。
[0038]图1是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种流程图，图2是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法的一种架构图。如图1
‑
2所示，本专利技术实施例提供一种基于数据资源目录构建的地球物理数据服务方法，包括：
[0039]S1、获取需要从源数据库中采集的地球物理数据的预设元数据；
[0040]S2、根据预设元数据，从源数据库中采集地球物理数据并进行存储；
[0041]S3、根据业务需求对地球物理数据进行处理，并生成数据资源目录；
[0042]S4、利用数据资源目录，将地球物理数据中各类学科数据、业务数据提供服务至用户。
[0043]需要说明的是，在获取预设元数据之前，可以先对地球物理数据进行数据统计、重复记录去除、数据截取和数据主题预处理，而在获取需要从源数据库中采集的地球物理数据的预设元数据的步骤之后，进一步将同步的预设元数据按日统计同步数据量、错误数据量以及数据同步任务执行情况。
[0044]图3是本专利技术实施例提供的基于数据资源目录构建的地球物理数据服务方法中数据资源目录的一种架构图。可选地，如图3所示，数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。
[0045]应当理解，数据资源目录梳理整合数据资源，为数据汇聚、数据服务以及数据应用提供基础支撑，根据使用场景、业务分类和业务来源，本实施例中数据资源目录可以包括：预设元数据、资源目录、服务主题、主题目录和共享目录。具体地，预设元数据包括管理技术元数据和管理元数据，资源目录下存放着从各个台网和业务中同步过来的原始数据，服务目录为管理员根据用户的数据需求，利用原始数据制作得到的数据集；主题目录为根据定义好的数据主题，系统自动生成的数据目录；共享目录通过网站在线查询、FTP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据资源目录构建的地球物理数据服务方法，其特征在于，包括：获取需要从源数据库中采集的地球物理数据的预设元数据；根据所述预设元数据，从源数据库中采集地球物理数据并进行存储；根据业务需求对所述地球物理数据进行处理，并生成数据资源目录；利用所述数据资源目录，将所述地球物理数据中各类学科数据、业务数据提供服务至用户。2.根据权利要求1所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述数据资源目录包括：预设元数据、资源目录、服务主题、主题目录和共享目录。3.根据权利要求1所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述根据所述预设元数据，从源数据库中采集地球物理数据并进行存储的步骤，包括：根据所述预设元数据，利用数据库采集的方法从源数据库中采集地球物理数据；构建多种类型的数据库；将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库。4.根据权利要求3所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述不同类型的数据库包括：关系型数据库Mysql、内存数据库Redis和时序数据库Clickhouse。5.根据权利要求4所述的基于数据资源目录构建的地球物理数据服务方法，其特征在于，所述将采集到的地球物理数据按照预设规则存储至所述多种类型的数据库的步骤，包括：判断所述采集到的地球物理数据类型是否为观测数据；若是，则将采集到的地球物理数据存储至所...

【专利技术属性】
技术研发人员：李杨，陈文胜，张秀萍，许利娜，王丹宁，冯兵，鲁宇，
申请(专利权)人：中国地震局第二监测中心，
类型：发明
国别省市：