基于OAI的地球观测知识库元数据同步优化方法技术

本发明专利技术涉及元数据同步领域，具体涉及一种基于OAI的地球观测知识库元数据同步优化方法。该方法包括：获取地球观测数据库中变化的表结构信息，得到地球观测数据库变化的元数据信息；业务逻辑处理层通过收割器对信息进行处理，然后通知用户服务接口层，通知信息包含数据库中变化的元数据信息；用户服务接口层的配置文件根据传来的通知文件进行更新，然后根据更新的配置文件动态更新用户服务接口层中的查询服务。服务更新后，用户进行新的查询请求，基础数据操作层根据用户传递过来的查询参数动态生成查询sql语句进行查询，完成整个元数据同步过程。通过本发明专利技术提高了地球观测知识库元数据同步效率。元数据同步效率。元数据同步效率。

【技术实现步骤摘要】
基于OAI的地球观测知识库元数据同步优化方法


[0001]本专利技术涉及元数据同步领域，具体涉及一种基于OAI（Open Archives Initiative Protocol for Metadata Harve）的地球观测知识库元数据同步优化方法。

技术介绍

[0002]元数据同步是实现地球观测知识库实时更新的最重要的任务之一。由于地球观测工程涉及设备和资料众多，为了实时而高效的更新数据，发展一种基于OAI的地球观测知识库元数据同步优化方法已经成为地球观测信息化体系的必要手段之一。
[0003]由于地球观测知识库不同于普通的知识库，观测信息的更新周期短且每类信息更新的周期不固定，只有实现实时更新才能及时为用户提供最新的遥感信息。元数据同步能够有效的保障数据的实时更新，是物联网时代下的重要研究内容。
[0004]目前OAI协议实现元数据同步采用基于时间戳的选择法或基于集合的选择法对元数据进行收割，用户从服务提供者提供的搜索界面查询需要的信息，服务提供者通过定时收割或根据集合收割来完成数据库的更新。基于时间戳的选择法收割时间的设定是一大难题。为了保证同步，必须频繁收割数据提供方的元数据，但当数据提供方元数据变化不大时，频繁收割会无故加重系统负担，造成资源浪费；另一方面，如果不进行频繁收割的话，服务提供方可能和数据提供方的元数据记录不一致，新增加的记录乃至删除了的和修改过的数据都不能够保证及时传送给服务提供方。由此可见，收割时间的确定很重要，它直接影响到同步实现的好坏，而收割时间的确定又取决于仓储的变化情况。据研究，大多数仓储都有一个稳定的变化速度，但是不同仓储有不同的变化速度，服务提供方应该根据不同仓储的变化情况来动态地调整收割时间。基于集合的选择法通常以批次为集合进行收割和存储，当数据库中元数据更新之后，可能轮到这一批次元数据更新还要很久，也不能实现元数据的实时同步更新。
[0005]由此可见，建立一个新的元数据同步模型是至关重要的。

技术实现思路

[0006]为了解决上述技术问题，本专利技术的目的在于提供一种基于OAI的地球观测知识库元数据同步优化方法，所采用的技术方案具体如下：一种基于OAI的地球观测知识库元数据同步优化方法，包括如下步骤：步骤1，获取地球观测数据库中变化的表结构信息，得到地球观测数据库中变化的元数据信息；将变化的元数据信息以XML通知文件的形式发送给业务逻辑处理层；业务逻辑处理层通过收割器对变化的元数据信息进行处理，然后将变化的元数据信息传递给用户服务接口层；步骤2，用户服务接口层的配置文件根据传来的XML通知文件进行更新，然后根据更新的配置文件动态更新用户服务接口层中的服务；步骤3，服务更新后，用户进行新的查询请求，基础数据操作层根据用户传递过来
的查询参数动态生成查询sql语句进行查询，完成整个元数据同步过程。
[0007]进一步地，所述获取地球观测数据库中变化的表结构信息包括：当数据库中表结构发生变化时，向业务逻辑处理层发送由数据提供方自定义的XML模式，XML模式的文件data.xml中包含数据库中变化的元数据信息。
[0008]进一步地，所述业务逻辑处理层通过收割器对变化的元数据信息进行处理包括：收割器中记录了数据提供方与服务提供方的映射关系，由收割器决定将XML通知文件发送给用户服务接口层中的哪些服务。
[0009]进一步地，所述用户服务接口层的配置文件根据传来的通知文件进行更新包括：用户服务接口层的配置文件config.xml根据传来的文件data.xml进行更新，然后根据更新的配置文件config.xml，动态更新服务提供方中的服务；服务更新之后，用户进行新的查询请求。
[0010]进一步地，所述服务接口层中的服务包括服务接口层中的众多查询服务，查询服务与数据库的关系由收割器记录。
[0011]进一步地，所述服务更新之后，用户进行新的查询请求包括：基础数据操作层根据用户传递过来的查询参数通过其自定义的XML模式的文件search.xml动态生成查询sql语句进行查询。
[0012]进一步地，所述数据提供方包括所有地球观测数据库。
[0013]进一步地，所述服务提供方包括用户服务接口层中的众多查询服务。
[0014]进一步地，所述文件data.xml中，更新的表结构信息采用XML格式，其顶层元素为“DataUpdates”，每个更新用子元素“DataUpdate”表示，其中“DataId”、“OperationName”、“UpdateTable”、“UpdateFieldId”分别表示具体的变化ID、操作名称、变化的表名、变化的字段ID；如果OperationName是增加，则config.xml中执行在表中增加一个字段；如果OperationName是更新，则config.xml中执行更新表中的某一个字段；如果OperationName是删除，则config.xml中执行删除表中的某一个字段。
[0015]进一步地，所述配置文件config.xml中，config.xml中顶层元素为“Config”，每个服务用子元素“Service”表示，其中
ꢀ“
ServiceName”、“description”、“type”、“port”、“ServiceParameters”、“UpdateTable”、“UpdateFieldId”分别表示具体的服务名称、服务描述、服务类型、服务端口号、服务参数、变化的表名、变化的字段ID。
[0016]进一步地，所述文件search.xml中，search.xml中顶层元素为“Search”，其中“UpdateTable”、“UpdateFieldId”分别表示具体变化的表名、变化的字段ID。
[0017]根据本专利技术的另一方面，提供一种计算机存储介质，所述存储介质中存储至少一可执行指令，所述可执行指令使处理器执行本专利技术所述的估计方法对应的操作。
[0018]本专利技术的有益效果：本专利技术能很好的解决地球观测知识库中元数据未能及时更新的问题，通过收割器减轻了数据提供方实现的复杂度，由收割器记录数据提供方与服务提供方的映射关系，能够实现元数据的实时更新，减轻系统负担，提高收割效率。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅用于示出优先实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1是本专利技术提供的一种基于OAI的地球观测知识库元数据同步优化方法示意图。
具体实施方式
[0020]为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合较佳实施例，对依据本专利技术提出的一种基于OAI的地球观测知识库元数据同步优化方法，其具体实施方式，详细说明如下。
[0021]除非另有定义，本文所使用的所有的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，包括如下步骤：步骤1，获取地球观测数据库中变化的表结构信息，得到地球观测数据库中变化的元数据信息；将变化的元数据信息以XML通知文件的形式发送给业务逻辑处理层；业务逻辑处理层通过收割器对变化的元数据信息进行处理，然后将变化的元数据信息传递给用户服务接口层；步骤2，用户服务接口层的配置文件根据传来的XML通知文件进行更新，然后根据更新的配置文件动态更新用户服务接口层中的服务；步骤3，服务更新后，用户进行新的查询请求，基础数据操作层根据用户传递过来的查询参数动态生成查询sql语句进行查询，完成整个元数据同步过程。2.如权利要求1所述的一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，所述获取地球观测数据库中变化的表结构信息包括：当数据库中表结构发生变化时，向业务逻辑处理层发送由数据提供方自定义的XML模式，XML模式的文件data.xml中包含数据库中变化的元数据信息。3.如权利要求1所述的一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，所述业务逻辑处理层通过收割器对变化的元数据信息进行处理包括：收割器中记录了数据提供方与服务提供方的映射关系，由收割器决定将XML通知文件发送给用户服务接口层中的哪些服务。4.如权利要求1所述的一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，所述用户服务接口层的配置文件根据传来的通知文件进行更新包括：用户服务接口层的配置文件config.xml根据传来的文件data.xml进行更新，然后根据更新的配置文件config.xml，动态更新服务提供方中的服务；服务更新之后，用户进行新的查询请求。5.如权利要求1所述的一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，所述服务接口层中的服务包括服务接口层中的众多查询服务，查询服务与数据库的关系由收割器记录。6.如权利要求1所述的一种基于OAI的地球观测知识库元数据同步优化方法，其特征在于，所述服务更新之后，用户进行新的查询请求包括：基础数据操作层根据用户传递过来的查询参数通过其自定义的XML模式的文件search.xml动态生成查询sql语句进行查询。7.如权利要求2所述的一种基于OAI的地球观测知识...

【专利技术属性】
技术研发人员：赵利民，李家国，邓枫莹，朱梦圆，郭小雨，张磊，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：