一种基于分片模式的遥感数据管理方法技术

本发明专利技术公开了一种基于分片模式的遥感数据管理方法，把遥感图像和元数据进行统一化的数据匹配预处理，在遥感数据分割模型的基础上将入库前的数据块进行分割，以效率较高地方式存储在数据库中，通过网络传输的方式将数据上传至数据中心，经过数据中心的统一调配处理，将海量的数据块分配给不同的数据节点，在数据节点中，为保证负载均衡路由进程将数据合理地下发至各个分片中，以供用户访问数据。本发明专利技术中的遥感数据分布式数据结构实现了遥感数据的检索、整合和共享，且在高并发情况下，多个请求的查询被合并成一次进行，以减少数据库的访问次数，不但为多源遥感数据的集成提供了一种新的分布式管理思路，还为并行化计算提供了理论和数据结构基础。论和数据结构基础。论和数据结构基础。

【技术实现步骤摘要】
一种基于分片模式的遥感数据管理方法


[0001]本专利技术属于遥感数据管理
，具体涉及一种基于分片模式的遥感数据管理方法。

技术介绍

[0002]地球系统中的大气、海洋、陆地和植被等条件的变化实时刻影响着人类获得，地球作为一个综合系统，包含地学各学科所涉及的所有领域以及信息技术。对地球系统的观测为人类理解地球系统提供提供了有用的信息来源，也成为人类研究地球系统不可替代的研究途径。只有对地观测系统才能提供全球多时相的连续地球数据，这类数据可用于对地球系统作为一个整体的描述，对地观测系统包括对地观测卫星、机载遥感系统、对地观测数据接收系统等多个观测地球的平台相互配合使用，在对地观测系统中，遥感数据是最主要的数据之一，
[0003]截止2017年，1738颗卫星在轨正常运行，其中对地观测卫星596颗，2012年升空的ZY
‑
3卫星，每天获取的数据量就在10TB以上。遥感技术和信息技术的进步使得遥感数据快速的增长，全球的遥感数据将会达到PB级别。
[0004]最近几年不同来源的遥感数据整合收到更多的关注，在过去的30年间，中国遥感卫星地面先后接收了包括Landsat，SPOT，JERS，CBERS，HJ，ZY和GF等国内外系列卫星数据，截止2013年存档各类对地观测卫星数据资料达330余万景。由于遥感数据的轨道参数、卫星重访周期、空间分辨率和传感器类型有差异，这些区别给遥感数据大数据集成造成了一些困难。此外，探索一个不同来源的高效的遥感数据管理方法可以提供高效数据服务，现有的管理存储遥感影像数据的模式有两种，文件管理和关系数据库管理方式，由于遥感影像的数据特点，大部分遥感图像处理软件都采用文件方式来管理遥感影像数据。
[0005]目前，传统的对地观测数据管理方式已经无法满足大数据环境下遥感数据整合的要求，不适用对地观测大数据特性的存储框架，存在着缺陷和限制，为了改善遥感数据的共享和互操作性，数据存储集成管理方式的创新是非常有必要的。因此，我们应该探索出一个高效数据管理组织方法，这个方法应该具有一个完整的空间元数据系统和高效的空间分布存储方法的特点。

技术实现思路

[0006]针对现有技术中的上述不足，本专利技术提供的基于分片模式的遥感数据管理方法解决了现有的对地观测大数据集成管理效率低下的问题。
[0007]为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于分片模式的遥感数据管理方法，包括以下步骤：
[0008]S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；
[0009]S2、基于网络传输协议将遥感数据块上传至分布式数据中心；
[0010]S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；
[0011]S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。
[0012]进一步地，所述步骤S1中，对遥感数据进行预处理的方法具体为：
[0013]A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；
[0014]A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；
[0015]A3、基于各遥感元数据的内容和结构，构建由若干个遥感元数据子集组成的元数据描述体系对遥感数据进行特征描述，实现遥感数据的预处理。
[0016]进一步地，所述步骤A1具体为：
[0017]基于地理编码格式的遥感元数据中的地理位置信息、波段信息、卫星重访周期和空间分辨率中的一种或多种信息作为多维特征对遥感数据进行多维特征描述；
[0018]所述步骤A2中，采用统一建模语言和数据字典相结合的方式对遥感数据对应核心元数据的内容和结构进行描述；
[0019]所述步骤A3中，通过元数据描述体系对遥感数据进行特征描述时的特征包括内容信息、数据质量信息、引用信息、标识信息、联系信息、分发信息和空间参考信息。
[0020]进一步地，所述步骤S3具体为：
[0021]S31、通过分布式数据中心将接收到的遥感数据块移交至数据库服务器中，并基于分片分配若干个用于存储遥感数据块的数据节点；
[0022]S32、对用于存储遥感数据块的数据节点进行节点保护，形成对应的分布式集群；
[0023]S33、将遥感数据块通过分片的方式存储在数据库服务器中的分布式集群中；
[0024]S34、将遥感数据块通过分片的方式存储在各分布式集群中，并通过自动分配机制将遥感数据块切分成小块分散保存在各数据节点中，实现遥感数据块的切分保存。
[0025]进一步地，所述步骤S32中，对数据节点进行节点保护时，每个分片包括至少三个数据节点，包括一个主数据节点和两个从数据节点，当主数据节点宕机后，两个从数据节点进行竞选，其中一个从数据节点变为主数据节点，当主数据节点恢复后作为从数据节点加入到对应的分布式集群中。
[0026]进一步地，所述步骤S4中利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中的方法具体为：
[0027]将遥感数据块中的遥感数据通过数据库服务器的配置服务中的元数据路由至对应的数据分片中，通过在分片服务中设置片键和数据库中的Chunk索引关系，使遥感数据以分片的形式保存在不同的数据分片中。
[0028]进一步地，所述分片服务为分布式集群中实际存储数据的位置；
[0029]在所述分片服务中，根据设置的不同片键，将遥感数据块分为若干个Chunk，并按照设置的片键类型将遥感数据以不同的逻辑保存在不同的数据分片中。
[0030]进一步地，所述步骤S4中，通过设置平衡进程使遥感数据块在各个数据分片中达到负载平衡；
[0031]所述平衡进程自动巡查所有数据分片上Chunk的分布情况，当数据分片上的Chunk数量达到设定的迁移阈值时，通过平衡进程在各数据分片之间自动迁移Chunk，使每个数据
分片中的Chunk数量相同，进而使遥感数据在各个数据分片中达到负载平衡。
[0032]进一步地，在所述平衡进程中，当数据分片中的Chunk大小超过了配置限制时，将其平均分为两个大小相同的新的Chunk。
[0033]本专利技术的有益效果为：
[0034](1)本专利技术使用一种地理编码格式的数据结构作为遥感元数据的存储形式，并设计了完整的多源遥感数据表为高效的数据查询提供索引基础；
[0035](2)本专利技术中遥感数据的分布式存储为遥感数据集集成提供了快速、安全和稳定的数据存储模式；
[0036](3)本专利技术中的遥感数据分布式数据结构能够实现遥感数据的检索、整合和共享，并且在高并发情况下，多个请求的查询被合并成一次进行，以减少数据库的访问次数，不但为多源遥感数据的集成提供了一种新的分布式管理思路，还为并行化计算提供了理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分片模式的遥感数据管理方法，其特征在于，包括以下步骤：S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；S2、基于网络传输协议将遥感数据块上传至分布式数据中心；S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。2.根据权利要求1所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S1中，对遥感数据进行预处理的方法具体为：A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；A3、基于各遥感元数据的内容和结构，构建由若干个遥感元数据子集组成的元数据描述体系对遥感数据进行特征描述，实现遥感数据的预处理。3.根据权利要求2所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤A1具体为：基于地理编码格式的遥感元数据中的地理位置信息、波段信息、卫星重访周期和空间分辨率中的一种或多种信息作为多维特征对遥感数据进行多维特征描述；所述步骤A2中，采用统一建模语言和数据字典相结合的方式对遥感数据对应核心元数据的内容和结构进行描述；所述步骤A3中，通过元数据描述体系对遥感数据进行特征描述时的特征包括内容信息、数据质量信息、引用信息、标识信息、联系信息、分发信息和空间参考信息。4.根据权利要求1所述的基于分片模式的遥感数据管理方法，其特征在于，所述步骤S3具体为：S31、通过分布式数据中心将接收到的遥感数据块移交至数据库服务器中，并基于分片分配若干个用于存储遥感数据块的数据节点；S32、对用于存储遥感数据块的数据节点进行节点保护，形成对应的分布式集群；S33、将遥感数据块通过分片的方式存储在数据库服务器中的分...

【专利技术属性】
技术研发人员：王金林，程寅益，周可法，王珊珊，汪玮，周曙光，
申请(专利权)人：中国科学院新疆生态与地理研究所，
类型：发明
国别省市：