【技术实现步骤摘要】
本专利技术涉及分布式存储领域，特别涉及一种顾及空间特性的空间影像文件分布式存储方法及设备。
技术介绍
1、分布式存储是一种数据存储技术，目前分布式存储方法为：将被存储文件按照固定分块大小进行切片，然后通过某种算法采用并行写入方式分配到网络存储设备上；通过存储元数据库记录被存储文件与分块数据关系，记录分块存储地址信息等；读取数据时，借助存储元数据采用并行读取技术同时读取分块数据。通过并行读写，提高存储设备读写效率。例如一个10g的影像文件，按照50m进行切片，分布到200个存储节点，读写时均可以同时对200个节点并行操作，不考虑其他因素，理论上就可以提高200倍读写效率。但上述分布式存储技术也存在一些缺点，为了兼顾通用性，只是按照固定大小对文件进行分块，然后按照哈希、雪花等算法进行数据分布，并未顾及不同专业数据和应用的特殊性。
2、空间影像文件是一种具备空间覆盖范围、分辨率等特殊属性的数据，数据量一般非常巨大，而且数据量与空间覆盖范围、分辨率紧密相关，目前其应用的主要方式是基于wms和wmts标准的空间影像瓦片地图服务。利用免切片技术进行空间影像瓦片地图服务发布，瓦片是根据需求动态实时生成的，与需要预先切片的静态瓦片影像地图相比，它具备入库即发布、一套数据多样化服务、服务数据动态更新等优势，是空间影像地图服务的发展趋势。直接采用上述分布式存储技术应用于空间影像数据的管理和动态瓦片服务，由于数据分块大小、分布算法均未考虑空间范围及其相邻性这些空间特性，并行读取数据未考虑生成动态影像地图瓦片一般直接读取所需小部分数据，而不
3、1）如图1所示，按照上述分布式存储技术数据分块模式，一张影像被分成16个一样大小的块，依次顺序分布到1至4共4个节点（磁盘，以下均称为节点）的存储上。生成瓦片a时，如果按整个文件存储，或者分成4块（11、12、21、22一块，13、14、23、24一块，31、32、41、42一块，33、34、43、44一块），直接读取a覆盖范围的数据即可，只需进行一次读取，有效读取总次数（一次对多个节点进行的并行读取算一次有效读取次数，加上若干必要的非并行读取次数，等于有效读取总次数）为1。分成16块存储后，需要分别对13、14和23、24分块进行两次并行读取，然后再进行合并生成瓦片a，有效读取总次数多了1次，还多了三次检索和合并的操作。
4、2）如果存储节点只有4个，如下图2（a）、图2（b）所示。如图2（a）中，数据分布不考虑空间特性，仅仅平均分割按顺序存储到各个节点，瓦片a涉及的13、14分块存储在节点1上，23、24分块存储在节点2上，那么读取a所需数据只能在节点1、节点2上分别进行并行读取13、23和14、24，节点3、节点4未能发挥作用，有效读取总次数为2；如果考虑空间相邻性，如图2（b）中，分块尽量不存储到同一节点，13、14、23、24分块分别存储在4个不同节点上，只需在4个节点进行一次并行读取，就能读取到a所需的4个分块，有效读取总次数为1，减小一倍。如图2（c）所示，16个分块文件顺序存储在3个节点上，读取22、23、32、33四个分块组成的瓦片b，第一次只能在节点2、节点3上并行读取22、33分块，第二次和第三次只能两次都在节点2上读取23和32分块。一次并行读取，加上两次必要的单独读取，有效读取总次数为3，效率更低，节点2要进行三次读取，成为吞吐瓶颈。
5、瓦片属于数据量很小的碎片化信息，其读取效率与读取次数紧密相关，有效读取总次数是影响应用效率的最大因素，上述分布式存储技术可以并行读取，将需要在一个节点多次读取的操作，通过分散到多个节点并行读取，降低来提高数据读取效率。但对于空间影像服务这类非常依赖空间特性进行管理和查询、读取数据的应用，上述分布式存储技术有效读取总次数还可能有很多冗余，上述例子最坏情况下会比最优情况下有效读取总次数要大3倍，因此亟待进行减少有效读取总次数的改进。
技术实现思路
1、针对现有技术中存在的问题，提供了一种顾及空间特性的空间影像文件分布式存储方法及设备，通过考虑空间影像的空间特性，并应用到分布式存储当中，充分发挥分布式存储和并行读取的优势。
2、本专利技术第一方面提出了一种顾及空间特性的空间影像文件分布式存储方法，包括：
3、步骤1、根据待入库影像的空间覆盖范围判断其是否需要分块，若无需分块，进入步骤2；若需要分块，进入步骤3；
4、步骤2、根据待入库影像与已入库影像的空间相邻性，将待入库影像存储到相应分布式节点中；
5、步骤3、对待入库影像进行分块，根据影像分块之间、影像分块与已入库影像之间的空间相邻性，将影像分块存储到相应分布式节点中。
6、作为一种优选方案，所述步骤1中，判断是否需要分块的方法为：
7、根据待入库影像的空间覆盖范围计算其空间命中率；
8、若空间命中率小于预设阈值，则表示无需分块；若空间命中率大于或等于预设阈值，则表示需要分块；其中，预设阈值根据并发访问数和不同区域人类活动频繁度确定。
9、作为一种优选方案，所述空间命中率的计算方法为：空间命中率=权重因子*影像覆盖面积/总面积，其中，权重因子根据访问数和不同区域人类活动频繁度确定，总面积根据应用类型确定。
10、作为一种优选方案，所述步骤2的具体过程为：
11、步骤2.1、确定待入库影像覆盖范围和某节点上已入库影像覆盖范围；
12、步骤2.2、采用空间叠加分析法确定待入库影像与该节点上已入库影像之间的空间叠加范围；
13、步骤2.3、若空间叠加范围大于0，则表示待入库影像与该节点上已入库影像存在重叠，待入库影像不能存储到该节点；选择其他节点，进入步骤2.1；若空间叠加范围不大于0，则表示待入库影像与所选取节点已入库影像不存在重叠，完成待入库影像的存储。
14、作为一种优选方案，步骤3中，对待入库影像进行分块的方法为：
15、获取各个权重因子对应区域无需分块的最小影像范围面积；
16、根据最小影像范围面积与待入库影像的覆盖范围面积确定分块数量；
17、按面积等分的原则完成待入库影像的分块。
18、作为一种优选方案，所述最小影像范围面积计算方法为：
19、根据无需分块的空间命中率预设阈值、权重因子和总面积，计算得到各个权重因子区域无需分块的影像覆盖面积，即最小影像范围面积；其中，权重因子按大型城市区域、人口聚集区域、农业生产区域、人烟稀少区域分为四级；在基于服务的应用中，总面积为服务覆盖范围面积，在基于数据库的应用中，总面积为数据库覆盖范围面积。
20、作为一种优选方案，所述分块数量等于影像覆盖范围面积除以最小影像范围面积，并向上取整。
21、作为一种优选方案，所述步骤3中，根据影像分块之间、影像分块与已入库影像之间的空间相邻性，将影像分块存储到分布式节点中的具体过程为：<本文档来自技高网...
【技术保护点】
1.一种顾及空间特性的空间影像文件分布式存储方法，其特征在于，包括：
2.根据权利要求1所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述步骤1中，判断是否需要分块的方法为：
3.根据权利要求2所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述空间命中率的计算方法为：空间命中率=权重因子*影像覆盖面积/总面积，其中，权重因子根据并发访问数和不同区域人类活动频繁度确定。
4.根据权利要求1~3任一项所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述步骤2的具体过程为：
5.根据权利要求1~3任一项所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，步骤3中，对待入库影像进行分块的方法为：
6.根据权利要求5所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述最小影像范围面积计算方法为：
7.根据权利要求5所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述分块数量等于影像覆盖范围面积除以最小影像范围面积，并向上取整。
8.根据
9.根据权利要求1所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，还包括步骤4，重复步骤1~步骤3对所有待入库影像进行入库处理，完成所有影像的分布式数据库构建。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1~9中任一项所述的顾及空间特性的空间影像文件分布式存储方法。
...【技术特征摘要】
1.一种顾及空间特性的空间影像文件分布式存储方法，其特征在于，包括：
2.根据权利要求1所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述步骤1中，判断是否需要分块的方法为：
3.根据权利要求2所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述空间命中率的计算方法为：空间命中率=权重因子*影像覆盖面积/总面积，其中，权重因子根据并发访问数和不同区域人类活动频繁度确定。
4.根据权利要求1~3任一项所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，所述步骤2的具体过程为：
5.根据权利要求1~3任一项所述的顾及空间特性的空间影像文件分布式存储方法，其特征在于，步骤3中，对待入库影像进行分块的方法为：
6.根据权利要求5所述的顾及空间特性的空间影像文件分布式存储方法，...
【专利技术属性】
技术研发人员：杨军，任春雷，
申请(专利权)人：成都歧明通信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。