空间数据存储方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种空间数据存储方法、装置、计算机设备、存储介质和计算机程序产品。涉及计算机技术领域，可用于金融科技领域或其他相关领域，所述方法包括：获取遥感设备监测到的空间数据；遥感设备与金融系统通信连接；根据空间数据的经纬度坐标，将空间数据进行初步划分，将属于同一经纬度坐标范围内的空间数据划分到同一个网格中，得到对应的多个网格数据；按照多个网格数据之间的坐标邻近关系遍历多个网格数据，若当前网格数据的数据量大于当前存储节点的可存储数据量，则对所述当前网格数据进行至少一次再划分，将划分得到的子数据存储至所述当前存储节点或下一存储节点。采用本方法能够通过数据划分高效率地将空间数据分布式存储。布式存储。布式存储。

【技术实现步骤摘要】
空间数据存储方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，可用于金融科技领域或其他相关领域，特别是涉及一种空间数据存储方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]近年来空间数据的应用逐渐成熟，银行的金融系统会通过遥感数据对农田生长情况进行分析，对作物种植面积、作物长势和作物产量进行评估，并将评估结果作为农业相关的金融产品的辅助决策信息。而空间数据具有体量大的特征，遥感影像或车辆的轨迹数据等往往达到GB级，因此分布式存储成为海量空间数据存储的必然选择。
[0003]传统数据划分主要考虑数据的完整性和节点负载的均衡性。数据完整性是数据划分的基本要求，保证数据正确没有缺失。现有的分片方式一般对数据进行编码后，通过轮询或哈希算法的方式将数据均衡分配到各个节点。但是，传统的数据划分方法仅仅使用经纬度信息和二分法来对空间数据进行划分，存在空间数据在划分后调用空间子数据效率低的问题。
[0004]因此，如何通过数据划分高效率地将空间数据分布式存储，提升空间数据的输入或输出效率，是亟待解决的技术问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够提高存储效率的空间数据存储方法、装置、计算机设备、存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种空间数据存储方法。所述方法包括：
[0007]获取用于监测农作物的遥感设备监测到的空间数据；所述遥感设备与金融系统通信连接；
[0008]根据所述空间数据的经纬度坐标，将所述空间数据进行初步划分，将属于同一经纬度坐标范围内的空间数据划分到同一个网格中，得到所述空间数据对应的多个网格数据；
[0009]按照所述多个网格数据之间的坐标邻近关系遍历所述多个网格数据，若当前网格数据的数据量大于当前存储节点的可存储数据量，则对所述当前网格数据进行至少一次再划分，将划分得到的子数据存储至所述当前存储节点或下一存储节点；
[0010]其中，所述再划分采用空间编码模型、时间编码模型和语义编码模型中的至少一种划分模型，且所述空间编码模型、时间编码模型和语义编码模型被配置为不同的优先级；
[0011]其中，所述当前存储节点、所述下一存储节点各自的可存储数据量，在每执行一次数据存储后进行一次更新。
[0012]在其中一个实施例中，所述根据所述空间数据的经纬度坐标，将所述空间数据进行初步划分，将属于同一经纬度坐标范围内的空间数据划分到同一个网格中，得到所述空间数据对应的多个网格数据，包括：
[0013]利用基于二分法的空间编码方法，按照预设的编码位数，对所述空间数据的数据元对应的经纬度坐标编码，得到所述数据元对应的坐标编码值；其中，所述数据元是所述空间数据的基本单元数据；
[0014]将相同的所述坐标编码值对应的数据元合并为一个网格数据，得到多个网格数据。
[0015]在其中一个实施例中，所述空间编码模型的优先级最高；所述空间编码模型的划分结果的空间邻近度高于初步划分的划分结果的空间邻近度；
[0016]所述若当前网格数据的数据量大于当前存储节点的可存储数据量，则对所述当前网格数据进行至少一次再划分，将划分得到的子数据存储至所述当前存储节点或下一存储节点，包括：
[0017]获取优先级最高的空间编码模型，基于所述空间编码模型将所述当前网格数据划分为对应数量的子数据；
[0018]将划分得到的多个子数据作为待存储子数据，遍历所述待存储子数据，若遍历到的当前待存储子数据的数据量小于等于当前存储节点的可存储数据量，将所述当前待存储子数据存储至所述当前存储节点，若遍历到的当前待存储子数据的数据量大于当前存储节点的可存储数据量，确定是否对所述当前待存储子数据进行再划分；
[0019]在确定进行再划分的情况下，获取优先级次之的划分模型，采用所述优先级次之的划分模型将所述当前待存储子数据再划分，用划分得到的多个子数据更新所述待存储子数据，并返回执行遍历所述待存储子数据的步骤，直到确定不进行再划分时，将所述当前待存储子数据存储至下一存储节点；
[0020]其中，进行再划分的条件为：当前待存储子数据包含多个数据元且所述当前存储节点的可存储数据量不低于预设值。
[0021]在其中一个实施例中，所述遍历所述待存储子数据，包括：
[0022]获取得到所述待存储子数据所采用的目标划分模型；
[0023]根据所述目标划分模型对应的编码顺序，遍历所述待存储子数据；
[0024]其中，划分模型中的空间编码模型的编码顺序由划分得到的多个子数据之间的空间邻近关系确定；划分模型中的时间编码模型的编码顺序由划分得到的多个子数据之间的时间关系确定；划分模型中的语义编码模型的编码顺序由划分得到的多个子数据之间的语义关系确定。
[0025]在其中一个实施例中，所述获取优先级最高的空间编码模型，基于所述空间编码模型将所述当前网格数据划分为对应数量的子数据，包括：
[0026]利用基于希尔伯特曲线的空间编码方法，根据预设的编码阶数，将所述当前网格数据划分为所述编码阶数对应的数量的子数据；
[0027]根据希尔伯特曲线的编码顺序，将各个所述编码阶数对应的数量的子数据连接并进行编码，得到划分后的多个子数据。
[0028]在其中一个实施例中，所述获取优先级次之的划分模型，采用所述优先级次之的划分模型将所述当前待存储子数据再划分，包括：
[0029]在所述优先级次之的划分模型为时间编码模型的情况下，获取所述当前待存储子数据中同一时间段的子数据，得到多个时间段的子数据；
[0030]通过时间顺序，对多个时间段的子数据编码，得到所述当前待存储子数据划分后的多个子数据。
[0031]在其中一个实施例中，所述获取优先级次之的划分模型，采用所述优先级次之的划分模型将所述当前待存储子数据再划分，包括：
[0032]在所述优先级次之的划分模型为语义编码模型的情况下，获取所述当前待存储子数据中具有相同语义的子数据，得到多种语义的子数据；
[0033]根据所述语义编码模型对多种语义的子数据进行编码，得到所述当前待存储子数据划分后的多个子数据。
[0034]在其中一个实施例中，所述在确定进行再划分的情况下，获取优先级次之的划分模型，采用所述优先级次之的划分模型将所述当前待存储子数据再划分，包括：
[0035]在确定进行再划分的情况下，若优先级最低的划分模型已被采用过，则获取所述空间编码模型，采用所述空间编码模型对所述当前待存储子数据再划分。
[0036]在其中一个实施例中，所述按照所述多个网格数据之间的坐标邻近关系遍历所述多个网格数据后，还包括：
[0037]若当前网格数据的数据量小于等于当前存储节点的可存储数据量，将所述当前网格数据存储至所述当前存储节点。
[0038]在其中一个实施例中，所述按照所述多个网格数据之间的坐标邻近关系遍历所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间数据存储方法，其特征在于，所述方法包括：获取用于监测农作物的遥感设备监测到的空间数据；所述遥感设备与金融系统通信连接；根据所述空间数据的经纬度坐标，将所述空间数据进行初步划分，将属于同一经纬度坐标范围内的空间数据划分到同一个网格中，得到所述空间数据对应的多个网格数据；按照所述多个网格数据之间的坐标邻近关系遍历所述多个网格数据，若当前网格数据的数据量大于当前存储节点的可存储数据量，则对所述当前网格数据进行至少一次再划分，将划分得到的子数据存储至所述当前存储节点或下一存储节点；其中，所述再划分采用空间编码模型、时间编码模型和语义编码模型中的至少一种划分模型，且所述空间编码模型、时间编码模型和语义编码模型被配置为不同的优先级；其中，所述当前存储节点、所述下一存储节点各自的可存储数据量，在每执行一次数据存储后进行一次更新。2.根据权利要求1所述的方法，其特征在于，所述根据所述空间数据的经纬度坐标，将所述空间数据进行初步划分，将属于同一经纬度坐标范围内的空间数据划分到同一个网格中，得到所述空间数据对应的多个网格数据，包括：利用基于二分法的空间编码方法，按照预设的编码位数，对所述空间数据的数据元对应的经纬度坐标编码，得到所述数据元对应的坐标编码值；其中，所述数据元是所述空间数据的基本单元数据；将相同的所述坐标编码值对应的数据元合并为一个网格数据，得到多个网格数据。3.根据权利要求1所述的方法，其特征在于，所述空间编码模型的优先级最高；所述空间编码模型的划分结果的空间邻近度高于初步划分的划分结果的空间邻近度；所述若当前网格数据的数据量大于当前存储节点的可存储数据量，则对所述当前网格数据进行至少一次再划分，将划分得到的子数据存储至所述当前存储节点或下一存储节点，包括：获取优先级最高的空间编码模型，基于所述空间编码模型将所述当前网格数据划分为对应数量的子数据；将划分得到的多个子数据作为待存储子数据，遍历所述待存储子数据，若遍历到的当前待存储子数据的数据量小于等于当前存储节点的可存储数据量，将所述当前待存储子数据存储至所述当前存储节点，若遍历到的当前待存储子数据的数据量大于当前存储节点的可存储数据量，确定是否对所述当前待存储子数据进行再划分；在确定进行再划分的情况下，获取优先级次之的划分模型，采用所述优先级次之的划分模型将所述当前待存储子数据再划分，用划分得到的多个子数据更新所述待存储子数据，并返回执行遍历所述待存储子数据的步骤，直到确定不进行再划分时，将所述当前待存储子数据存储至下一存储节点；其中，进行再划分的条件为：当前待存储子数据包含多个数据元且所述当前存储节点的可存储数据量不低于预设值。4.根据权利要求3所述的方法，其特征在于，所述遍历所述待存储子数据，包括：获取得到所述待存储子数据所采用的目标划分模型；根据所述目标划分模型对应的编码顺序，遍历所述待存储子数据；
其中，划分模型中的空间编码模型的编码顺序由划分得到的多个子数据之间的空间邻近关系确定；划分模型中的时间编码模型的编码顺序由划分得到的多个子数据之间的时间关系确定；划分模型中的语义编码模型的编码顺序由划分得到的多个子数据之间的语义关系确定。5.根据权利要求3所述的方法，其特征在于，所述获取优先级最高的空间编码模型，基于所述空间编码模型将所述当前网格数据划分为对应数量的子数据，包括：利用基于希尔伯特曲线的空间编码方法，...

【专利技术属性】
技术研发人员：王旭，陈志金，蒋宏伟，李一樊，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：