一种空间数据管理方法、系统及计算机可读存储介质技术方案

本申请涉及一种空间数据管理方法、系统及计算机可读存储介质，其方法包括：获取对象文件生成请求；根据对象文件生成请求生成对象文件及索引文件，对象文件为文件系统的连续存储空间；当空间数据需要写入文件系统时，获取空间数据的小文件对应的元数据信息及小文件内容；将元数据信息及小文件内容写入对象文件；将元数据信息写入至索引文件，并生成定位信息，定位信息用于在索引文件中定位元数据信息，元数据信息用于在对象文件中定位小文件内容。容。容。

【技术实现步骤摘要】
一种空间数据管理方法、系统及计算机可读存储介质


[0001]本申请涉及数据存储和处理领域，尤其是涉及一种空间数据管理方法、系统及计算机可读存储介质。

技术介绍

[0002]目前，空间数据是由许多类小文件组成的，如矢量数据业界通常的采用.gdb格式或者.shp格式或者其他种类格式，这些格式大部分包含多个小文件，又如地图瓦片，由许多文件大小在几KB到几十KB之间不等小文件组成。相关技术通常将这些由小文件组成的空间数据直接存放至操作系统自带的文件系统，虽然具有操作简便的优点，但是会产生以下三个问题：一是导致过多的索引节点（inode），inode是文件的元数据信息，包括了文件的字节数、权限、文件块数量等信息，每个文件在都在磁盘上保存一个inode，在相同的容量下，小文件相较于大文件会产生大量的inode，海量小文件会达到文件系统的inode的上限，导致文件检索性能较低、极端情况下会造成无法继续写入文件。
[0003]二是形成磁盘碎片，大量的小文件没有存储在连续的磁盘空间，会导致非常多的磁盘碎片，这些不连续的磁盘存储会导致在读取小文件时，磁头耗费大量的时间在寻址定位，文件读写速度会大幅度降低。
[0004]三是导致存储空间膨胀，以Windows文件系统为例，磁盘管理的最小单元为簇（block），比如簇的最小空间为4KB，那么即便是1KB的文件也占用了4KB的硬盘空间，5KB则占用了8KB的硬盘空间，Linux等其他操作原理类似，因此小文件存储会导致磁盘占用空间膨胀。
[0005]基于以上3个问题，相关技术会导致操作系统对海量空间数据的小文件管理能力有限，数据容量有限、写入和读取效率极低。

技术实现思路

[0006]为了有助于提高空间数据的小文件的读写效率及管理能力，本申请提供了一种空间数据管理方法、系统及计算机可读存储介质。
[0007]第一方面，本申请提供一种空间数据管理方法，采用如下的技术方案：一种空间数据管理方法，包括：接收文件写入请求，生成存放数据的对象文件；根据所述文件写入请求，将空间数据写入对象文件及生成索引文件，所述对象文件为文件系统的连续存储空间；当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的元数据信息及小文件内容；将所述元数据信息及所述小文件内容写入所述对象文件；将所述元数据信息写入至所述索引文件，并生成定位信息，所述定位信息用于在
所述索引文件中定位所述元数据信息，所述元数据信息用于在所述对象文件中定位所述小文件内容。
[0008]通过采用上述技术方案，在进行空间数据写入之前，先按照对象文件生产请求生产对象文件及索引文件，对象文件是文件系统的磁盘空间中的一个连续存储空间，当空间数据需要写入文件系统时，获取空间数据的小文件对应的元数据信息及小文件内容，将元数据信息及小文件内容写入对象文件，将元数据信息写入至索引文件，并生成定位信息，从而在定位信息和小文件内容之间建立索引关联关系，相比于相关技术，由于小文件集中存储在连续存储空间的对象文件，使得海量小文件存储不会产生大量索引节点，不会形成磁盘碎片，不会导致磁盘占用空间膨胀，进而提高了空间数据的小文件的读写效率及管理能力。
[0009]可选的，所述获取所述空间数据的小文件对应的元数据信息及小文件内容，包括：当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的小文件内容，所述小文件的数量至少为一个；根据所述小文件内容确定内容字节数；根据所述内容字节数及预设元数据字节数，确定写入字节数；判断所述对象文件的剩余存储空间是否满足所述写入字节数；若满足，则确定起始字节位；根据所述起始字节位及所述写入字节数，生成元数据信息；若不满足，则不将所述空间数据写入至所述文件系统。
[0010]通过采用上述技术方案，小文件的实际内容是小文件内容，确定小文件内容的内容字节数，而与小文件对应的元数据信息，也需要进行保存，并且具有固定的字节数，根据内容字节数和预设元数据字节数，得到的写入字节数，就是存储小文件需要的存储空间，判断对象文件的剩余存储空间满足时，确定存储的起始字节位和写入字节数，生成元数据信息。元数据信息的生成确保了小文件内容的定位准确，并且对象文件的剩余存储空间的判断，保证了小文件能够写入到对象文件。
[0011]可选的，所述将所述元数据信息及所述小文件内容写入所述对象文件之后，还包括：当所述元数据信息及所述小文件内容写入所述对象文件时，记录所述元数据信息及所述小文件内容的写入过程是否发生异常；若所述元数据信息及所述小文件内容的写入过程无异常，则将所述元数据信息写入至所述索引文件，并生成定位信息；若所述元数据信息及所述小文件内容的写入过程发生异常，则报告第一异常信息。
[0012]通过采用上述技术方案，在小文件进行写入的过程中，记录写入过程是否发生异常，没有异常时将元数据信息写入索引文件，并生成定位信息，发生异常，则报告第一异常信息，以提示元数据信息及小文件内容的写入过程中发生异常，需要进行处理。增加了小文件写入过程的异常检查，保证了写入过程的正确性。
[0013]可选的，所述将所述元数据信息写入至所述索引文件，并生成定位信息，包括：将所述元数据信息写入至所述索引文件；
记录所述元数据信息的写入过程是否发生异常；若所述元数据信息的写入过程无异常，则生成定位信息，所述定位信息用于在所述索引文件中定位所述元数据信息；若所述元数据信息的写入过程发生异常，则报告第二异常信息。
[0014]通过采用上述技术方案，将元数据信息写入到索引文件时，记录写入过程是否发生异常，没有异常，生成定位信息，发生异常，生成第二异常信息，以提示元数据信息的写入过程中发生异常，需要进行处理。增加了元数据信息写入索引文件过程的异常检查，保证了写入过程的正确性。
[0015]可选的，所述方法还包括：当需要从所述对象文件中读取目标小文件时，获取所述目标小文件对应的定位信息；根据所述定位信息从所述索引文件中读取对应的元数据信息；解析所述元数据信息得到起始字节位及写入字节数；根据所述起始字节位及所述写入字节数从所述对象文件中读取得到所述目标小文件。
[0016]通过采用上述技术方案，在需要从对象文件中读取目标小文件时，按照目标小文件对应的定位信息，从索引文件中读取对应的元数据信息，按照元数据信息确定目标小文件写入对象文件时的起始字节位和写入字节数，从而能够简单的读取到目标小文件，不需要耗费时间寻址定位。
[0017]可选的，所述元数据信息还包括信息处理项，所述信息处理项用于表示所述小文件内容在所述对象文件中是否删除，所述方法还包括：将所述元数据信息的信息处理项标记为删除，并同步修改所述对象文件中的所述元数据信息，使得所述小文件内容实现软删除。
[0018]通过采用上述技术方案，元数据信息中除了起始字节位及写入字节数之外，还包括信息处理项，信息处理项用于表示小文件内容在对象文件中是否删除，先将元数据信息的信息处理项标记为删除，并且同步修改对象文件中的元数据信息，使得小文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间数据管理方法，其特征在于，所述方法包括：获取对象文件生成请求；根据所述对象文件生成请求生成对象文件及索引文件，所述对象文件为文件系统的连续存储空间；当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的元数据信息及小文件内容；将所述元数据信息及所述小文件内容写入所述对象文件；将所述元数据信息写入至所述索引文件，并生成定位信息，所述定位信息用于在所述索引文件中定位所述元数据信息，所述元数据信息用于在所述对象文件中定位所述小文件内容。2.根据权利要求1所述的空间数据管理方法，其特征在于，所述获取所述空间数据的小文件对应的元数据信息及小文件内容，包括：当空间数据需要写入所述文件系统时，获取所述空间数据的小文件对应的小文件内容，所述小文件的数量至少为一个；根据所述小文件内容确定内容字节数；根据所述内容字节数及预设元数据字节数，确定写入字节数；判断所述对象文件的剩余存储空间是否满足所述写入字节数；若满足，则确定起始字节位；根据所述起始字节位及所述写入字节数，生成元数据信息；若不满足，则不将所述空间数据写入至所述文件系统。3.根据权利要求2所述的空间数据管理方法，其特征在于，所述将所述元数据信息及所述小文件内容写入所述对象文件之后，还包括：当所述元数据信息及所述小文件内容写入所述对象文件时，记录所述元数据信息及所述小文件内容的写入过程是否发生异常；若所述元数据信息及所述小文件内容的写入过程无异常，则将所述元数据信息写入至所述索引文件，并生成定位信息；若所述元数据信息及所述小文件内容的写入过程发生异常，则报告第一异常信息。4.根据权利要求3所述的空间数据管理方法，其特征在于，所述将所述元数据信息写入至所述索引文件，并生成定位信息，包括：将所述元数据信息写入至所述索引文件；记录所述元数据信息的写入过程是否发生异常；若所述元数据信息的写入过程无异常，则生成定位信息，所述定位信息用于在所述索引文件中定位所述元数据信息；若所述元数据信息的写入过程发生异常，则报告第二异常信息。5.根据权利要求4所述的空间数据...

【专利技术属性】
技术研发人员：肖海，雷双友，廖莎，胡恬，全思湘，张泰，伏镭，
申请(专利权)人：湖南省第二测绘院，
类型：发明
国别省市：