基于分布式的文件存储方法、系统、介质和计算设备技术方案

本发明专利技术的实施方式提供了一种基于分布式的文件存储方法、系统、介质和计算设备。该方法包括：将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部；对所述待存储数据文件进行提取，得到所述待存储数据文件对应的待存储元数据文件；将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部。本发明专利技术是应用于列式文件存储系统的，能够在列式文件存储系统的基础上，基于列式文件存储系统对体量较小的待存储数据文件/待存储元数据文件进行追加存储，过程中不会出现大量的体量更小的小文件，因此无需考虑存储大量的小文件，简化了列式文件存储系统的存储过程，提升了在列式文件存储系统中访问存储文件的速度。存储文件的速度。存储文件的速度。

【技术实现步骤摘要】
基于分布式的文件存储方法、系统、介质和计算设备


[0001]本专利技术的实施方式涉及计算机
，更具体地，本专利技术的实施方式涉及一种基于分布式的文件存储方法、系统、介质和计算设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]随着科学技术的进步，各行各业纷纷开始向信息化转型，数据的总量正在几何级数增长。面对数据的大爆炸，分布式存储成为现代信息存储的必然选择。目前，在以Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)为代表的分布式文件存储
中，广泛使用HDFS高效处理各类大文件。然而，在实践中发现，HDFS存储文件的过程中会出现海量的小文件，会占用大量的内存资源，导致了访问存储文件的速度降低。

技术实现思路

[0004]在本上下文中，本专利技术的实施方式期望提供一种基于分布式的文件存储方法、系统、介质和计算设备。
[0005]在本专利技术实施方式的第一方面中，提供了一种基于分布式的文件存储方法，应用于列式文件存储系统，包括：
[0006]将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部；
[0007]对所述待存储数据文件进行提取，得到所述待存储数据文件对应的待存储元数据文件；
[0008]将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部。
[0009]在本专利技术实施方式的第二方面中，提供了一种基于分布式的文件存储系统，所述文件存储系统为列式文件存储系统，包括：
[0010]数据存储单元，用于将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部；
[0011]提取单元，用于对所述待存储数据文件进行提取，得到所述待存储数据文件对应的待存储元数据文件；
[0012]元数据存储单元，用于将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部。
[0013]在本专利技术实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
[0014]在本专利技术实施方式的第四方面中，提供了一种计算设备，包括第三方面所述的存储介质。
[0015]根据本专利技术实施方式的基于分布式的文件存储方法、系统、介质和计算设备，该方法是应用于列式文件存储系统的，能够将待存储数据文件存储至数据存储文件尾部，并从待存储数据文件中提取出待存储元数据文件，将待存储元数据文件存储至元数据存储文件尾部，通过上述方式可以在列式文件存储系统的基础上在数据存储文件/元数据存储文件尾部追加待存储数据文件/待存储元数据文件，可以将体量较小的待存储数据文件/待存储元数据文件追加存储至体量较大的数据存储文件/元数据存储文件中，以使数据存储文件/元数据存储文件根据追加的待存储数据文件/待存储元数据文件形成体量更大的存储文件，可见，基于列式文件存储系统对体量较小的待存储数据文件/待存储元数据文件进行追加存储的过程中不会出现大量的体量更小的小文件，因此无需考虑存储大量的小文件，简化了列式文件存储系统的存储过程，提升了在列式文件存储系统中访问存储文件的速度。
附图说明
[0016]通过参考附图阅读下文的详细描述，本专利技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本专利技术的若干实施方式，其中：
[0017]图1为本专利技术一实施例提供的基于分布式的文件存储方法的流程示意图；
[0018]图2为本专利技术另一实施例提供的基于分布式的文件存储方法的流程示意图；
[0019]图3为本专利技术一实施例提供的基于分布式的文件存储方法中的逻辑文件结构示意图；
[0020]图4为本专利技术一实施例提供的基于分布式的文件存储方法中的数据存储文件结构示意图；
[0021]图5为本专利技术一实施例提供的基于分布式的文件存储方法中元数据存储文件的头部元数据文件的结构示意图；
[0022]图6为本专利技术一实施例提供的基于分布式的文件存储方法中元数据存储文件的追加元数据文件的结构示意图；
[0023]图7为本专利技术一实施例提供的基于分布式的文件存储系统的结构示意图；
[0024]图8示意性地示出了本专利技术实施例的一种介质的结构示意图；
[0025]图9示意性地示出了本专利技术实施例的一种计算设备的结构示意图。
[0026]在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0027]下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何方式限制本专利技术的范围。相反，提供这些实施方式是为了使本专利技术更加透彻和完整，并且能够将本专利技术的范围完整地传达给本领域的技术人员。
[0028]本领域技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本专利技术可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0029]根据本专利技术的实施方式，提出了一种基于分布式的文件存储方法、系统、介质和计
算设备。
[0030]在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
[0031]下面参考本专利技术的若干代表性实施方式，详细阐释本专利技术的原理和精神。
[0032]示例性方法
[0033]下面参考图1，图1为本专利技术一实施例提供的基于分布式的文件存储方法的流程示意图。需要注意的是，本专利技术的实施方式可以应用于适用的任何场景。
[0034]图1所示的本专利技术一实施例提供的基于分布式的文件存储方法的流程，包括：
[0035]步骤S101，将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部；
[0036]步骤S102，对所述待存储数据文件进行提取，得到所述待存储数据文件对应的待存储元数据文件；
[0037]步骤S103，将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部。
[0038]本实施例是应用于列式文件存储系统的，能够将待存储数据文件存储至数据存储文件尾部，并从待存储数据文件中提取出待存储元数据文件，将待存储元数据文件存储至元数据存储文件尾部，通过上述方式可以在列式文件存储系统的基础上在数据存储文件/元数据存储文件尾部追加待存储数据文件/待存储元数据文件，可以将体量较小的待存储数据文件/待存储元数据文件追加存储至体量较大的数据存储文件/元数据存储文件中，以使数据存储文件/元数据存储文件根据追加的待存储数据文件/待存储元数据文件形成体量更大的存储文件，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式的文件存储方法，应用于列式文件存储系统，包括：将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部；对所述待存储数据文件进行提取，得到所述待存储数据文件对应的待存储元数据文件；将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部。2.根据权利要求1所述的基于分布式的文件存储方法，将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部之后，所述方法还包括：将所述待存储数据文件的数据存储信息存储至逻辑文件中；以及，将所述待存储元数据文件存储至与所述待存储元数据文件匹配的元数据存储文件尾部之后，所述方法还包括：将所述待存储元数据文件的元数据存储信息存储至所述逻辑文件中。3.根据权利要求2所述的基于分布式的文件存储方法，所述逻辑文件中包括但不限于标识文件和主体文件；所述主体文件中包括但不限于时间标签、元数据标签、元数据操作信息、数据标签以及数据操作信息。4.根据权利要求2所述的基于分布式的文件存储方法，将待存储数据文件存储至与所述待存储数据文件匹配的数据存储文件尾部，包括：当预先存储有与待存储数据文件匹配的数据文件时，从存储所述数据文件的数据存储文件中获取尾部数据文件；将所述待存储数据文件在所述尾部数据文件之后存储。5.根据权利要求4所述的基于分布式的文件存储方法，当未存储有与待存储数据文件匹配的数据文件时，所述方法还包括：创建数据存储文件；将所述待存储数据文...

【专利技术属性】
技术研发人员：李志鹏，韩世思，王继军，方亮，徐旭辉，刘炜，
申请(专利权)人：全程上海智能科技有限公司，
类型：发明
国别省市：