基于分级存储的小文件处理方法、系统、终端及介质技术方案

本发明专利技术公开了基于分级存储的小文件处理方法、系统、终端及介质，涉及文件存储技术领域，其技术方案要点是：从固态硬盘中选取待迁移的批量小文件；将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的数据结构表。本发明专利技术在提高迁移数据流写入机械硬盘的速度时，不破坏初始各个小文件的文件结构，在小文件读取过程中，使得迁移后的小文件可直接读取，无需进行拆分操作，整个读取过程操作简单。整个读取过程操作简单。整个读取过程操作简单。

【技术实现步骤摘要】
基于分级存储的小文件处理方法、系统、终端及介质


[0001]本专利技术涉及文件存储
，更具体地说，它涉及基于分级存储的小文件处理方法、系统、终端及介质。

技术介绍

[0002]硬盘有机械硬盘(HDD)和固态硬盘(SSD)之分。机械硬盘的顺序读写性能较好，随机读写性能差，价格低。固态硬盘顺序与随机读写性能都比较好，价格高。由于机械硬盘与固态硬盘存在的差别，在数据存储领域，分级存储一种较为常见的技术。
[0003]分级存储的方法主要是将热点数据存储在性能更高的固态硬盘中，将不怎么访问的数据存储在机械硬盘中，一般通过数据迁移管理来做控制。利用固态硬盘的数据随机写入性能好的优势，也会将随机写入的数据，如小文件，优先写入固态硬盘中，从而满足小文件写入的高性能需求。而在持续的业务压力下，即往固态硬盘空间写入小文件的速度大于从固态存储空间向机械硬盘空间迁移数据的速度，固态硬盘空间将耗尽，在这之后就只能对外提供机械硬盘性能的小文件存入服务。
[0004]然而，由于机械硬盘的随机写入性能比固态硬盘更差，不做特殊处理则无法保证迁移速度。现有技术中有通过将小文件聚合成大文件，再将大文件写入机械硬盘中，以此提高迁移速度。但是，现有的小文件聚合成大文件的方案会破坏原来的文件组织结构，在从机械硬盘中读取文件时，需要先将大文件读取后，再将大文件拆分成小文件进行读取，读取后剩余的文件再存储，读取效率低，过程复杂。因此，如何研究设计一种能够克服上述缺陷的基于分级存储的小文件处理方法、系统、终端及介质是我们目前急需解决的问题。r/>
技术实现思路

[0005]为解决现有技术中的不足，本专利技术的目的是提供基于分级存储的小文件处理方法、系统、终端及介质，在提高迁移数据流写入机械硬盘的速度时，不破坏初始各个小文件的文件结构，在小文件读取过程中，使得迁移后的小文件可直接读取，无需进行拆分操作，整个读取过程操作简单。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：第一方面，提供了基于分级存储的小文件处理方法，包括以下步骤：从固态硬盘中选取待迁移的批量小文件；将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的数据结构表。
[0007]进一步的，所述批量小文件的选取过程具体为：以同一目录中的文件作为单次迁移的目标文件；
以目标文件的最近访问时间作为有效访问时间，并以目标文件在预设时间内访问次数之和作为有效访问次数；若有效访问次数为0，则根据有效访问时间的远近对目标文件进行排序，并从有效访问时间最远的目标文件开始迁移。
[0008]进一步的，所述批量小文件的选取过程具体为：以同一目录中的文件作为单次迁移的目标文件；以目标文件在预设时间内访问次数之和作为有效访问次数；若有效访问次数不为0，则根据有效访问次数的大小对目标文件进行排序，并从有效访问次数最小的目标文件开始迁移。
[0009]进一步的，所述迁移数据流的形成过程具体为：实时采集机械硬盘的性能利用率；依据性能利用率的分布范围确定批量小文件的迁移粒度和延迟重启时间。
[0010]进一步的，若所述性能利用率小于第一阈值，则以第一数据量作为单次迁移的迁移粒度；若所述性能利用率大于或等于第一阈值，且小于或等于第二阈值，则以第二数据量作为单次迁移的迁移粒度，第二数据量小于第一数据量；若所述性能利用率大于第二阈值，则控制机械硬盘睡眠延迟重启时间后重新采集性能利用率。
[0011]进一步的，所述第一阈值的取值范围为50%
‑
60%，第二阈值的取值范围为80%
‑
90%；所述第一数据量的大小为64MB，第二数据量的大小为32MB。
[0012]进一步的，所述迁移数据流的顺序写入过程具体为：文件系统中的记录单元依据写入接口输入的元数据数量配置连续存放的元数据空间；在迁移数据流连续写入机械硬盘时，元数据同步写入相应的元数据空间。
[0013]第二方面，提供了基于分级存储的小文件处理系统，包括：文件选取模块，用于从固态硬盘中选取待迁移的批量小文件；文件处理模块，用于将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；文件写入模块，用于将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；数据更新模块，用于依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的数据结构表。
[0014]第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于分级存储的小文件处理方法。
[0015]第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于分级存储的小文件处理方法。
[0016]与现有技术相比，本专利技术具有以下有益效果：1、本专利技术提供的基于分级存储的小文件处理方法，将批量小文件中的各个小文件
以数据流的方式拼接形成迁移数据流，并将各个小文件的元数据聚合处理，不同于现有的文件数据和元数据一起聚合处理，在提高迁移数据流写入机械硬盘的速度时，不破坏初始各个小文件的文件结构，在小文件读取过程中，使得迁移后的小文件可直接读取，无需进行拆分操作，整个读取过程操作简单；2、本专利技术以同一目录中的文件作为单次迁移的目标文件，有效提高了迁移数据流中的小文件被同时访问的可能性，迁移数据流在机械硬盘上连续存储，可以提高文件读取性能；此外，迁移任务的最后，要修改被迁移数据流所属目录的数据，选择同一个目录能够极大减少修改目录数据的工作量；3、本专利技术考虑了机械硬盘的实时性能利用率，能够自适应控制迁移操作的时间节点和迁移量，能够使得机械硬盘的写入速度保持相对稳定。
附图说明
[0017]此处所说明的附图用来提供对本专利技术实施例的进一步理解，构成本申请的一部分，并不构成对本专利技术实施例的限定。在附图中：图1是本专利技术实施例中的流程图；图2是本专利技术实施例中的系统框图。
具体实施方式
[0018]为使本专利技术的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本专利技术作进一步的详细说明，本专利技术的示意性实施方式及其说明仅用于解释本专利技术，并不作为对本专利技术的限定。
[0019]实施例1：基于分级存储的小文件处理方法，如图1所示，包括以下步骤：S1：从固态硬盘中选取待迁移的批量小文件；S2：将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；S3：将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；迁移完成后的小文件独立存储；S4：依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分级存储的小文件处理方法，其特征是，包括以下步骤：从固态硬盘中选取待迁移的批量小文件；将批量小文件中的各个小文件以数据流的方式拼接形成至少一个迁移数据流，并将各个小文件的元数据聚合成与迁移数据流对应的聚合元数据；将迁移数据流顺序写入在机械硬盘上所创建文件系统的连续空间中；依据聚合元数据对固态硬盘中的数据结构表进行更新，得到迁移后的数据结构表。2.根据权利要求1所述的基于分级存储的小文件处理方法，其特征是，所述批量小文件的选取过程具体为：以同一目录中的文件作为单次迁移的目标文件；以目标文件的最近访问时间作为有效访问时间，并以目标文件在预设时间内访问次数之和作为有效访问次数；若有效访问次数为0，则根据有效访问时间的远近对目标文件进行排序，并从有效访问时间最远的目标文件开始迁移。3.根据权利要求1所述的基于分级存储的小文件处理方法，其特征是，所述批量小文件的选取过程具体为：以同一目录中的文件作为单次迁移的目标文件；以目标文件在预设时间内访问次数之和作为有效访问次数；若有效访问次数不为0，则根据有效访问次数的大小对目标文件进行排序，并从有效访问次数最小的目标文件开始迁移。4.根据权利要求1所述的基于分级存储的小文件处理方法，其特征是，所述迁移数据流的形成过程具体为：实时采集机械硬盘的性能利用率；依据性能利用率的分布范围确定批量小文件的迁移粒度和延迟重启时间。5.根据权利要求4所述的基于分级存储的小文件处理方法，其特征是，若所述性能利用率小于第一阈值，则以第一数据量作为单次迁移的迁移粒度；若所述性能利用率大于或等于第一阈值，且小于或等于第二阈值，则以第二数据量作为单次迁移的迁移粒度，第二数据量小于第...

【专利技术属性】
技术研发人员：乐阳，
申请(专利权)人：成都泛联智存科技有限公司，
类型：发明
国别省市：