一种分布式文件系统的数据迁移方法及相关组件技术方案

本发明专利技术公开了一种分布式文件系统的数据迁移方法及相关组件，涉及分布式文件系统领域，包括获取分布式文件系统的快池中的每个目录下的每个文件的属性信息，并将属性信息以数据表的形式存储在数据库中以便通过数据表确定符合预设迁移条件的目标迁移文件，通过对比目标迁移文件与上次得到的历史目标迁移文件确定最终的待迁移文件，最后将快池中的待迁移文件迁移至分布式文件系统的慢池中，并且通过对比数据表确定目标迁移文件的速度比较快，因此能够加快将待迁移文件从快池迁移到慢池的速度。速度。速度。

【技术实现步骤摘要】
一种分布式文件系统的数据迁移方法及相关组件


[0001]本专利技术涉及分布式文件系统领域，特别是涉及一种分布式文件系统的数据迁移方法及相关组件。

技术介绍

[0002]数字化转型背景下，服务器中存储的数据不断增加，为了增加磁盘可用的空间，目前常采用分布式文件系统构建一个高性能、大容量且低价格的存储系统。分布式文件系统通常利用NVME SSD(Non
‑
Volatile Memory Express Solid State Disk，非易失性内存存储器标准固态硬盘驱动器)访问速度快的特点将其作为分布式文件系统的中的快池以存储用户经常使用的热数据，利用普通机械硬盘访问速度慢但是容量大的特点将其作为慢池以存储不经常被访问的冷数据。在使用分布式文件系统时，随着快池中存储的数据逐渐增加，需要将快池中的部分数据迁移到慢池中，因此如何加快数据从快池迁移到慢池以满足用户高速持续向快池写入数据的需求是非常重要的。

技术实现思路

[0003]本专利技术的目的是提供一种分布式文件系统的数据迁移方法及相关组件，能够加快将待迁移文件从快池迁移到慢池的速度。
[0004]为解决上述技术问题，本专利技术提供了一种分布式文件系统的数据迁移方法，包括：
[0005]获取分布式文件系统的快池中的每个目录下的每个文件的属性信息，并将所述属性信息以数据表的形式存储在数据库中；
[0006]通过所述数据表确定符合预设迁移条件的目标迁移文件；
[0007]通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件；
[0008]将所述待迁移文件迁移至所述分布式文件系统的慢池中。
[0009]优选的，在通过所述数据表确定符合预设迁移条件的目标迁移文件之后，还包括：
[0010]判断本次得到的所述数据表的表结构信息与上次得到的历史数据表的表结构信息是否一致；
[0011]若是，则进入通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件的步骤；
[0012]若否，则进入获取分布式文件系统的快池中的每个目录下的每个文件的属性信息的步骤。
[0013]优选的，通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件，包括：
[0014]对比所述目标迁移文件的列偏移量与所述历史目标迁移文件的列偏移量，以及所述本次目标迁移文件的行信息与所述历史目标迁移文件的行信息确定所述目标迁移文件中相较于所述历史目标迁移文件发生修改和增加的文件；
[0015]将所述目标迁移文件中相较于所述历史目标迁移文件发生修改和增加的文件作
为所述待迁移文件。
[0016]优选的，将所述待迁移文件迁移至所述分布式文件系统的慢池包括：
[0017]创建用于存储所述待迁移文件的临时文件；
[0018]将所述待迁移文件迁移至所述临时文件，并在迁移完成后检测所述临时文件中的内容与所述待迁移文件的内容是否一致；
[0019]若不一致，则判定迁移失败，并进入获取分布式文件系统的快池中的每个目录下的每个文件的属性信息的步骤；
[0020]若一致，则将所述临时文件更改为正式文件。
[0021]优选的，在将所述待迁移文件迁移至所述分布式文件系统的慢池中时，还包括：
[0022]确定用户向所述快池写入数据的写入速度；
[0023]若所述写入速度大于将所述待迁移文件从所述快池迁移到所述慢池的速度，则将所述用户写入的数据直接存储在所述慢池中。
[0024]优选的，将所述待迁移文件迁移至所述分布式文件系统的慢池中，包括：
[0025]将所述待迁移文件按照预设分发规则由主节点分发至多个从节点以便各个所述从节点同时将被分发至自身的待迁移文件由所述快池迁移到所述慢池。
[0026]本申请还提供了一种分布式文件系统的数据迁移系统，包括：
[0027]数据表存储单元，用于获取分布式文件系统的快池中的每个目录下的每个文件的属性信息，并将所述属性信息以数据表的形式存储在数据库中；
[0028]目标迁移文件确定单元，用于通过所述数据表确定符合预设迁移条件的目标迁移文件；
[0029]待迁移文件确定单元，用于通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件；
[0030]迁移单元，用于将所述待迁移文件迁移至所述分布式文件系统的慢池中。
[0031]本申请还提供了一种分布式文件系统的数据迁移装置，包括：
[0032]存储器，用于存储计算机程序；
[0033]处理器，用于执行所述计算机程序时实现上述分布式文件系统的数据迁移方法的步骤。
[0034]本申请还提供了一种分布式文件系统，包括上述的分布式文件系统的数据迁移装置，还包括用于存储数据的快池和慢池。
[0035]本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式文件系统的数据迁移方法的步骤。
[0036]综上，本专利技术提供了一种分布式文件系统的数据迁移方法及相关组件，包括获取分布式文件系统的快池中的每个目录下的每个文件的属性信息，并将属性信息以数据表的形式存储在数据库中以便通过数据表确定符合预设迁移条件的目标迁移文件，通过对比目标迁移文件与上次得到的历史目标迁移文件确定最终的待迁移文件，最后将快池中的待迁移文件迁移至分布式文件系统的慢池中，并且通过对比数据表确定目标迁移文件的速度比较快，因此能够加快将待迁移文件从快池迁移到慢池的速度。
附图说明
[0037]为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0038]图1为本专利技术提供的一种分布式文件系统的数据迁移方法的流程示意图；
[0039]图2为本专利技术提供的一种分布式文件系统的数据迁移系统的结构示意图；
[0040]图3为本专利技术提供的一种分布式文件系统的数据迁移装置的结构示意图；
[0041]图4为本专利技术提供的一种计算机可读存储介质的结构示意图。
具体实施方式
[0042]本专利技术的核心是提供一种分布式文件系统的数据迁移方法及相关组件，能够加快将待迁移文件从快池迁移到慢池的速度。
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0044]现有技术中在使用分布式文件系统时通常不会提供将数据从快池迁移到慢池的工具，即使将数据从快池迁移到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统的数据迁移方法，其特征在于，包括：获取分布式文件系统的快池中的每个目录下的每个文件的属性信息，并将所述属性信息以数据表的形式存储在数据库中；通过所述数据表确定符合预设迁移条件的目标迁移文件；通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件；将所述待迁移文件迁移至所述分布式文件系统的慢池中。2.如权利要求1所述的分布式文件系统的数据迁移方法，其特征在于，在通过所述数据表确定符合预设迁移条件的目标迁移文件之后，还包括：判断本次得到的所述数据表的表结构信息与上次得到的历史数据表的表结构信息是否一致；若是，则进入通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件的步骤；若否，则进入获取分布式文件系统的快池中的每个目录下的每个文件的属性信息的步骤。3.如权利要求1所述的分布式文件系统的数据迁移方法，其特征在于，通过对比所述目标迁移文件与上次得到的历史目标迁移文件确定待迁移文件，包括：对比所述目标迁移文件的列偏移量与所述历史目标迁移文件的列偏移量，以及所述本次目标迁移文件的行信息与所述历史目标迁移文件的行信息确定所述目标迁移文件中相较于所述历史目标迁移文件发生修改和增加的文件；将所述目标迁移文件中相较于所述历史目标迁移文件发生修改和增加的文件作为所述待迁移文件。4.如权利要求1所述的分布式文件系统的数据迁移方法，其特征在于，将所述待迁移文件迁移至所述分布式文件系统的慢池包括：创建用于存储所述待迁移文件的临时文件；将所述待迁移文件迁移至所述临时文件，并在迁移完成后检测所述临时文件中的内容与所述待迁移文件的内容是否一致；若不一致，则判定迁移失败，并进入获取分布式文件系统的快池中的每个目录下的每个文件的属性信息的步骤；若一致，...

【专利技术属性】
技术研发人员：王传义，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：