基于优先级的存储数据生命周期的管理方法与装置制造方法及图纸

本发明专利技术提供了一种基于优先级的存储数据生命周期的管理方法与装置。该方法包括：将需要执行的至少一条迁移策略与文件系统中的i node进行绑定，i node对应于分布式文件系统中的目录或文件；根据与之绑定的i node，执行对应的迁移策略。本发明专利技术提供的基于优先级的存储数据生命周期的管理方法与装置能够实现策略与目录的灵活绑定。与目录的灵活绑定。与目录的灵活绑定。

【技术实现步骤摘要】
基于优先级的存储数据生命周期的管理方法与装置


[0001]本专利技术涉及数据存储
，特别是涉及一种基于优先级的存储数据生命周期的管理方法与装置。

技术介绍

[0002]在分布式文件系统的数据存储领域，文件作为数据存储的基本单位，具有多种元数据特征，如(文件所属用户，文件访问时间等)，有些文件需要有更高的数据冗余级别(比如3副本)。
[0003]存储策略：是指根据文件的某些特征(比如文件owner，文件访问时间，文件后缀等)，设置一系列的条件，将符合这些条件的文件，归为一类，存储到特定存储区域中。
[0004]存储区域：是指具有不同数据冗余级别，以及由不同性能，可用性以及可靠性的一组存储介质构成的集合。
[0005]数据分级：是指根据存储策略，对文件进行分区域存储，某一类文件均存储在同一个区域，方便对同一类文件进行管理。
[0006]数据迁移：是指因为文件的某些属性是可以改变的比如(所属用户，修改时间，访问时间等)。根据这些文件属性构成的策略，可以周期性的将文件迁移到特定存储区域中。
[0007]一条策略往往无法满足用户的多场景下的多样数据管理的需求，所以需要多条策略，为了控制多条策略的执行顺序，所以需要策略的优先级这一概念。
[0008]为了满足不同用户不同场景下的针对文件的数据管理需求，所以需要提供这种针对多用户的多策略的数据管理方法与装置。
[0009]中国专利申请CN103605728A公开了一种数据分级存储方法及系统。该技术方案主要介绍了：一种数据分级存储方法与系统。由预设放置策略与迁移策略，放置模块与迁移模块构成。数据分级的基本单位为文件(也就是inode)，每个inode绑定了一个存储设备等级标识符。其中的放置策略与迁移策略是和分级存储设备挂载点绑定在一起的。分级存储设备挂载点是指：分级存储设备的挂载点(挂载目录)。通过客户自定义的放置与迁移策略，放置与迁移模块，将inode与存储设备进行绑定，来实现数据的分级存储。
[0010]该技术方案有如下的缺点：
[0011]1.其中的放置策略与迁移策略，与分级存储设备挂载点的绑定是：策略
‑
>分级存储设备挂载点。这在一个策略对应一个分级存储设备挂载点的情况下可以，但是当出现多个放置策略与迁移策略对应一个分级存储挂载点时，将无法解决策略的优先级问题。
[0012]2.这里将放置策略与迁移策略，定义为2个策略，不合理，因为彼此都是实现同样的功能，将特定文件迁移到目标存储设备中。应该统一定义为迁移策略。只是该迁移策略同时具有文件初始化放置功能和文件迁移功能。
[0013]3.该放置策略与迁移策略是与分级存储设备挂载点绑定的，这种设计不合理。
[0014]4.其中迁移过程中，对于大文件的迁移或者迁移文件时，失败的处理没有进行优化。

技术实现思路

[0015]本专利技术要解决的技术问题是提供一种基于优先级的存储数据生命周期的管理方法与装置，能够实现策略与目录的灵活绑定。
[0016]为解决上述技术问题，本专利技术提供了一种基于优先级的存储数据生命周期的管理方法，所述方法包括：将需要执行的至少一条迁移策略与文件系统中的inode进行绑定，inode对应于分布式文件系统中的目录或文件；根据与之绑定的inode，执行对应的迁移策略。
[0017]在一些实施方式中，根据与之绑定的inode，执行对应的迁移策略，包括：根据迁移策略，判断该文件是否符合迁移策略，若符合则进行迁移；在当前目录下，新建一个空文件，将其文件inode的storeid设置为迁移策略的storeid；复制原文件的内容和元数据信息到新建文件中；重命名新建文件名称为原文件名称。
[0018]在一些实施方式中，根据与之绑定的inode，执行对应的迁移策略，还包括：当文件迁移失败时，需要记录失败文件的名字，以及数据失败的偏移量，并将这些数据记录到key
‑
value数据库中。
[0019]在一些实施方式中，还包括：将设置了策略的目录inode id作为key，其目录迁移状态作为value，构成了一个键值对，保存在一个key
‑
value数据库中进行记录。
[0020]在一些实施方式中，当多个迁移任务需要访问key
‑
value数据库时，在访问的key
‑
value数据库上设置互斥锁。
[0021]在一些实施方式中，对于迁移策略隐藏的放置功能，具体实现在分布式文件系统的内部api中。
[0022]在一些实施方式中，放置功能的实现过程包括：在open_file接口，创建文件的时候，就会去获取目录的迁移策略，若上级目录没有，则会寻找上上级目录，直到找到含有迁移策略的目录；然后根据文件的元数据信息，与迁移策略进行对比，若符合该策略，则将文件的storeid设置为迁移策略的指定id。
[0023]此外，本专利技术还提供了一种基于优先级的存储数据生命周期的管理装置，所述装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的基于优先级的存储数据生命周期的管理方法。
[0024]采用这样的设计后，本专利技术至少具有以下优点：
[0025]1.实现策略与目录的灵活绑定，同时支持一个目录绑定多条迁移策略。
[0026]2.将放置功能融合到迁移策略中，实现功能整合。
[0027]3.多进程并发执行迁移策略，实现快速迁移，增加文件迁移失败处理机制。
附图说明
[0028]上述仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，以下结合附图与具体实施方式对本专利技术作进一步的详细说明。
[0029]图1是方法的流程示意图；
[0030]图2分布式文件系统的文件读写过程的流程示意图；
[0031]图3是迁移策略设置模块的流程示意图；
[0032]图4是文件放置功能的流程示意图；
[0033]图5是文件迁移功能的流程示意图。
具体实施方式
[0034]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0035]本专利技术提供一种基于优先级的存储数据生命周期的管理方法与装置。图1示出了方法的流程图。参见图1，所述方法具体包括如下的步骤：
[0036]S11，将需要执行的至少一条迁移策略与文件系统中的inode进行绑定，inode对应于分布式文件系统中的目录或文件。
[0037]S12，根据与之绑定的inode，执行对应的迁移策略。
[0038]通过上述方法流程的执行，本专利技术实现策略与目录的灵活绑定，同时支持一个目录绑定多条迁移策略。
[0039]该装置主要包括：分布式文件系统模块，存储区域标识模块，迁移策略设置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于优先级的存储数据生命周期的管理方法，其特征在于，包括：将需要执行的至少一条迁移策略与文件系统中的inode进行绑定，inode对应于分布式文件系统中的目录或文件；根据与之绑定的inode，执行对应的迁移策略。2.根据权利要求1所述的基于优先级的存储数据生命周期的管理方法，其特征在于，根据与之绑定的inode，执行对应的迁移策略，包括：根据迁移策略，判断该文件是否符合迁移策略，若符合则进行迁移；在当前目录下，新建一个空文件，将其文件inode的storeid设置为迁移策略的storeid；复制原文件的内容和元数据信息到新建文件中；重命名新建文件名称为原文件名称。3.根据权利要求2所述的基于优先级的存储数据生命周期的管理方法，其特征在于，根据与之绑定的inode，执行对应的迁移策略，还包括：当文件迁移失败时，需要记录失败文件的名字，以及数据失败的偏移量，并将这些数据记录到key
‑
value数据库中。4.根据权利要求3所述的基于优先级的存储数据生命周期的管理方法，其特征在于，还包括：将设置了策略的目录inode id作为key，其目录迁移状态作为value，构成了一个键值对，保存在一个key

【专利技术属性】
技术研发人员：金浩东，尹微，文中领，周泽湘，
申请(专利权)人：北京同有飞骥科技股份有限公司，
类型：发明
国别省市：