元数据管理方法和装置制造方法及图纸

本发明专利技术提供一种元数据管理方法和装置，其中方法包括：获取将迁移的负载信息；查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中；将所述目标子树整体迁移。本发明专利技术提高了文件系统的元数据管理效率。

【技术实现步骤摘要】
【国外来华专利技术】元数据管理方法和装置
本专利技术涉及存储技术，尤其涉及一种元数据管理方法和装置。
技术介绍
集群文件系统是对集群中包括的多台机器的文件进行统一管理的系统，该文件系统对多台机器提供统一的存储空间称为名字空间，该名字空间用于存储集群中的各台机器中的文件的存放路径；例如，文件a的存放路径是C/aa/c/a(其中的C/aa/c可以称为目录)；元数据包括所述的用于表示文件存放路径的信息。名字空间被分割为多份，每份分配给集群中的一台机器，用于存储对应机器中的元数据；假设在某台机器中的C目录下的空间存储了两个文件路径，分别为C/aa/c/a和C/bb/d，则可以将C/aa/c/a称为一个子树，C/bb/d也称为一个子树，aa/c/a也可以称为一个子树，即子树实际上也是元数据，只是根据元数据中的目录或文件之间的层次连接关系设定的形象称谓。在集群的运行过程中，文件会被用户的应用所访问，文件的访问量可以用负载表示，某台机器的文件访问量越大该机器的负载较高。为了使得集群中的各机器的负载均衡，现有技术会在某台机器的负载较重时，将该机器的一部分负载迁移到另一台机器上(实际是文件的迁移)；相应的，该机器的元数据也要随着负载的移动进行更新，将与迁移负载对应的子树也迁移到另一台机器，即负载迁移其对应的元数据也会迁移，元数据的分布发生了改变。但是，在为了负载均衡而进行的负载迁移和子树迁移中，会使得元数据在集群中的分布较为零散，有可能出现的情况是，假设用户要将某个文件从一个目录迁移到另一个目录下时，而这两个目录分别位于不同的机器上，造成对元数据的分布管理就要进行跨机器操作，即将元数据从一个机器发送到另一台机器，从而导致文件系统在用户进行文件操作时相应进行的元数据分布管理的效率较低，影响集群对用户应用的访问性能。
技术实现思路
本专利技术提供一种元数据管理方法和装置，以提高文件系统的元数据管理效率。第一方面，提供一种元数据管理方法，包括：获取将迁移的负载信息；查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中；将所述目标子树整体迁移。结合第一方面，在第一种可能的实现方式中，所述子树标志标识的根目录的子树中包括业务访问操作范围的最小单元对应的元数据。结合第一方面，在第二种可能的实现方式中，所述子树标志标识的根目录的子树中包括在预设时间段内访问频度达到预设阈值的元数据。结合第一方面，在第三种可能的实现方式中，在查找元数据中的目录的目录属性之前，还包括：在根目录的目录属性具有子树标志的至少两个子树中，选择具有相同负载变化趋势的多个子树作为一个并发组，并将所述并发组中的每个子树的根目录的目录属性中设置并发组标志；所述选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有及子树标志的目录为目标目录，包括：选择目录属性中不仅包括所述负载信息且具有子树标志，还包括所述并发组标志的目录作为所述目标目录。结合第一方面的第一种可能的实现方式至第三种可能的实现方式中的任意一种，在第四种可能的实现方式中，所述选择目录属性中不仅包括所述负载信息、以及子树标志，还包括所述并发组标志的目录作为所述目标目录，包括：从包括子树数量最多的并发组中，选择目录属性中不仅包括所述负载信息、以及子树标志，还包括所述并发组标志的目录作为所述目标目录。结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述目录属性是接收用户通过应用程序编程接口API设置的属性，所述属性包括所述子树标志和并发组标志。第二方面，提供一种元数据管理装置，包括：负载确定单元，用于获取将迁移的负载信息；子树查找单元，用于查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中；子树迁移单元，用于将所述目标子树整体迁移。结合第二方面，在第一种可能的实现方式中，所述子树标志标识的根目录的子树中包括业务访问操作范围的最小单元对应的元数据。结合第二方面，在第二种可能的实现方式中，所述子树标志标识的根目录的子树中包括在预设时间段内访问频度达到预设阈值的元数据。结合第二方面，在第三种可能的实现方式中，还包括：属性设置单元，用于在所述子树查找单元查找元数据中的目录的目录属性之前，在根目录的目录属性具有子树标志的至少两个子树中，选择具有相同负载变化趋势的多个子树作为一个并发组，并将所述并发组中的每个子树的根目录的目录属性中设置并发组标志；所述子树查找单元，具体用于查找元数据中的目录的目录属性，选择目录属性中不仅包括所述负载信息且具有子树标志，还包括所述并发组标志的目录作为所述目标目录确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中。结合第二方面的第一种可能的实现方式至第三种可能的实现方式中的任意一种，在第四种可能的实现方式中，所述子树查找单元，具体用于从包括子树数量最多的并发组中，选择目录属性中不仅包括所述负载信息、以及子树标志，还包括所述并发组标志的目录作为所述目标目录。结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，还包括：属性获取单元，用于接收用户通过应用程序编程接口API设置的属性，所述属性包括所述子树标志和并发组标志。第三方面，提供一种用于元数据管理的计算节点，所述计算节点包括：处理器、通信接口、存储器和总线；其中，所述处理器、通信接口和存储器通过所述总线完成相互间的通信；所述通信接口，用于所述元数据管理的计算节点接收程序；所述处理器，用于执行程序；所述存储器，用于存放程序；所述处理器执行所述程序使得所述元数据管理的计算节点执行上述任一方法。本专利技术提供的元数据管理方法和装置的技术效果是：通过在目录属性中设置子树标志，并将以具有子树标志的目录为根目录的所有子树作为将迁移的目标子树整体迁移，相对于现有技术中的元数据分散的迁移方式，能够有效减少跨MDS的元数据操作，节省了跨MDS时不同MDS之间信息传输的时间，元数据分布管理的效率得到提高。附图说明图1为本专利技术元数据管理方法实施例应用的文件系统的元数据分布图；图2为本专利技术元数据管理方法一实施例的流程示意图；图3为本专利技术元数据管理方法另一实施例的流程示意图；图4为本专利技术元数据管理方法另一实施例的文件系统元数据分布图；图5为本专利技术元数据管理方法实施例的MDS集群整体性能对比图表一；图6为本专利技术元数据管理方法实施例的MDS集群整体性能对比图表二；图7为本专利技术元数据管理方法实施例的改进前的MDS集群负载分布图表；图8为本专利技术元数据管理方法实施例的改进后的MDS集群负载分布图表；图9为本专利技术元数据管理装置一实施例的结构示意图；图10为本专利技术元数据管理装置另一实施例的结构示意图；图11为本专利技术元数据管理的计算节点实施例的结构示意图。具体实施方式为了使得本专利技术实施例的元数据管理方法更加容易理解，首先结合图1，对本专利技术实施本文档来自技高网...

【技术保护点】
一种元数据管理方法，其特征在于，包括：获取将迁移的负载信息；查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中；将所述目标子树整体迁移。

【技术特征摘要】
【国外来华专利技术】1.一种元数据管理方法，其特征在于，包括：获取将迁移的负载信息；查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所述目标目录为根目录的所有子树作为将迁移的目标子树；所述子树标志预先设置在被所述子树标志标识出的根目录的目录属性中；将所述目标子树整体迁移；其中，所述子树标志是用于表示以所述目标目录为根目录的所有子树仅能以整体方式迁移。2.根据权利要求1所述的元数据管理方法，其特征在于，所述子树标志标识的根目录的子树中包括业务访问操作范围的最小单元对应的元数据。3.根据权利要求1所述的元数据管理方法，其特征在于，所述子树标志标识的根目录的子树中包括在预设时间段内访问频度达到预设阈值的元数据。4.根据权利要求1所述的元数据管理方法，其特征在于，在查找元数据中的目录的目录属性之前，还包括：在根目录的目录属性具有子树标志的至少两个子树中，选择具有相同负载变化趋势的多个子树作为一个并发组，并将所述并发组中的每个子树的根目录的目录属性中设置并发组标志；所述选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，包括：选择目录属性中不仅包括所述负载信息且具有子树标志，还包括所述并发组标志的目录作为所述目标目录。5.根据权利要求4所述的元数据管理方法，其特征在于，所述选择目录属性中不仅包括所述负载信息且具有子树标志，还包括所述并发组标志的目录作为所述目标目录，包括：从包括子树数量最多的并发组中，选择目录属性中不仅包括所述负载信息、以及子树标志，还包括所述并发组标志的目录作为所述目标目录。6.根据权利要求4所述的元数据管理方法，其特征在于，所述目录属性是接收用户通过应用程序编程接口API设置的属性，所述属性包括所述子树标志和并发组标志。7.一种元数据管理装置，其特征在于，包括：负载确定单元，用于获取将迁移的负载信息；子树查找单元，用于查找元数据中的目录的目录属性，选择目录属性中包括与所述将迁移的负载信息相匹配的负载信息且具有子树标志的目录为目标目录，确定以所...

【专利技术属性】
技术研发人员：过晓春，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44