元数据管理方法技术

本发明专利技术提供了一种元数据管理方法，包括：在元数据位置服务模块中获取元数据位置的信息；将元数据位置的信息传送给元数据服务模块；以及根据元数据位置的信息对元数据进行读写操作。本发明专利技术将元数据的管理划分为元数据位置管理层和元数据管理层，通过元数据位置管理层统一管理用户访问的元数据位置信息，然后元数据管理层根据元数据位置的信息将用户的访问请求分散到多个服务器上去执行，从而能够克服由于多个用户同时访问元数据存储系统所导致的系统响应时间长、反应慢、访问效率低等缺陷，因此，能够承受多个用户同时访问该存储系统所带来的访问压力，从而提高了系统性能。

【技术实现步骤摘要】
元数据管理方法
本专利技术一般地涉及计算机
，更具体地来说，涉及元数据管理方法。
技术介绍
随着科技的日异月新，文件数据的指数性增长给存储系统带来了巨大的挑战。与传统的SAN结构存储比较起来，分布式文件系统具有价格低廉、可扩展性强、性能优越等特性。作为通用的分布式文件系统，元数据的管理是需要重点关注的，因为元数据是管理数据的数据。根据访问特性，应用可分为两种形式：元数据非密集型和元数据密集型。元数据非密集型应用主要是大文件的访存，如视频监控、虚拟机应用等，这类应用集中于数据的访存，元数据访问的比例相对较低，因而对于元数据管理的压力较小；元数据密集型应用集中于小文件的访存，如数字图书馆、网上商城等，这类应用操作的文件量巨大，元数据的访问压力较大。当管理海量的小文件时，分布式文件系统需要面临着性能和存储容量的双重考验。在现有技术中，对于海量小文件的管理均存在一定的局限性。Lustre、GoogleFS、HDFS采用单一元数据服务节点架构，无法进行扩展，因此不论是在性能还是存储容量上都大大受限，不能很好地满足海量小文件管理的需求。GPFS采用多元数据，但是元数据服务器之间采用分布式锁来维持一致性，因此当元数据服务节点的数量较多时，分布式锁的开销会激增，对性能照成较大的负面影响。Panasas的存储系统采用多元数据服务器架构，但是每个元数据节点管理的命名空间是独立的，不能实现真正意义上的全局命名空间。Ceph采用动态子树的方式来在多个元数据节点之间平衡元数据访问负载，这种方式可以实现访问负载的均衡，但其不足之处在于元数据节点不能实现存储容量的动态扩展。因此，现有技术中的分布式文件系统不能同时满足巨大的应用操作的文件量和较大的元数据的访问压力方面的要求。
技术实现思路
针对现有技术中的存在分布式文件系统不能同时满足巨大的应用操作的文件量和较大的元数据的访问压力方面的要求的缺陷，本专利技术提供了能够解决上述缺陷的元数据管理方法。根据本专利技术的一方面，本专利技术提供了一种元数据管理方法，包括：在元数据位置服务模块中获取元数据位置的信息；将元数据位置的信息传送给元数据服务模块；以及根据元数据位置的信息对元数据进行读写操作。优选地，元数据位置为全局唯一标识ID，在元数据管理方法的步骤开始之前，进一步包括：建立所有全局唯一标识ID和元数据存储位置之间的一致性哈希映射关系，并将元数据存储位置作为元数据存储位置集合；将元数据存储位置集合划分为M个子集，其中，M为大于N的整数并且N为元数据存储节点的个数；将M个子集分配给N个元数据存储节点；以及根据一致性哈希映射关系，将具有全局唯一标识ID的元数据存储在与M个子集相对应的N个元数据存储节点上。优选地，当N个元数据存储节点的存储空间不足时，在线添加扩展元数据存储节点，并且将存储在N个元数据存储节点上的M个子集的一部分转存至扩展元数据存储节点上。优选地，元数据位置服务模块位于一个或多个存储节点组上，每个存储节点组都包括一个主存储节点和一个从存储节点，并且主存储节点和从存储节点互为镜像存储节点。优选地，当一个或多个存储节点组的存储空间不足时，以存储节点组为单位在线添加扩展存储节点组，并且将后续要写入的元数据的元数据位置的信息存储在扩展存储节点组上。优选地，在实施元数据管理方法的步骤之前，进一步包括：通过客户端向元数据位置服务模块发送元数据操作请求，其中，元数据操作请求包括：查询请求和存储请求。优选地，当元数据操作请求为查询请求时，根据查询请求，在元数据位置服务模块中查找到元数据的全局唯一标识ID；将全局唯一标识ID传送给元数据服务模块；以及根据全局唯一标识ID的一致性哈希映射查找到存储元数据的元数据存储节点，从元数据存储节点读取元数据并反馈给客户端。优选地，当元数据操作请求为存储请求时，根据存储请求，由元数据位置服务模块提供元数据的全局唯一标识ID；将全局唯一标识ID和元数据传送给元数据服务模块；以及根据全局唯一标识ID的一致性哈希映射查找到要存储元数据的元数据存储节点，并将元数据存储在元数据存储节点中。优选地，元数据服务模块用于管理包括文件的基本属性、用户数据存储位置信息以及文件扩展属性的元数据。优选地，元数据位置服务模块用于管理元数据位置信息和文件系统的目录树结构。利用本专利技术的技术方案能够克服现有技术的缺陷，通过将文件系统的元数据管理划分为元数据位置管理层和元数据管理层，这样能够解决多个用户同时访问海量小文件的压力，而且这种元数据管理方法便于在线扩展元数据位置存储节点和元数据存储节点，从而便于动态增大存储容量。因此能够满足巨大的应用操作的文件量和较大的元数据的访问压力方面的要求。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。在附图中：图1为根据本专利技术的实施例的元数据管理方法的整体流程图；图2为根据本专利技术的实施例的元数据管理方法的存储方法的具体实例的示图；图3为根据本专利技术的实施例在实施元数据管理方法之前，建立元数据存储结构的方法的步骤的流程图；图4为本专利技术的可选实施例的建立的部分元数据存储节点的示图；图5为根据本专利技术的实施例的元数据管理方法的查询方法的具体流程的示图；以及图6为根据本专利技术的实施例的元数据管理方法的存储方法的具体流程图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1为根据本专利技术的实施例的元数据管理方法的整体流程图。参考图1，元数据管理方法100包括以下步骤。在步骤S102中，在元数据位置服务模块中获取元数据位置的信息。具体地，客户端接收到来自用户的数据请求以后，首先将接收到的数据请求传送给元数据位置服务模块，并且在元数据位置服务模块中获取元数据位置信息。在步骤S104中，将元数据位置的信息传送给元数据服务模块。具体地，元数据位置服务模块将获得的元数据位置的信息传送给元数据服务模块。在步骤S106中，根据元数据位置的信息对元数据进行读写操作。具体地，元数据服务模块在接收到元数据位置的信息以后，根据该元数据位置的信息对该元数据进行读操作或写操作。本专利技术的实施例的元数据管理方法将元数据的管理划分为元数据位置管理层和元数据管理层，通过元数据位置管理层统一管理用户访问的元数据位置信息，然后元数据管理层根据元数据位置的信息将用户的访问请求分散到多个服务器上去执行，从而能够克服由于多个用户同时访问元数据存储系统所导致的系统响应时间长、反应慢、访问效率低等缺陷，因此，能够承受多个用户同时访问该存储系统所带来的访问压力，从而提高了系统性能。本专利技术中对文件系统元数据管理采取分层管理，共分为两层：第一层为元数据位置管理层，第二层为元数据管理层。元数据位置管理层用于管理文件元数据所在的元数据存储节点位置信息和文件系统的目录树结构。具体地，元数据位置管理层(即，元数据位置服务模块)向用户的数据请求接收层提供各个文件的具体元数据本文档来自技高网...

【技术保护点】
一种元数据管理方法，其特征在于，包括：在元数据位置服务模块中获取元数据位置的信息；将所述元数据位置的信息传送给元数据服务模块；以及根据所述元数据位置的信息对元数据进行读写操作。

【技术特征摘要】
1.一种元数据管理方法，其特征在于，包括：在元数据位置服务模块中获取元数据位置的信息；将所述元数据位置的信息传送给元数据服务模块；以及根据所述元数据位置的信息对元数据进行读写操作；在实施所述元数据管理方法的步骤之前，进一步包括：通过客户端向所述元数据位置服务模块发送元数据操作请求，其中，所述元数据操作请求包括：查询请求和存储请求；其中，所述元数据位置为全局唯一标识ID，在所述元数据管理方法的步骤开始之前，进一步包括：建立所有全局唯一标识ID和元数据存储位置之间的一致性哈希映射关系，并将所述元数据存储位置作为元数据存储位置集合；将所述元数据存储位置集合划分为M个子集，其中，M为大于N的整数并且N为元数据存储节点的个数；将所述M个子集分配给N个元数据存储节点；以及根据所述一致性哈希映射关系，将具有所述全局唯一标识ID的元数据存储在与所述M个子集相对应的所述N个元数据存储节点上；当所述N个元数据存储节点的存储空间不足时，在线添加扩展元数据存储节点，并且将存储在所述N个元数据存储节点上的M个子集的一部分转存至所述扩展元数据存储节点上；其次，将所述元数据位置服务模块中的存储请求和访问请求进行分离。2.根据权利要求1所述的元数据管理方法，其特征在于，所述元数据位置服务模块位于一个或多个存储节点组上，每个存储节点组都包括一个主存储节点和一个从存储节点，并且所述主存储节点和所述从存储节点互为镜像存储节点。3.根...

【专利技术属性】
技术研发人员：杨浩，马照云，马振杰，苗艳超，刘新春，邵宗有，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：