一种分布式对象存储系统的资源管理方法技术方案

本发明专利技术公开了一种分布式对象存储系统的资源管理方法，包括以下步骤：所述分布式对象存储系统将文件的存储路径属性与文件的元数据分离，存储路径属性包括文件所在的存储路径名称及相应的路径访问控制属性，文件的元数据包括文件名、创建时间、修改时间以及文件长度在内的访问属性；所述分布式对象存储系统包括存储路径索引服务器、元数据服务器和对象存储设备，其中，存储路径索引服务器为系统中所有存储路径建立索引项，每个索引项包括SPID和存储路径属性，其中，SPID是存储路径索引服务器为存储路径分配的一个全局唯一的存储路径ID；元数据服务器定位存储路径ID为SPID的存储路径对象所对应的对象存储设备。

【技术实现步骤摘要】
一种分布式对象存储系统的资源管理方法
本专利技术涉及云计算计算机数据分布式对象存储的领域，尤其涉及一种云计算环境下分布式对象存储系统的资源管理方法。
技术介绍
在云计算环境下，数据的存储是一个极其重要的问题。传统网络存储主要分为三种：直接附加存储(DirectAttachedStorage，DAS)、存储区域网(StorageAreaNetwork，SAN)和网络附加存储(NetworkAttachedStorage，NAS)。但是，DAS不适合大规模数据存储；而对于SAN和NAS，随着数据规模的增大，元数据服务器很容易成为整个系统的瓶颈。相对于传统存储系统，新型的分布式对象存储系统(Object-BasedStorage，OBS)能够很好地解决上述问题。OBS提供了一个带有NAS系统的传统的文件共享和管理特征的单系统映象(single-system-image)文件系统，并改进了SAN的资源整合和可扩展的性能。与传统面向块的逻辑单元不同，对象存储不提供对不相关的数据块的访问，它允许通过存储对象来访问相关的数据块。存储对象是一个虚拟实体，它是一个客户认为相关的一组数据，类似于平面文件系统中的大小不限的比特流文件，但对象又不同于文件，它只是有属性的比特序列。尽管对象既不同与数据块，也不同于文件，但可通过对象语义的定义来实现文件或数据块的输入/输出，因此，通过对象实现了文件输入/输出和数据块输入/输出的统一。对象存储的管理分两部分：服务器和对象存储目标端(Object-basedStorageTarget，OST)。服务器将所有存储目标端的存储空间虚拟为统一的存储空间，同时负责用户的命名空间的管理，在认证用户请求后，分配给其唯一的对象ID，并按一定的算法实现用户命名空间到存储空间的映射。OST负责与其相连的存储设备的管理，它没有对象命名空间，只有平面对象ID空间，OST根据对象ID在存储设备中分配存储空间或访问存储对象。对象存储通过信用保证所有操作的安全，信用包括允许客户的操作集和完整性编码。对每个操作简单提供信用，即使信用不加密，也能提供保护(由于完整性编码)，因为不可能偶然为一个操作提供一个可靠信用。为了提供安全，对信用的某些形式的加密保护是必要的。对象存储提供安全和保护是在对象级而不是整个卷级，因此允许不可信的客户位于存储网络中，并允许共享访问存储数据而不需访问整个卷的数据。由于客户不能直接访问定位元数据，可提供额外的保护，因为不可能有错误配置和蠕虫主机破坏定位元数据。此外，对象存储体系结构在每一个级别上都提供了安全性：存储系统对存储设备的认证；存储系统对计算节点的认证；存储系统对计算节点命令的认证；所有命令都经CRC(CyclicRedundancyCheck，循环冗余校验码)的完整性检查；数据和命令经由IP的私有性。这样的安全水平能给用户以信心，让他们可以更经济高效地管理并轻松地访问网络。因此，分布式对象存储是一种高性能的、安全的大规模数据存储技术。对象存储系统在大规模数据存储、性能、数据共享和可扩展性方面已经取得了很大的成就，并得到了业界的广泛认可。如Panasas公司是全球第一家OSD(Object-basedStorageDevice，对象存储设备)产品的提供商，同时提供面向对象的存储和并行文件系统。HP已经和开放源代码厂家Lustre文件系统合作，使用OSD作为HPStorageWork可扩展文件系统的重要部分。在分布式对象存储系统中，数据对象的所有操作都需要访问元数据，在一些极端情况下，系统对元数据的访问次数占据了大部分的数据访问时间，从而可能成为制约系统性能的瓶颈。所以，高效的元数据管理方法对整个存储系统提供高性能和高可伸缩性至关重要。同时，大规模分布式存储系统的存储容量往往是动态变化的，需要不断增加新的存储节点，淘汰旧的存储节点，高可伸缩性、高可管理性要求数据对象能够实现自适应的、均衡的分配，以保证数据对象在整个存储系统的分布总是负载均衡的。
技术实现思路
专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种分布式对象存储系统的资源管理方法，以分别实现高效的元数据组织、定位和访问控制，以及数据对象分配的动态负载均衡。为了解决上述技术问题，本专利技术公开了一种分布式对象存储系统的资源管理方法，所述分布式对象存储系统将文件的存储路径属性与文件的元数据分离，存储路径属性包括文件所在的存储路径名称及相应的路径访问控制属性，文件的元数据包括文件名、创建时间、修改时间以及文件长度在内的访问属性；所述分布式对象存储系统包括存储路径索引服务器、元数据服务器和对象存储设备，其中，存储路径索引服务器为系统中所有存储路径建立索引项，每个索引项包括SPID和存储路径属性，其中，SPID是存储路径索引服务器为存储路径分配的一个全局唯一的存储路径ID；元数据服务器定位存储路径ID为SPID的存储路径对象所对应的对象存储设备；所述分布式对象存储系统在存储路径索引服务器上建立SPID与元数据服务器的映射表，并将元数据服务器映射表分为主元数据服务器映射表和从元数据服务器映射表，其中主元数据服务器映射表是将SPID的散列值与元数据服务器映射，从映射表则是直接将SPID值与元数据服务器映射；所述分布式对象存储系统将SPID做为存储路径索引服务器中索引项的主关键字，根据SPID与元数据服务器的映射表定位文件元数据对应的不同的元数据服务器；元数据服务器根据文件名的散列值和存储路径对象的元数据信息计算文件元数据对应的桶对象，并在对象存储设备中确定该桶对象。本专利技术中，新建文件元数据包括以下步骤：步骤1：存储路径索引服务器获取文件的存储路径及相应的访问控制属性，并记录在索引项；步骤1a、存储路径索引服务器获取文件的存储路径及相应的路径访问控制属性；步骤1b、存储路径索引服务器检查存储路径访问控制属性，确认用户是否有新建文件元数据的权限；步骤1c、如果用户有新建文件元数据权限，则存储路径索引服务器将存储路径及相应的访问控制属性记录在索引项，否则结束；步骤2：存储路径索引服务器为存储路径分配SPID，并记录在索引项；步骤3：定位文件元数据对应的元数据服务器，将文件元数据存储到对应的对象存储设备上；步骤3a、在存储路径索引服务器上建立SPID与元数据服务器的映射表，其中主映射表是将SPID的散列值与元数据服务器映射，从映射表则是直接将SPID值与元数据服务器映射；步骤3b、根据SPID和元数据服务器映射表定位主元数据服务器和从元数据服务器；步骤3c、元数据服务器定位存储路径ID为SPID的存储路径对象所在的对象存储设备；步骤3d、将文件名转换成整数，根据它的散列值以及存储路径对象的元数据信息计算文件元数据对应的桶对象ID，根据桶对象ID在对象存储设备中确定该桶对象；步骤3e、将文件元数据存储到所述桶对象中。本专利技术中，访问文件元数据包括如下步骤：步骤4：将文件分解为存储路径和文件名两部分；步骤5：存储路径索引服务器获取存储路径的访问控制属性及其SPID步骤5a、客户端在本地缓存中查找是否有缓存项；步骤5b、如果没有，则客户端访问存储路径索引服务器，如果有，则客户端根据缓存项确定存储元数据的桶对象，直接访问元数据；步骤5c、本文档来自技高网...

【技术保护点】
一种分布式对象存储系统的资源管理方法，其特征在于，所述分布式对象存储系统将文件的存储路径属性与文件的元数据分离，存储路径属性包括文件所在的存储路径名称及相应的路径访问控制属性，文件的元数据包括文件名、创建时间、修改时间以及文件长度在内的访问属性；所述分布式对象存储系统包括存储路径索引服务器、元数据服务器和对象存储设备，其中，存储路径索引服务器为系统中所有存储路径建立索引项，每个索引项包括SPID和存储路径属性，其中，SPID是存储路径索引服务器为存储路径分配的一个全局唯一的存储路径ID；元数据服务器定位存储路径ID为SPID的存储路径对象所对应的对象存储设备；所述分布式对象存储系统在存储路径索引服务器上建立SPID与元数据服务器的映射表，并将元数据服务器映射表分为主元数据服务器映射表和从元数据服务器映射表，其中主元数据服务器映射表是将SPID的散列值与元数据服务器映射，从映射表则是直接将SPID值与元数据服务器映射；所述分布式对象存储系统将SPID做为存储路径索引服务器中索引项的主关键字，根据SPID与元数据服务器的映射表定位文件元数据对应的不同的元数据服务器；元数据服务器根据文件名的散列值和存储路径对象的元数据信息计算文件元数据对应的桶对象，并在对象存储设备中确定该桶对象。...

【技术特征摘要】
1.一种分布式对象存储系统的资源管理方法，其特征在于，所述分布式对象存储系统将文件的存储路径属性与文件的元数据分离，存储路径属性包括文件所在的存储路径名称及相应的路径访问控制属性，文件的元数据包括文件名、创建时间、修改时间以及文件长度在内的访问属性；所述分布式对象存储系统包括存储路径索引服务器、元数据服务器和对象存储设备，其中，存储路径索引服务器为系统中所有存储路径建立索引项，每个索引项包括SPID和存储路径属性，其中，SPID是存储路径索引服务器为存储路径分配的一个全局唯一的存储路径ID；元数据服务器定位存储路径ID为SPID的存储路径对象所对应的对象存储设备；所述分布式对象存储系统在存储路径索引服务器上建立SPID与元数据服务器的映射表，并将元数据服务器映射表分为主元数据服务器映射表和从元数据服务器映射表，其中主元数据服务器映射表是将SPID的散列值与元数据服务器映射，从映射表则是直接将SPID值与元数据服务器映射；所述分布式对象存储系统将SPID做为存储路径索引服务器中索引项的主关键字，根据SPID与元数据服务器的映射表定位文件元数据对应的不同的元数据服务器；元数据服务器根据文件名的散列值和存储路径对象的元数据信息计算文件元数据对应的桶对象，并在对象存储设备中确定该桶对象；新建文件元数据包括以下步骤：步骤1：存储路径索引服务器获取文件的存储路径及相应的访问控制属性，并记录在索引项；步骤1a、存储路径索引服务器获取文件的存储路径及相应的路径访问控制属性；步骤1b、存储路径索引服务器检查存储路径访问控制属性，确认用户是否有新建文件元数据的权限；步骤1c、如果用户有新建文件元数据权限，则存储路径索引服务器将存储路径及相应的访问控制属性记录在索引项，否则结束；步骤2：存储路径索引服务器为存储路径分配SPID，并记录在索引项；步骤3：定位文件元数据对应的元数据服务器，将文件元数据存储到对应的对象存储设备上；步骤3a、在存储路径索引服务器上建立SPID与元数据服务器的映射表，其中主映射表是将SPID的散列值与元数据服务器映射，从映射表则是直接将SPID值与元数据服务器映射；步骤3b、根据SPID和元数据服务器映射表定位主元数据服务器和从元数据服务器；步骤3c、元数据服务器定位存储路径ID为SPID的存储路径对象所在的...

【专利技术属性】
技术研发人员：张文健，房磊，朱晨鸣，张云帆，乔爱锋，乔长兵，
申请(专利权)人：江苏省邮电规划设计院有限责任公司，
类型：发明
国别省市：江苏;32