通过条带式文件系统中的容量平衡进行数据分布技术方案

一种数据分布技术被配置成在条带式文件系统中提供容量平衡。当新节点被添加到条带式卷集中时，演进条带化表以容纳新添加的节点。描述性地，集群的每个节点与将例如，该节点可用的处理器速度、处理器数量、硬件配置和/或软件纳入考虑的容量值相关联。在条带化表的演进过程中，该技术如此在节点间分配SVS的条带使得根据每个节点的容量值将它们最优地分配给各节点。通过利用包括容量值的演进式条带化表，可在条带式卷集中将异构节点利用到最大容量，由此减少未被充分利用的处理资源。

【技术实现步骤摘要】
【国外来华专利技术】相关申请本申请有关现于2005年9月1日公开的，美国公开号为US2005-0192932的、Richard Jernigan等人的、标题为“STORAGE SYSTEM ARCHITECTURE FOR STRIPING DATA CONTAINER CONTENT ACROSS VOLUMES OF A CLUSTER(用于跨集群的卷条带化数据容器内容的存储系统架构)”、2005年4月29日提交的、申请序列号为11/119,278的美国专利申请，其内容通过引用结合于此。
本专利技术涉及条带式文件系统，尤其涉及跨条带式文件系统的多个节点的容量平衡。
技术介绍
存储系统通常包括一个或多个存储器件，根据需要，可向所述存储器件中输入信息并从其中获得信息。存储系统包括存储操作系统，该存储操作系统通过尤其是调用存储操作来功能性地组织该系统以支持该系统所实现的存储服务。存储系统可按照各种存储架构实现，所述存储架构包括但不限于，网络连接存储(NAS)环境、存储区域网络(SAN)和直接连接到客户机或主机计算机的磁盘组件。存储器件通常是组织为磁盘阵列的磁盘驱动器，其中术语“磁盘”通常描述自包含旋转式磁介质存储器件。在本上下文中术语磁盘与硬盘驱动器(HDD)或直接访问存储器件(DASD)同义。应当注意，在替代实施例中，存储器件可包括固态器件，例如闪存、电池备份非易失性随机存取存储器等。因此，尽管此描述按照磁盘来撰写，然而那些实施例应当仅被视为示例性的。存储系统的存储操作系统可实现高级别模块，诸如文件系统，以将存储在卷上的信息逻辑地管理为诸如文件和逻辑单元的数据容器的分层结构。例如，每个“磁盘上”文件可被实现为被配置成存储信息(诸如文件的实际数据)的数据结构(即，磁盘块)的组。这些数据块被组织在由文件系统维护的卷块号(vbn)空间中。文件系统还可向文件中的每个数据块分配相应的“文件偏移量”或文件块号(fbn)。文件系统通常以每文件为基础分配fbn的序列，而vbn是在更大的卷地址空间上分配的。文件系统将vbn空间内的数据块组织为“逻辑卷”；每个逻辑卷可以与其自己的文件系统相关联，尽管不必然如此。已知的文件系统类型是不复写磁盘上的数据的任意位置写入(write-anywhere)文件系统。如果数据块被从磁盘取回(读取)到存储系统的存储器中并用新数据而“变无效”(即，更新或修改)，则该数据块此后被存储(写入)到磁盘上的新位置以优化写入性能。任意位置写入文件系统在开始时可假定一种最优布局，使得数据被基本上连接地布置在磁盘上。该最优磁盘布局带来针对磁盘的高效的访问操作，尤其是对于顺序读取操作。被配置成在存储系统上操作的任意位置写入文件系统的示例是可从加利福尼亚州桑尼维尔市的NetApp公司获得的任意位置写入文件布局(WAFL)文件系统。该存储系统还可被配置成根据客户机/服务器信息传递模型来操作以由此允许许多客户机访问存储在该系统上的数据容器。在此模型中，客户机可包括在通过计算机网络“连接”到该存储系统的计算机上执行的应用(诸如数据库应用)，该计算机网络诸如是点到点链路、共享局域网(LAN)、广域网、或在诸如因特网的公共网络上实现的虚拟专用网络(VPN)。每个客户机可通过经由网络向系统发出基于文件和基于块的协议消息(以包的形式)来请求该存储系统的服务。多个存储系统可互连以提供被配置成服务许多客户机的存储系统环境。每个存储系统可被配置成服务一个或多个卷，其中每个卷存储一个或多个数据容器。然而通常客户机所发出的大量的数据访问请求会被定向到由该环境的特定存储系统服务的少量的数据服务。对这一问题的一种解决方案是在环境的所有存储系统之间分布由该特定存储系统服务的卷。这进而在所有存储系统间分布了数据访问请求以及服务这些请求所需的处理资源，从而减少了每个存储系统上的各自的处理负载。然而，当该存储系统环境的客户机重度访问仅单个数据容器(诸如文件)时，出现显著的不足。因此，视图服务定向到该数据容器的请求的存储系统可能超出其处理资源并变得负担过重，并伴随着速度和性能的降级。一种克服具有被重度利用的单个数据容器的不足的技术是跨被配置成条带式卷集的多个卷来条带化数据容器，其中每个卷由不同的存储系统服务，从而在多个存储系统间分布单个数据容器的负载。在上面结合的标题为“STORAGE SYSTEM ARCHITECTURE FOR STRIPING DATA CONTAINER CONTENT ACROSS VOLUMES OF A CLUSTER(用于跨集群的卷来条带化数据容器内容的存储系统架构)”的公开号为US2005-0192932的美国专利申请中描述了一种用于数据容器条带化的技术。通常，当条带式卷集被首次生成时，服务该条带式卷集的组成卷的组成节点中的每个组成节点利用相同的或类似的生成技术。即，每个节点通常包括相同或基本相同的硬件和/或软件配置。因此，节点可被视为同构的，因为每个都彼此基本相同。当在后来的时间点处扩展条带化卷集且针对新添加的节点顾客使用更晚(较新)产生的硬件和/或软件时，这样的系统的显著不足出现了。因为新添加的节点利用最新的硬件和/或软件，与集群的原始节点相比它们通常具有额外的计算能力。更一般地，当形成任意异构集群时，即，当集群的节点利用具有明显不同的功能和/或处理器能力的系统时，这个问题会是明显的。在这样的异构系统中，通常等量地利用每个节点来进行条带化操作。当更晚生成的节点会有更多的处理器能力未被充分利用或未被利用时，该明显不足出现了。使用新的和/或更快的节点的优点因此被浪费，因为它们实际上就像它们与集群的能力最差的节点(即，原始节点)相似地被利用。为了避免处理能力的这种浪费，用户必须确保所有节点是同构型的。例如，这可以通过购买较老的节点或用更新的型号取代较老的节点来实现。这两种解决方案都不是最优的，并且提高了集群式存储器的总持有成本。
技术实现思路
通过提供被配置成在条带式文件系统中提供容量平衡的数据分布技术，本专利技术克服了现有技术的不足。条带式卷集与一组条带化规则相关联，该条带化规则包括可以被实现的条带化数据结构，例如作为标识卷的有序列表和数据被条带化到其的相关联的节点的条带化表。集群的每个节点包括适于服务SVC的卷的磁盘元素和适于将数据访问请求重定向到集群的任何解模块(de-module)的网络元素。将...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2009.04.30 US 12/4330891.一种用于在支持条带式文件系统的集群化计算机系统中进行
容量平衡的方法，包括：
分配与被组织成所述集群化计算机系统的多个节点中的每个节
点相关联的容量值以支持所述条带式文件系统；
通过在所述多个节点中的一个节点的处理器上执行的卷条带化
模块，迭代调整节点在条带化数据结构内的出现数量，以基于与每个
节点相关联的容量值来生成经容量平衡的条带化数据结构；以及
响应于数据访问请求，利用所述经容量平衡的条带化数据结构来
在所述条带式文件系统中执行数据分配。
2.如权利要求1所述的方法，其中每个节点与其容量值除以所述
多个节点的所有容量值的和大致成比例地出现在所述条带化数据结
构中。
3.如权利要求1所述的方法，还包括利用半静态分布技术来迭代
调整节点在所述条带化数据结构内出现的数量。
4.如权利要求1所述的方法，还包括在所述条带式文件系统上执
行重新条带化操作以利用所述经容量平衡的条带化数据结构。
5.如权利要求1所述的方法，还包括使用所述节点的处理器速度
来确定节点的容量值。
6.如权利要求1所述的方法，其中所述多个节点与不同容量值相
关联。
7.如权利要求1所述的方法，还包括实现所述条带式文件系统的
条带式卷集，其中所述条带式卷集包括每个卷被存储在所述多个节点
中的一个节点上的多个卷。
8.如权利要求1所述的方法，还包括将演进后的条带化数据结构
存储到卷位置数据库中，所述卷位置数据库能够从所述多个节点中的
每一个节点访问。
9.如权利要求1所述的方法，其中数据分配包括根据所述经容量
平衡的条带化数据结构来跨所述多个节点分布数据。
10.一种用于生成经容量平衡的条带化数据结构以在支持条带式
文件系统的集群化计算机系统中使用的方法，包括：
分配与被组织成所述集群化计算机系统的多个节点中的每个节
点相关联的容量值以支持所述条带式文件系统，其中所述容量值反映
与所述多个节点中的其他节点相比与节点相关联的处理速度的确定；
通过在所述多个节点中的一个节点的处理器上执行的卷条带化
模块，迭代调整节点在条带化数据结构中的出现的数量以基于与每个
节点相关联的容量值生成所述经容量平衡的条带化数据结构，其中所
述经容量平衡的条带化数据结构与所述节点的容量值除以所述集群
化计算机系统中的所有节点的容量值的和成比例地包含每个节点；以
及
通过所述卷条带化模块，利用所述经容量平衡的条带化数据结构
来在所述集群化计算机系统的节点间分配数据。
11.一种系统，包括：
节点组，每个节点包括处理器，所述节点被组织成被配...

【专利技术属性】
技术研发人员：R·P·杰尔尼根四世，
申请(专利权)人：网络存储技术公司，
类型：发明
国别省市：