当前位置: 首页 > 专利查询>威睿公司专利>正文

计算机存储去复制操作制造技术

技术编号:4121498 阅读:256 留言:0更新日期:2012-04-11 18:40
本发明专利技术公开了一种包括多个计算机主机和所述主机外部的存储系统的数据中心。存储系统包括用于存储有形编码数据块的存储块。每个所述主机包括去复制文件系统,该去复制文件系统标识出存储在相应存储块中的相同数据块,并将这些相同数据块合并成所述存储块之一,使得由所述主机中的第一主机排他访问的第一文件和所述主机中的第二主机排他访问的第二文件同时指向相同的存储块。

【技术实现步骤摘要】

本专利技术一般地涉及计算机存储去复制(deduplication)操作。
技术介绍
典型的计算机文件系统在固定尺寸的小块中存储文件数据,其中固定尺寸的小块 被与每个文件相关联的元数据中维护的指针所指向。在两个指针指向相同块的情况下, 通过改变一个或两个指针使得它们指向同一块可以回收一些存储空间。找到指向相同块 的指针并且随后改变一个或两个指针使得他们指向同一块的过程在这里被称作去复制 (deduplication)。这种去复制通常由控制宿主计算机对存储介质的访问的入口连接器 (gateway)执行。 本申请要求了于2008年9月11日递交的美国临时申请No. 61/096,258的权益。
技术实现思路
根据本专利技术的一个方面,本专利技术提供了一种数据中心,包括多个计算机主机以及 所述主机外部的存储系统,所述存储系统包括用于存储有形编码数据块的存储块,所述主 机中的每个包括安装有去复制文件系统驱动器的主机操作系统,文件系统驱动器,以下说 明书和附图中简称为文件系统,标识出相应存储块中存储的相同数据块。文件系统将这 些相同数据块合并成单个存储块,从而由第一主机排他访问的第一文件和由第二主机排他 访问的第二文件同时指向同一存储块。 根据本专利技术的另一方面,本专利技术提供了一种包括计算机可读存储介质的制品,所 述计算机可读存储介质编码有计算机可执行指令的文件系统,所述文件系统在宿主计算机 系统上运行时连接到存储系统管理文件,包括在所述存储系统中编码的共享块文件。所述 文件包含有形编码的指向包含有形编码数据块的存储块的元数据指针,所述共享块文件具 有指向由多个所述元数据指针指向的块的元数据指针,所述文件系统包括用于更新哈希值 索引的写日志处理器,所述哈希值索引具有通过所述共享块文件间接指向共享存储块的共 享条目集,并且具有通过所述共享块文件之外的所述文件间接指向非共享存储块的非共享 条目集,所述哈希值索引被有形编码在所述存储系统上。 根据本专利技术的又一方面,本专利技术提供了一种方法,包括第一文件系统在第一宿主 计算机系统上执行,所述第一文件系统通过以下操作来管理向存储系统上的第一文件的第 一写操作将第一数据块写入所述存储系统的第一存储块并使所述第一文件的第一元数据 指针指向所述第一存储块;第二文件系统在第二宿主计算机系统上执行,所述第二文件系 统通过以下操作来管理向存储系统上的第二文件的第二写操作将第二内容写入所述存储 系统的第二块并使所述第二文件的第二元数据指针指向所述第二块;并且所述第二文件管 理器确定所述第二内容是否与所述第一 内容相同;以及如果所述第二内容与所述第一 内容 相同,那么所述第二文件管理器使得所述第二元数据指针指向所述第一块。附图说明 图1是根据本专利技术实施例的数据中心的简要示图。 图2是根据本专利技术实施例的方法流程图。图2重点示出了与写操作相关联的步骤。 图3是图1数据中心更为详细的示图。 图4是图1数据中心的一对文件集的简要框图。 图5是图2方法的去复制步骤的流程图。图5重点示出了与找到写记录和哈希值 索引条目之间的匹配相关的步骤。 图6是图2方法的去复制步骤的流程图。图6重点示出了与处理指向可变块指针 的匹配相关的步骤。这些步骤可以包括发出合并请求。 图7是图2方法的去复制步骤的流程图。图7重点示出了图2方法的合并请求处 理步骤。 图8是图2方法的去复制步骤的流程图。图8重点示出了与处理指向写时拷贝 (copy-onirite)块指针的匹配相关的步骤。 图9是图2方法的去复制步骤的流程图。图9重点示出了图2方法的清理步骤。 图10A和10B分别示出了根据本专利技术实施例的Inode节点。具体实施例方式图1中描述了实现本专利技术的数据中心AP1。数据中心AP1包括主机HA和HB以及 存储阵列网络(SAN) 11形式的存储系统。主机HA包括硬件13A,硬件13A包括处理器14A、 介质15A和通信设备16A。计算机可读存储介质15A编码有计算机可执行指令程序,包括应 用17A、操作系统(OS) 19A以及去复制文件系统20A。这里,介质指的是有形计算机可读 存储介质,是一类制品。介质包括硬盘、光盘以及固态存储设备。应用17A运行在操作系 统19A上,其使用文件系统20A访问SAN 11。主机HB类似地包括硬件13B、处理器14B、介 质15B、通信设备16B、应用17B、操作系统19B以及去复制文件系统20B。 如本领域普通技术人员将猜测到的,本专利技术适用于多种数据中心以及其他的计算 机系统拓扑结构。本专利技术适用于具有多个主机的数据中心,并且主机彼此可以不同,例如在 涉及的硬件类型和供电方面、在运行的操作系统和应用的类型与数量方面、以及联网主机 的方案方面可以不同。例如,使用虚拟机技术,一个主机可以在相应的操作系统中运行若干 应用,所有应用共享相同的文件系统。 应用17A和17B与操作系统19A和19B在诸如文件FA、 FB和FC的文件中存储数 据。文件系统20A和20B将数据划分成固定尺寸的块,在本实施例中为4kB,并且将其作为 数据块D1-DN存储在相应的存储块B1-BN中。文件通过元数据块指针与其内容相关联。例 如,文件FA包括与文件FA内的偏移位置相关联的块指针PA1。块指针PA1指向包含数据 块D1的存储块B1。(注意虚箭头代表指针与块的先前关联,而实箭头代表指针与块的当 前关联。)文件通常具有许多指针,并且他们中的不只一个可以指向给定的存储块。例如, 文件FA包括指针PA2和PA3,PA2和PA3都指向存储块B2。还可以是来自不同文件的指针 指向同一块。例如,文件FA的指针PA4和文件FB的指针PB1都指向存储块B4。 如双向箭头21和23所指示的那样,主机HA和HB与SAN 11的通信很大程度上是 独立的。为防止文件访问冲突,主机HA和HB被防止同时访问同一文件。为此目的,每个文件包括可以由主机拥有的锁。尽管文件在任意给定时间至多可以由一个主机访问,但是主 机HA和HB通过释放和取得锁可以分时共享(在不同的时刻访问)文件(例如文件FC)。 出于记忆和说明的目的,两个文件在这里被认为由相应的主机永久性拥有主机HA永久 性拥有锁LA,从而主机HB永远不能访问文件FA ;类似地,主机HB永久性拥有锁LB,从而主 机HA永远不能访问文件FB。永久性这里指的是这里所讨论的整个期间段内。 在数据中心AP1中,去复制被分散。每个主机HA、 HB具有其自己的去复制文件系 统20A、20B。与集中化方式相比,这具有若干优点。不需要专门软件来处理去复制。不存在 可能成为数据中心AP1故障单点或瓶颈的中央主机。此外,本专利技术可以方便地扩展,因为添 加更多的主机必然为去复制功能贡献更多资源。 根据以下示例可以实现去复制。在去复制之前,指针PA2指向存储块B2,进而指向 数据块D2,而指针PA3指向存储块B3,进而指向数据块D3。在去复制操作25期间,确定数 据块D3与数据块D2等同。通过改变块指针PA3使得其指向存储块B2,数据块D3随后与存 储块B2中的数据块D2有效合并。存储块B3因此被解放以做他用。去复制操作25是由主 机HA执行的,而其能够对文件FA进行排他访问,文件FA以元数据形式包括操作25中涉及 本文档来自技高网...

【技术保护点】
一种数据中心,包括多个计算机主机以及所述主机外部的存储系统,所述存储系统包括用于存储有形编码数据块的存储块,所述主机中的每个包括去复制文件系统,所述去复制文件系统用于标识出相应存储块中存储的相同数据块,并将所述相同数据块合并成所述存储块中的一个,从而由所述主机中的第一主机排他访问的第一文件和由所述主机中的第二主机排他访问的第二文件同时指向所述存储块中的同一个。

【技术特征摘要】
US 2008-9-11 61/096,258;US 2009-1-21 12/356,921一种数据中心,包括多个计算机主机以及所述主机外部的存储系统,所述存储系统包括用于存储有形编码数据块的存储块,所述主机中的每个包括去复制文件系统,所述去复制文件系统用于标识出相应存储块中存储的相同数据块,并将所述相同数据块合并成所述存储块中的一个,从而由所述主机中的第一主机排他访问的第一文件和由所述主机中的第二主机排他访问的第二文件同时指向所述存储块中的同一个。2. 如权利要求1所述的数据中心,其中所述存储系统具有在其上有形编码的共享块文 件,所述共享块文件包括指向所述存储系统的存储块的元数据指针,其中所述存储系统的 存储块被所述文件的不只一个元数据块指针所指向,所述主机的文件管理器合作更新所述 共享块文件。3. 如权利要求2所述的数据中心,其中所述文件管理器通过依次获得对所述共享块文 件的排他访问权来更新所述共享块文件。4. 如权利要求3所述的数据中心,其中所述存储系统具有在其上有形编码的哈希值索 引,所述哈希值索引包括将哈希值分配给文件和文件偏移的哈希值索引条目,所述哈希值 索引条目中的一些通过所述共享块文件将所述数据块的哈希值与包含那些数据块的存储 块相关联,所述哈希值索引条目中的其它条目通过所述共享块文件之外的文件将所述数据 块的哈希值与包含那些数据块的存储块相关联。5. 如权利要求1所述的数据中心,进一步包括在所述存储系统中有形编码的计数,所 述计数中的每个代表指向所述存储块中的相应一个的多个元数据指针,所述文件管理器在 写操作和合并操作期间合作更新所述计数。6. —种包括计算机可读存储介质的制品,所述计算机可读存储介质编码有计算机可执 行指令的文件系统,所述文件系统在宿主计算机系统上运行时连接到存储系统管理文件, 包括在所述存储系统中编码的共享块文件,所述文件具有有形编码的指向包含有形编码数 据块的存储块的元数据指针,所述共享块文件具有指向由多个所述元数据指针指向的块的 元数据指针,所述文件系统包括用于更新哈希值索引的写日志处理器,所述哈希值索引具 有通过所述共享块文件间接指向共享存储块的共享条目集,并且具有通过所述共享块文件 之外的所述文件间接指向非共享存储块的非共享条目集,所述哈希值索引被有形编码在所 述存储系统上。7. 如权利要求6所述的制品,其中所述文件系统包括合并请求处理器,并且所述写日 志处理器包括合并请求生成器所述合并请求生成器,在执行时,创建与所述文件系统不能访问的编码于所述存储系 统上的文件相关联的第一合并请求;以及所述合并请求处理器,在执行时,通过确定数据块是否相同以及如果确定所述数据块 是相同的则将他们合并成单个存储块,来处理与所述文件系统能够访问的文件相关联的第 二合并请求。8. 如权利要求7所述的制品,其中所述合并请求处理器,在执行时,通过比较所述文件 管理器不能访问的文件所指向的存储块的块内容的哈希值和所述文件管理器能够访问的 文件所指向的存...

【专利技术属性】
技术研发人员:克莱门斯奥斯汀艾哈迈德伊凡李金源维拉亚纽尔莫拉里
申请(专利权)人:威睿公司
类型:发明
国别省市:US[美国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1