System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 存储系统中的完全分配卷到去重卷迁移技术方案_技高网

存储系统中的完全分配卷到去重卷迁移技术方案

技术编号:43762163 阅读:2 留言:0更新日期:2024-12-24 16:05
一种用于存储系统中的完全分配卷到去重卷迁移的方法、计算机程序产品和计算机系统。该方法包括将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中,并且将去重元数据建立为传递。该方法然后当虚拟地址范围被物理分配填充后,对虚拟地址范围执行后台去重过程,其中使用驱动查询散列接口以在存储数据的物理驱动上执行散列计算。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍

1、本专利技术涉及存储系统,并且更具体地,涉及完全分配的卷到去重卷的迁移。

2、当今在存储控制器和设备中发现的共同特征是数据去重(deduplication)。存在对于以相同物理容量存储更多用户数据的不断增加的需求,这降低了拥有存储系统的总成本。数据去重通过识别重复的数据模式来工作,并且它将创建对存储在系统中的其他地方的重复数据的引用,而不是存储用户数据。现有的重复内容可以是在相同的卷内,在存储系统内的相同池或另一个池中的另一个卷内,或者在由另一个主机使用的卷内。

3、完全分配的卷使其所有容量都预先分配,并且存储系统具有与高速缓存和raid操作之外的数据的最少交互。客户可以在同一存储池中具有完全分配的和去重的卷。

4、对于客户来说,在池中具有去重的卷和完全分配的卷二者的混合是常见的。去重是一种较新的技术,因此从完全分配的到去重的迁移路径既是有价值又是必需的。

5、现有技术涉及制作数据的多个副本以便执行迁移,或者读取所有数据并将其写入池内的新位置。


技术实现思路

1、根据本专利技术的实施例,提供了一种用于在存储系统中从完全分配卷到去重卷迁移的计算机实现的方法。该方法由计算机系统的一个或多个处理器执行,并且包括将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中,并且将去重元数据建立为传递(passthrough)。当虚拟地址范围被物理分配填充后,对虚拟地址范围执行后台去重过程,其中使用驱动查询散列接口以在存储数据的物理驱动上执行散列计算。虚拟地址范围成为数据的经去重的卷。

2、这提供了使用驱动层内的空闲计算能力来计算去重散列的改进。这允许卷迁移具有低的计算要求,因为不需要在物理驱动外部读取数据。

3、该方法可以包括在该方法期间避免移动存储在物理驱动上的数据。这提供了在卷迁移期间不需要将数据写入新位置的改进。

4、该方法可以包括在将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中的同时,暂停输入/输出操作。这提供了在物理分配的移动期间避免与底层数据的任何冲突的改进。

5、该方法可以包括由去重层在去重域中保留与完全分配的卷相关联的物理分配被移动到的虚拟地址范围。

6、将去重元数据建立为传递可以包括:创建用于将完全分配的卷吸收到经去重的卷的传递前向查找结构,并且创建当经去重的卷被去重时用去重元数据更新的存根(stub)后向查找结构。

7、将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中可以由虚拟化层执行,并且可以包括将卷标记为去重卷以及激活去重层和传递元数据。

8、执行后台去重过程可以包括由去重层在去重卷的颗粒(grain)上迭代,其中在颗粒去重期间将颗粒锁定到输入/输出操作。

9、在颗粒上迭代可以包括:当颗粒是去重命中时,在传递前向查找结构上创建引用者(referrer)元数据以指向源元数据,并且将该颗粒标记为失效。当颗粒是去重未命中时,可以在去重指纹数据库中存储该颗粒的散列,从而在传递前向查找结构创建源元数据以指向数据盘上的颗粒。对于所有颗粒,可以用失效或虚拟地址来更新后向查找结构。

10、该方法可以包括在驱动层上的闪存核心模块(fcm)处执行散列计算,而不从fcm外部读取数据。

11、根据本专利技术的另一个实施例,提供了一种用于在存储系统中的完全分配卷到去重卷迁移的系统,包括处理器和存储器,该存储器被配置为向该处理器提供计算机程序指令以执行该组件的功能。该系统包括虚拟化层中的物理分配移动组件,用于将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中。提供了用于将去重元数据建立为传递的去重元数据建立组件。提供了去重层的去重组件,用于当虚拟地址范围被物理分配填充后,对虚拟地址范围执行后台去重过程,其中使用驱动查询散列接口以在存储数据的物理驱动上执行散列计算。虚拟地址范围成为数据的经去重的卷。

12、这提供了具有使用驱动层内的空闲计算能力来计算去重散列的改进的系统。这允许卷迁移具有低计算要求。

13、存储的数据的物理分配可以是与跨多个物理驱动存储的物理数据扩展块(extent)相关联的数据扩展块的受管盘,该多个物理驱动具有额外计算能力,在该额外的计算能力处执行用于去重过程的散列计算。多个物理驱动可以是具有散列计算能力的闪存核心模块(fcm)。

14、该系统可以包括暂停组件,用于在将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中的同时,暂停输入/输出操作。

15、该系统可以包括去重层中的保留组件,用于在去重域中保留与完全分配的卷相关联的物理分配被移动到的虚拟地址范围。

16、去重元数据建立组件可以包括前向查找组件,用于创建用于将完全分配的卷吸收到经去重的卷的传递前向查找结构。可以包括后向查找组件,用于创建在经去重的卷进行去重时要用去重元数据更新的存根后向查找结构。

17、物理分配移动组件可以包括将卷标记为经去重的卷,并且激活去重层和传递元数据。

18、该去重组件可包括用于在颗粒去重期间由去重层在去重卷的颗粒上迭代且将颗粒锁定到输入/输出操作的颗粒迭代组件。

19、该颗粒迭代组件可以包括命中组件,用于当颗粒是去重命中时,在传递前向查找结构上创建引用者元数据以指向源元数据,并且将该颗粒标记为失效的。可以包括未命中组件,用于当颗粒是去重未命中时,将该颗粒的散列存储在去重指纹数据库中,在传递前向查找结构上创建源元数据以指向数据盘上的颗粒。可以包括后向查找更新组件,用于用失效或虚拟地址更新后向查找结构。

20、根据本专利技术的另一个实施例,提供了一种用于在存储系统中完全分配卷到去重卷迁移的计算机程序产品。该计算机程序产品包括具有程序指令的计算机可读存储介质。程序指令可由处理器执行以使处理器将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中,并将去重元数据建立为传递。当虚拟地址范围被物理分配填充,对虚拟地址范围执行后台去重过程,其中使用驱动查询散列接口以在存储数据的物理驱动上执行散列计算。虚拟地址范围成为数据的经去重的卷。

21、计算机可读存储介质可以是非暂时性计算机可读存储介质,并且计算机可读程序代码可以由处理电路执行。

本文档来自技高网...

【技术保护点】

1.一种用于完全分配卷到去重卷迁移的方法,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1或2所述的方法,其中存储的数据的所述物理分配是与跨多个物理驱动存储的物理数据扩展块相关联的数据扩展块的受管盘,所述多个物理驱动具有额外计算能力,在所述额外计算能力处执行用于所述去重过程的散列计算。

4.根据前述权利要求中任一项所述的方法,还包括:

5.根据前述权利要求中任一项所述的方法,还包括:

6.根据前述权利要求中任一项所述的方法,其中将所述去重元数据建立为传递包括:

7.根据前述权利要求中任一项所述的方法,其中将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中由虚拟化层执行,并且包括将所述卷标记为去重卷,并且激活去重层和所述传递元数据。

8.根据前述权利要求中任一项所述的方法,其中执行后台去重过程包括由去重层在所述去重卷的颗粒上迭代,其中在颗粒去重期间将颗粒锁定到输入/输出操作。

9.根据权利要求8所述的方法,其中所述在颗粒上迭代包括:

10.根据前述权利要求中任一项所述的方法,其中所述散列计算是在驱动层上的闪存核心模块(FCM)处执行的,而不从所述FCM外部读取数据。

11.一种用于在存储系统中的完全分配卷到去重卷迁移的系统,所述系统包括处理器和存储器,所述存储器被配置为向所述处理器提供计算机程序指令以执行组件的功能,所述系统包括:

12.根据权利要求11所述的系统,其中存储的数据的所述物理分配是与跨多个物理驱动存储的物理数据扩展块相关联的数据扩展块的受管盘,所述多个物理驱动具有额外计算能力,在所述额外计算能力处执行用于所述去重过程的散列计算。

13.根据权利要求11或12所述的系统,包括暂停组件,用于在将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中的同时,暂停输入/输出操作。

14.根据权利要求11至13中任一项所述的系统,包括在所述去重层中的保留组件,用于在所述去重域中保留与所述完全分配卷相关联的所述物理分配被移动到的所述虚拟地址范围。

15.根据权利要求11至14中的任一项所述的系统,其中所述去重元数据建立组件包括:

16.根据权利要求11至15中任一项所述的系统,其中所述物理分配移动组件将所述卷标记为去重卷,并且激活所述去重层和所述传递元数据。

17.根据权利要求11至16中任一项所述的系统,其中所述去重组件包括颗粒迭代组件,用于由所述去重层在所述去重卷的颗粒上迭代,其中在颗粒去重期间将颗粒锁定到输入/输出操作。

18.根据权利要求17所述的系统,其中所述颗粒迭代组件包括:

19.根据权利要求11至18中任一项所述的系统,其中所述多个物理驱动包括闪存核心模块(FCM)。

20.一种用于在存储系统中的完全分配卷到去重卷迁移的计算机程序产品,所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质,所述程序指令可由处理器执行以使得所述处理器:

21.一种计算机程序,包括程序代码部件,当所述程序在计算机上运行时,所述程序代码部件适于执行权利要求1至10中任一项所述的方法。

...

【技术特征摘要】
【国外来华专利技术】

1.一种用于完全分配卷到去重卷迁移的方法,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1或2所述的方法,其中存储的数据的所述物理分配是与跨多个物理驱动存储的物理数据扩展块相关联的数据扩展块的受管盘,所述多个物理驱动具有额外计算能力,在所述额外计算能力处执行用于所述去重过程的散列计算。

4.根据前述权利要求中任一项所述的方法,还包括:

5.根据前述权利要求中任一项所述的方法,还包括:

6.根据前述权利要求中任一项所述的方法,其中将所述去重元数据建立为传递包括:

7.根据前述权利要求中任一项所述的方法,其中将与完全分配卷相关联的存储的数据的物理分配移动到去重域中的虚拟地址范围中由虚拟化层执行,并且包括将所述卷标记为去重卷,并且激活去重层和所述传递元数据。

8.根据前述权利要求中任一项所述的方法,其中执行后台去重过程包括由去重层在所述去重卷的颗粒上迭代,其中在颗粒去重期间将颗粒锁定到输入/输出操作。

9.根据权利要求8所述的方法,其中所述在颗粒上迭代包括:

10.根据前述权利要求中任一项所述的方法,其中所述散列计算是在驱动层上的闪存核心模块(fcm)处执行的,而不从所述fcm外部读取数据。

11.一种用于在存储系统中的完全分配卷到去重卷迁移的系统,所述系统包括处理器和存储器,所述存储器被配置为向所述处理器提供计算机程序指令以执行组件的功能,所述系统包括:

12.根据权利要求11所述的系统,其中存储的数据的所述物理分配是与跨多个物理驱动存储的物理...

【专利技术属性】
技术研发人员:D·汤姆金斯M·穆赫兰E·J·巴特利特A·迪克
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1