System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于对数据进行去重复的方法、设备和计算机程序产品技术_技高网

用于对数据进行去重复的方法、设备和计算机程序产品技术

技术编号:41846120 阅读:6 留言:0更新日期:2024-06-27 18:25
本公开的实施例涉及用于对数据进行去重复的方法、设备和计算机程序产品。该方法包括确定第一存储设备中的目标物理块,目标物理块中的多个数据块要转移到第二存储设备。该方法还包括确定多个数据块中的目标数据块的压缩率。该方法还包括响应于压缩率低于阈值压缩率,确定目标数据块的目标哈希值。该方法还包括基于目标哈希值和去重复哈希表,确定针对目标数据块的去重复操作,去重复哈希表存储已从第一存储设备转移到第二存储设备的数据块的哈希值。通过该方法,可以减少需要从快速存储设备转移到慢速存储设备的数据量,并且改进了存储设备的存储空间,提高了资源利用率,改进了用户体验。

【技术实现步骤摘要】


技术介绍

1、0随着技术的发展,越来越来高性能的存储设备被用于存储数据,

2、例如固态驱动器(solid-state drive,ssd)。虽然高性能存储设备可以提高数据的访问效率,减少访问时间,然而高性能存储设备的成本较高。为了对成本和存取速度进行平衡,越来越多混合存储系统被用于为用户提供数据存储服务。

3、5混合存储系统具有混合类型驱动器:低性能的大容量的下层存储设备,例如硬盘驱动器(hard disk drive,hdd)的和高性能的上层存储设备,例如闪存或ssd。虽然混合存储系统可以很好的平衡用户的成本和处理速率,但是在使用混合存储系统的工作过程中还存在许多需要解决的问题。

4、


技术实现思路

1、本公开的实施例提供了一种用于对数据进行去重复的方法、设备和计算机程序产品

2、根据本公开的第一方面,提供了一种用于对数据进行去重复的方5法。该方法包括确定第一存储设备中的目标物理块,目标物理块中的多个数据块要转移到第二存储设备。该方法还包括确定多个数据块中的目标数据块的压缩率。该方法还包括响应于压缩率低于阈值压缩率,确定目标数据块的目标哈希值。该方法还包括基于目标哈希值和去重复哈希表,确定针对目标数据块的去重复操作,去重复哈希表存储已从第一存储设备转移到第二存储设备的数据块的哈希值。

3、根据本公开的第二方面,提供了一种电子设备。该电子设备包括至少一个处理器;以及存储器,耦合至至少一个处理器并且具有存储于其上的指令,指令在由至少一个处理器执行时使设备执行动作,所述动作包括:确定第一存储设备中的目标物理块,目标物理块中的多个数据块要转移到第二存储设备;确定多个数据块中的目标数据块的压缩率;响应于压缩率低于阈值压缩率,确定目标数据块的目标哈希值;以及基于目标哈希值和去重复哈希表,确定针对目标数据块的去重复操作,去重复哈希表存储已从第一存储设备转移到第二存储设备的数据块的哈希值

4、根据本公开的第三方面,提供了一种计算机程序产品,该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令,该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。

本文档来自技高网...

【技术保护点】

1.一种用于对数据进行去重复的方法,包括:

2.根据权利要求1所述的方法,其中确定所述目标物理块包括:

3.根据权利要求1所述的方法,其中确定所述目标物理块包括:

4.根据权利要求1所述的方法,其中确定所述压缩率包括:

5.根据权利要求1所述的方法,其中确定所述去重复操作包括:

6.根据权利要求5所述的方法,其中确定所述去重复操作还包括:

7.根据权利要求1所述的方法,其中确定所述去重复操作包括:

8.根据权利要求7所述的方法,其中确定所述去重复操作还包括:

9.根据权利要求1所述的方法,其中所述阈值压缩率是第一阈值压缩率,所述方法还包括:

10.根据权利要求9所述方法,其中将所述目标数据块转移到所述第二存储设备中包括:

11.根据权利要求10所述的方法,还包括:

12.根据权利要求1所述的方法,其中所述第一存储设备具有比第二存储设备更短的设备访问时间。

13.一种电子设备,包括:

14.根据权利要求13所述的电子设备,其中确定所述目标物理块包括:

15.根据权利要求13所述的电子设备,其中确定所述目标物理块包括:

16.根据权利要求13所述的电子设备,其中确定所述压缩率包括:

17.根据权利要求13所述的电子设备,其中确定所述去重复操作包括:

18.根据权利要求17所述的电子设备,其中确定所述去重复操作还包括:

19.根据权利要求13所述的电子设备,其中确定所述去重复操作包括:

20.一种计算机程序产品,所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令,所述机器可执行指令在被执行时使机器:

...

【技术特征摘要】

1.一种用于对数据进行去重复的方法,包括:

2.根据权利要求1所述的方法,其中确定所述目标物理块包括:

3.根据权利要求1所述的方法,其中确定所述目标物理块包括:

4.根据权利要求1所述的方法,其中确定所述压缩率包括:

5.根据权利要求1所述的方法,其中确定所述去重复操作包括:

6.根据权利要求5所述的方法,其中确定所述去重复操作还包括:

7.根据权利要求1所述的方法,其中确定所述去重复操作包括:

8.根据权利要求7所述的方法,其中确定所述去重复操作还包括:

9.根据权利要求1所述的方法,其中所述阈值压缩率是第一阈值压缩率,所述方法还包括:

10.根据权利要求9所述方法,其中将所述目标数据块转移到所述第二存储设备中包括:

11.根据权利要求10所述的方法,还...

【专利技术属性】
技术研发人员:姜昌旭宫晨王飞
申请(专利权)人:戴尔产品有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1