用于使用加速器池内嵌去重的方法和系统技术方案

技术编号:25123042 阅读:26 留言:0更新日期:2020-08-05 02:51
一种用于存储数据的方法,其包括:由数据集群接收来自主机的存储数据的请求;由所述数据集群对所述数据进行去重,以在第一数据节点上获得去重的数据,其中所述第一数据节点是在所述数据集群上的加速器池中;复制所述去重的数据以生成多个副本,并且将所述多个副本中的第一副本存储在第二数据节点上,以及将所述多个副本中的第二副本存储在第三数据节点上,其中所述第二数据节点和所述第三数据节点是在所述数据集群的非加速器池中。

【技术实现步骤摘要】
用于使用加速器池内嵌去重的方法和系统
技术介绍
计算设备可以包括任何数量的内部组件,诸如处理器、存储器和永久储存装置。计算设备的内部组件中的每一个可以用于生成数据。生成、存储和备份数据的过程可以利用计算设备的计算资源,诸如处理和存储。利用上述计算资源来生成备份可能影响计算资源的整体性能。
技术实现思路
总的来说,在一个方面中,本专利技术涉及一种用于存储数据的方法。所述方法包括由数据集群接收来自主机的数据的请求,由数据集群对数据进行去重以在第一数据节点上获得去重的数据的数据,其中,第一数据节点是在数据集群上的加速器池中,复制去重的数据以生成多个副本,以及将多个副本中的第一副本存储在第二数据节点上,并且将多个副本中的第二副本存储在第三数据节点上,其中,第二数据节点和第三数据节点是在数据集群的非加速器池中。在一个方面中,包含计算机可读程序代码的非暂时性计算机可读介质,当由计算机处理器执行时,所述计算机可读程序代码使得计算机处理器能够执行用于存储数据的方法。所述方法包括由数据集群接收来自主机的存储数据的请求,由数据集群对数据进行去重以获得第一数据节点上的数据,复制已去重的数据以生成多个副本,以及将多个副本中的第一副本存储在第二数据节点上,并且将多个副本中的第二副本存储在第三数据节点上,其中,第一数据节点、第二数据节点和第三数据节点是在数据集群中。在一个方面中,根据本专利技术的一个或多个实施例的数据集群包括多个数据节点,包含第一数据节点、第二数据节点和第三数据节点,其中,多个节点中的第一数据节点被编程为从主机接收存储数据的请求,去重数据以获得去重的数据,复制去重的数据以生成多个副本,以及起始在多个节点的第二数据节点上存储多个副本中的第一副本和在多个节点的第三数据节点上存储多个副本中的第二副本。附图说明将参照随附的附图描述本专利技术的某些实施例。然而,随附的附图仅通过实例的方式示出了本专利技术的某些方面或实施方式,并且不意味着限制权利要求的范围。图1A展示了根据本专利技术的一个或多个实施例的系统的示意图。图1B展示了根据本专利技术的一个或多个实施例的第一数据集群的示意图。图1C展示了根据本专利技术的一个或多个实施例的另一数据集群的示意图。图2A展示了根据本专利技术的一个或多个实施例的用于在数据集群中存储数据的流程图。图2B-图2D展示了根据本专利技术的一个或多个实施例的第一实例。图3A展示了根据本专利技术的一个或多个实施例的用于在数据集群中存储数据的流程图。图3B-图3D展示了根据本专利技术的一个或多个实施例的第二实例。图4展示了根据本专利技术的一个或多个实施例的计算设备的示意图。具体实施方式现在将参照随附的图来描述具体的实施例。在下面的描述中,作为本专利技术的实例阐述了许多细节。本领域技术人员将理解的是,本专利技术的一个或多个实施例可以在没有这些具体的细节的情况下实践,并且在不脱离本专利技术的范围的情况下,许多变化或修改是可能的。省略了本领域普通技术人员已知的某些细节,以避免模糊描述。在图的以下描述中,在本专利技术的各种实施例中,关于附图描述的任何组件可以等同于关于任何其它图描述的一个或多个相同命名的组件。为简洁起见,这些组件的描述将不再关于每个图重复。因此,每个图的组件的每个和每一实施例通过引用结合在一起,并被假定为可选地呈现在具有一个或多个相同命名的组件的每一其它图内。附加地,根据本专利技术的各种实施例,图中组件的任何描述都将被解释为可选实施例,其可以附加于、结合或代替关于任何其它图中相应的相同命名的组件所描述的实施例来实施。在整个申请中,图的元件可以被标记为A到N。如本文所使用的,上述标记意味着所述元件可以包括任何数量的项目,并且不要求所述元件包括与标记为A到N的任何其它项目相同数量的元件。例如,数据结构可以包括标记为A的第一元件和标记为N的第二元件。这个标记约定意味着数据结构可以包括任何数量的元件。第二数据结构也标记为A到N,也可以包括任何数量的元件。第一数据结构的元件的数量和第二数据结构的元件数量可以相同或不同。一般而言,本专利技术的实施例涉及用于在数据集群中存储数据的方法和系统。本专利技术的实施例可以利用去重器,所述去重器对从主机获得的在数据上执行去重以生成去重的数据。在本专利技术的一个或多个实施例中,去重的数据随后被复制到数据集群中的其它节点。本专利技术的实施例可以包括向主机发送获得的数据其被去重并存储在数据集群中的确认。图1A展示了根据本专利技术一个或多个实施例的实例系统。所述系统包括主机(100)和数据集群(110)。主机(100)经由有线和/或无线连接的任何组合可操作地连接到数据集群(110)。在本专利技术的一个或多个实施例中,主机(100)利用数据集群(110)来存储数据。存储的数据可以是例如数据库、文件、应用程序和/或其它类型的数据的备份,而不背离本专利技术。在本专利技术的一个或多个实施例中,主机(100)被实施为计算设备(例如,参见图4)。计算设备可以是例如膝上型计算机、台式计算机、服务器、分布式计算系统或云资源(例如,可经由有线或无线连接访问的第三方存储装置系统)。计算设备可以包括一个或多个处理器、存储器(例如,随机存取存储器)和永久存储装置(例如,磁盘驱动器、固态驱动器等)。计算设备可以包括存储在永久存储装置上的指令,当所述指令被计算设备的(多个)处理器执行时,引起计算设备执行贯穿本申请描述的主机(100)的功能。在本专利技术的一个或多个实施例中,主机(100)被实施为逻辑设备。逻辑设备可以利用任何数量的计算设备的计算资源,并且从而提供贯穿本申请描述的主机(100)的功能。在本专利技术的一个或多个实施例中,数据集群(100)存储由主机(100)生成的数据和/或数据的备份。数据和/或数据的备份可以是从主机获得的数据的去重的版本。数据集群可以将数据的去重的版本(也称为去重的数据)复制到在数据集群(110)中的操作节点。如本文所使用的,去重指的是仅存储尚未存储在永久存储装置中的文件的部分(也称为文件段或段)的方法。例如,当存储一个大文件的多个版本时,版本中的每一个之间只具有最小的差异,而没有去重,存储每个版本将需要大约相同量的永久存储装置的存储空间。相反,当用去重存储大文件的多个版本时,只有存储的多个版本的第一个版本将需要大量的存储。一旦第一版本被存储在永久存储装置中,随后存储的大文件的后续版本将在被存储在永久存储装置中之前将被去重,导致当与存储第一存储版本所需的永久存储装置的存储空间量相比,存储随后存储的版本所需的永久存储装置的存储空间少得多。继续讨论图1A,数据集群(110)可以包括每个存储任何数量的去重的数据的节点。数据可以由其它节点(通过复制)获得或者从主机(100)获得。对于数据集群(110)的附加细节,参见例如图1B和图1C。图1B展示了根据本专利技术的一个或多个实施例的数据集群(120)的示意图。数据集群(120)可以是在上文讨论的数据集群(110,图1A)的实施例。数据集群(120)可以包括去重器(122)和任何数量的数据节点本文档来自技高网...

【技术保护点】
1.一种用于存储数据的方法,所述方法包含:/n由数据集群接收来自主机的存储数据的请求;/n由所述数据集群对所述数据进行去重,以在第一数据节点上获得去重的数据,其中所述第一数据节点是在所述数据集群上的加速器池中;/n复制所述去重的数据以生成多个副本;/n将所述多个副本中的第一副本存储在第二数据节点上,并且将所述多个副本中的第二副本存储在第三数据节点上,/n其中,所述第二数据节点和所述第三数据节点是在所述数据集群的非加速器池中。/n

【技术特征摘要】
20190129 US 16/260,7111.一种用于存储数据的方法,所述方法包含:
由数据集群接收来自主机的存储数据的请求;
由所述数据集群对所述数据进行去重,以在第一数据节点上获得去重的数据,其中所述第一数据节点是在所述数据集群上的加速器池中;
复制所述去重的数据以生成多个副本;
将所述多个副本中的第一副本存储在第二数据节点上,并且将所述多个副本中的第二副本存储在第三数据节点上,
其中,所述第二数据节点和所述第三数据节点是在所述数据集群的非加速器池中。


2.根据权利要求1所述的方法,其进一步包含:
响应于所述请求,向所述主机发送所述请求已经被服务的确认。


3.根据权利要求2所述的方法,其中,在所述第一副本被存储在所述第二数据节点上并且所述第二副本被存储在所述第三数据节点上之前发送所述确认。


4.根据权利要求1所述的方法,其进一步包含:
确定要生成的副本数(N),且
其中,复制所述去重的数据以生成所述多个副本包含生成N-1个副本。


5.根据权利要求1所述的方法,其中,所述第一副本被存储在所述第二数据节点上,并且所述第二副本并行地被存储在所述第三数据节点上。


6.根据权利要求1所述的方法,其中,所述第二数据节点是在第一故障域中,并且所述第三数据节点是在第二故障域中。


7.根据权利要求1所述的方法,其中,所述去重由在所述第一数据节点上执行的去重器来执行。


8.根据权利要求1所述的方法,其中,所述去重由在所述加速器池中的第四数据节点上执行的去重器来执行。


9.一种非暂时性计算机可读介质,其包含计算机可读程序代码,当所述计算机可读程序代码由计算机处理器执行时,使得所述计算机处理器能够执行用于存储数据的方法,所述方法包含:
由数据集群接收来自主机的存储数据的请求;
由所述数据集群对所述数据进行去重,以在第一数据节点上获得去重的数据,其中所述第一数据节点是在所述数据集群上的加速器池中;
复制所述去重的数据以生成多个副本;
将所述多个副本中的第一副本存储在第二数据节点上,并且将所述多个副本中的第二副本存储在第三数据节点上,
其中,所述第二数据节点和所述第三数据节点是在所述数据集群的非加速器池中。


10.根据权利要求9所述的非暂时性计算机可读介质,所述方法进一步包含:
响应于所述...

【专利技术属性】
技术研发人员:D·M·帕特尔瑞兹万·阿里R·查甘地
申请(专利权)人:戴尔产品有限公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1