分布式存储数据恢复制造技术

在分布式数据存储系统中处理数据，生成使得数据元素与数据伴随式相关的稀疏校验矩阵。系统接收关于在所述分布式数据存储系统中的故障节点的通知；访问所述稀疏校验矩阵；以及根据所述稀疏校验矩阵确定数据元素与伴随式之间的相互关系。系统对数据元素和伴随式处理逻辑运算；以及恢复所述故障节点。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
移动服务、社交网络、在线服务、云服务以及其它数据服务正在生成并积累大量数据，有时被称作“大数据”。可以采用从本地弹性磁盘阵列架构到全局分布式和弹性存储架构的范围内的磁盘存储系统来存储、取回和恢复数据。附图说明图1示出了根据本公开的例子的分布式数据存储系统的框图；图2示出了根据本公开的例子的数据矩阵；图3示出了根据本公开的例子的在数据矩阵中的数据元素和伴随式(syndrome)之间的相互关系；图4示出了在本公开的单故障点例子中的数据恢复的流程图；图5示出了在本公开的多故障点例子中的数据恢复的流程图；图6示出了根据本公开的例子的将节点相互关联的流程图；图7示出了根据本公开的例子的具有单故障点的分布式数据存储系统的框图；图8示出了根据本公开的例子的在具有单故障点的数据矩阵中的数据元素与伴随式之间的相互关系；图9示出了根据本公开例子的具有单故障点的分布式数据存储系统中恢复的框图；图10示出了根据本公开的例子的在数据恢复之后具有单故障点的分布式数据存储系统的框图；图11示出了根据本公开的例子的具有多故障点的分布式数据存储系统的框图；图12示出了根据本公开的例子的具有多故障点的分布式数据存储系统中的恢复的框图；以及图13示出了根据本公开的例子的在数据恢复之后具有多故障点的分布式数据存储系统的框图；图14是示出根据本公开的例子的非暂态计算机可读介质的示例性框图，所述介质存储有用于操作计算机(例如，图1的计算机102和106)的代码。具体实施方式图1示出了根据本公开的例子的分布式数据存储系统100的框图。在例子中，分布式数据存储系统100可以出于存储效率的目的而利用纠删码(erasurecoding)。在例子中，计算机102可以是管理计算机、服务器、或运行管理软件或磁盘管理模块的其他设备，以管理或配置分布式数据存储系统100。在例子中，计算机102可以创建、存储或管理用于在分布式数据存储系统100中使用的数据矩阵，如在本文中关于图2更详细讨论的。在另一例子中，在分布式数据存储系统100中使用的管理软件或磁盘管理模块和数据矩阵可以存储于例如一个或多个服务器106上。在例子中，分布式数据存储系统100可以包括多于一个缺陷区(faultzone)、数据区或数据中心，例如数据中心或数据存储114、116和118。在例子中，缺陷区可以包括一个或多个磁盘驱动器、服务器、数据中心、或可以恢复的数据集合。数据中心可以在地理上位于一处，或可以在不同的地理位置处，例如在不同房间、建筑物、城市、州或国家中。在例子中，数据中心114可以在纽约，数据中心116可以在德克萨斯，而数据中心118可以在加利福尼亚。在分布式数据存储系统100中的每个数据中心(例如，数据中心114、116和118)可以包括至少一个计算机、服务器、主机或其它设备106，来处理和/或存储数据。在例子中，数据可以存储于磁盘驱动器上，例如磁盘驱动器110和112(后文称作“节点”)。节点110和112可以包括任意存储技术，例如，节点可以是HDD、SSD、持久性存储器、其它存储技术、或其组合，并且可以直接连接到服务器106或在其内部，或者可以在服务器106的外部。分布式数据存储系统100的计算机102、服务器106、节点110和112、以及数据中心114、116和118可以通过网络进行通信或互连，所述网络例如是局域网(LAN)、广域网(WAN)、存储区域网(SAN)、互联网、或任意其它类型的通信链路，例如，网络104。另外，分布式数据存储系统100和/或网络104可以包括系统总线或其它快速互连或直接连接，例如在服务器106与节点110和112之间的直接连接108。如在下文更详细讨论的，存储于驱动器(例如，节点110和112)上的数据可以包括数据元素(或“数据容器”)和/或伴随式。如在下文更详细讨论的，数据元素和伴随式可以存储于相同的数据中心内，或者可以存储于不同的数据中心内。例如，在图1中，数据中心114存储四个数据元素D1-D4(110)和伴随式S1(112)。数据中心116存储四个数据元素D5-D8(110)和伴随式S2(112)。数据中心118未存储数据元素但存储了四个伴随式S3-S6(112)。图2示出了根据本公开的例子的数据矩阵。更具体地，图2示出了稀疏校验矩阵202。在例子中，稀疏校验矩阵20可以是数据元素(例如D1-D8(110))和伴随式(例如，S1-S6(112))的矩阵，其具有非常稀疏或“不密集”的布置。在一些例子中，稀疏矩阵可以导致在单纠删(singleerasure)时本地恢复的更强能力。例如，在图2的稀疏校验矩阵202中，可能仅需要少量节点来迭代地恢复纠删(erasure)。在一些例子中，稀疏校验矩阵可以包括置换、线性和非线性变换到更密集或更稀疏的矩阵和/或非二进制矩阵。稀疏校验矩阵202还示出了这样的例子：数据(例如，文件“D”)分裂成八个单独的数据元素或容器D1-D8，其可以存储于例如节点110上。例如，大小为八个吉字节的文件(例如，文件D)可以分裂成八个单独的一吉字节数据元素D1-D8(110)，如下文更详细描述的。稀疏校验矩阵202还示出了六个伴随式S1-S6的例子，其可被存储于例如节点112上，与可被存储于例如节点110上的数据元素D1-D8相关。在例子中，伴随式可以是数字(digit)、标识符、标记(flag)或用于校验错误和/或数据一致性的其它计算出的值，以及如果必要的话再生成数据。在一些例子中，伴随式可以是与校验和形成对照的，校验和可以提供错误检测但是不会再生成数据。在一些例子中，例如，当使用例如RAID6或RAIDMANY的保护方案时，伴随式可以表示伴随式块，其中伴随式表示多于单个比特。在一些例子中，伴随式块可以是字节、冗余块、或另一值，以支持各种不同级别的RAID或更大大小的稀疏校验矩阵。在图2的例子中，可以基于数据元素D1-D8计算伴随式S1-S6。在例子中，在任意给定列中的数字1是数据被用于计算与在那行中的数据相关的伴随式的指示符。例如，伴随式S3可以从数据元素D1和D5计算，而伴随式S4可以从数据元素D2和D6计算。图2的稀疏校验矩阵202还通过使用阴影示出了跨数据中心的在地理上分布数据和伴随式的例子，也如图1所示。稀疏校验矩阵202还示出了较强的本地恢复能力，数据元素可以共同位于例如单个数据中心内。更具体地，在稀疏校验矩阵中，可以使较少的节点与单个伴随式相关，减小因为访问剩余的好数据而对网络造成的压力。图3示出了根据本公开的例子的在数据矩阵中的数据和伴随式之间的相互关系。更具体地，图3示出了图2的稀疏校验矩阵202的相关视图。如上，例如，伴随式S3可以根据D1和D5计算，而伴随式S4可以根据D2和D6计算。图4示出了在本公开的例子中的单故障点中的数据恢复的流程图。在框402中，在例子中，在检测到故障之前生成矩阵(例如，稀疏校验矩阵202)。可以使用例如渐进边增长(PEG)算法的算法来生成矩阵。在框404中，生成伴随式，例如图2的S1-S6。如上所讨论的，可以基于稀疏校验矩阵202中的数据元素D1-D8计算伴随式S1-S6。在框406中，数据元素D1-D8和伴随式S1-S6可以例如存储于一个或本文档来自技高网...

【技术保护点】
一种在分布式数据存储系统中处理数据的方法，包括：生成使得数据元素与数据伴随式相关的稀疏校验矩阵；接收关于在所述分布式数据存储系统中的故障节点的通知；访问所述稀疏校验矩阵；根据所述稀疏校验矩阵确定在所述故障节点上的数据元素与伴随式之间的相互关系；对所述数据元素和所述伴随式执行逻辑运算；以及恢复所述故障节点。

【技术特征摘要】
【国外来华专利技术】1.一种在分布式数据存储系统中处理数据的方法，包括：生成使得数据元素与数据伴随式相关的稀疏校验矩阵；接收关于在所述分布式数据存储系统中的故障节点的通知；访问所述稀疏校验矩阵；根据所述稀疏校验矩阵确定在所述故障节点上的数据元素与伴随式之间的相互关系；对所述数据元素和所述伴随式执行逻辑运算；以及恢复所述故障节点。2.根据权利要求1所述的方法，其中，恢复所述故障节点包括本地重建所述故障节点。3.根据权利要求1所述的方法，其中，确定在所述数据元素与所述伴随式之间的相互关系包括确定跨一个或多个缺陷区的相互关系。4.根据权利要求1所述的方法，其中，确定在所述数据元素与所述伴随式之间的相互关系包括确定跨一个或多个地理位置的相互关系。5.根据权利要求1所述的方法，其中，生成使得所述数据元素与所述数据伴随式相关的所述稀疏校验矩阵包括调用渐进边增长算法。6.根据权利要求1所述的方法，其中，所述稀疏校验矩阵包括置换的稀疏校验矩阵。7.根据权利要求1所述的方法，其中，所述稀疏校验矩阵包括变换的稀疏校验矩阵。8.根据权利要求1所述的方法，其中，所述稀疏校验矩阵包括非二进制稀疏校验矩阵。9.根据权利要求1所述的方法，其中，所述逻辑运算是XOR算子。10.一种计算机系统，包括：服务器；磁盘驱动器；磁盘管理模块，其生成使得数据元素与数据伴随式相关的稀疏校验矩阵，以根据所述稀疏校验矩阵确定在数据元素与数据伴随式之间的相互关系来恢复故障节点；以及...

【专利技术属性】
技术研发人员：王汉，J·E·弗斯特，P·A·雷蒙德，R·V·文努戈帕兰，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：美国;US