数据存储方法及系统技术方案

本发明专利技术提供一种数据存储方法：将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和可用存储装置列表；监控各存储阵列的工作状态；当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；确定数据迁移序列中的各数据组的降级程度，降级程度与失效存储装置的数量成正比；当失效存储装置包括多个先后失效的存储装置时，从可用存储装置列表中按先后顺序依次选择可用存储装置以替换多个失效存储装置；按照替换完成的先后顺序，利用剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。本发明专利技术能够避免同一数据组的多次读取，便于统一管理数据迁移进度和数据降级程度。

Data storage method and system

The invention provides a data storage method: each data were stored in N storage devices in the cluster. The mapping list and available storage device list to form a data set corresponding storage array; monitoring the working state of the memory array; when a storage array has a storage device failure, the corresponding storage array data group generation sequence based on data migration; determine the degradation degree of each data set in a sequence of data migration, degradation degree and number of failure is proportional to the storage device; when the failure memory device includes a plurality of storage devices has lapsed, from the available storage list in chronological order to choose available storage devices to replace multiple failure storage device; in order to replace the use of storage devices available to the rest of the survival of the replacement according to the number of storage devices Migration sequence. The invention can avoid multiple reading of the same data set, and is convenient for unified management of data migration progress and data degradation degree.

【技术实现步骤摘要】

本专利技术涉及计算机网络领域，尤其涉及一种数据存储方法及系统。
技术介绍
分布式存储系统，是将数据按照一定规则切分并打散存储在多台独立通用存储存储模块上。传统的网络存储系统采用集中的存储存储模块存放所有数据，存储存储模块成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式存储系统采用可扩展的系统结构，利用多台存储存储模块分担存储负荷，利用位置存储模块定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。存储集群的成千上万台存储模块可以将数据充分冗余，从而可以显著提高数据的安全性。在存储领域，通常使用年故障率(AFR)来表征磁盘的可靠性，现在市场上通用的磁盘的AFR一般是4％左右，即如果一个集群中有365块磁盘，那么一年中有磁盘损害的概率为pow(0.96，365)＝0.9999996619351175，即一年中几乎肯定有磁盘失效。而对于分布式存储集群，实际上磁盘个数通常都达到了上千块，因此应对磁盘损坏成为了每一个存储系统都要解决的问题。现有技术中，通过数据冗余来处理磁盘失效的问题，通常是每一份数据都可以存储于三块甚至更多块磁盘上，当某块磁盘失效时，可以依靠剩下的两个副本做数据恢复，防止在磁盘损坏或者存储模块宕机时数据丢失。但实际上，数据恢复策略必须要得到完善的设计，否则还是会遇到数据丢失的问题。企业在搭建存储集群时，通常都会同批次购买很多的存储存储模块和磁盘，同批次的磁盘往往具备类似的硬件规格和驱动固件，即可能出现同时失效的情况，在这种情况下，某一块磁盘开始失效之时，存储于此块磁盘上的数据都处于降级的状态，更坏的是，与之同批次的其他磁盘也随之失效的概率就会提高，如果此时另外一块磁盘也失效，则一部分数据将仅剩下一个存活的副本，并且降级程度进一步恶化，如果数据不能尽快修复，降级的数据可能会因最后一个副本所在的磁盘的失效而完全丢失。传统的数据恢复机制缺乏对磁盘中对象的统一管理，当三个副本中有两个副本损坏时，在插入替换坏盘的新盘之后，因为数据都是打散存储的，所以两块新盘都需要向集群中的多块磁盘发起读请求，要求这些磁盘向其发送数据，这样会带来两个问题，首先是这种基于拉数据的方式会带来同一份数据的两次独立的读请求，比如损坏的磁盘d0和d1都向磁盘d2拉数据，因为d0和d1拉数据时，并不存在彼此之间的协调，也就是说它们进行数据迁移的进度并不一致，这就意味着它们是独立拉数据时，磁盘d2需要分别应对两次读请求，并两次从磁盘中读取数据并发送给磁盘d0和磁盘d1，这样无疑会减慢数据迁移的速度，从而威胁数据安全；其次是，这种基于拉数据的方式不利于数据迁移进度和数据降级程度的管理和查询，即我们并不能够准确的获知每个文件的降级程度，比如文件file1，可能已经被磁盘d0或者磁盘d1之一拉过去，或者已经被两者拉过去了，或者一个来拉的也没有，即降级程度存在3种可能。综合上述内容，亟需设计出一种当进行数据恢复时能够提高数据迁移效率，并且便于管理和查询数据迁移进度和数据降级程度的数据存储方法。
技术实现思路
本专利技术实施例提供一种数据存储方法及系统，用以解决现有技术中当存在多块磁盘损坏并进行数据恢复时面临的多次读取问题，和解决数据迁移进度和数据降级程度不方便管理的问题。本专利技术实施例提供一种数据存储方法，包括：将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控各存储阵列的工作状态；当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；确定数据迁移序列中的各数据组的降级程度，所述各数据组的降级程度与承载各数据组的失效存储装置的数量成正比；当所述失效存储装置包括多个先后失效的存储装置时，从所述可用存储装置列表中按先后顺序依次选择可用存储装置以替换所述多个失效存储装置；按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。本专利技术实施例提供一种数据存储系统，包括：映射模块，将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控模块，监控各存储阵列的工作状态；迁移序列生成模块，当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；降级程度确定模块，用于确定数据迁移序列中的各数据组的降级程度，所述各数据组的降级程度与承载各数据组的失效存储装置的数量成正比；存储修复模块，当所述失效存储装置包括多个先后失效的存储装置时，从所述可用存储装置列表中按先后顺序依次选择可用存储装置以替换所述多个失效存储装置；数据迁移模块，按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。本专利技术实施例提供的数据存储方法及系统，当系统中存在多个存储装置失效并进行数据迁移时，按照数据迁移序列向替换后的可用存储装置迁移数据组，避免同一数据组的多次读取问题，便于统一管理数据迁移进度和数据降级程度，从而显著提高数据安全性和可用性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本公开数据存储方法的流程图；图2为本公开的数据存储方法的一个实施例的流程图；图3为本公开的数据存储方法的另一个实施例的流程图；图4为本公开数据存储系统的结构示意图；图5为本公开实施例的一种数据存储系统的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术提供的一种数据存储方法，如图1所示，包括：将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控各存储阵列的工作状态；当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；确定数据迁移序列中的各数据组的降级程度，所述各数据组的降级程度与承载各数据组的失效存储装置的数量成正比；当所述失效存储装置包括多个先后失效的存储装置时，从所述可用存储装置列表中按先后顺序依次选择可用存储装置以替换所述多个失效存储装置；按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。对于具有N个副本的各数据组而言：当各数据组所对应的存储阵列中没有存储装置失效，则各数据组的降级程度为0，此时数据是安全的；当各数据组所对应的存储阵列中有一个存储装置失效，则降级程度为-1，此时数据组丢失的概率较低；当各数据组所对应的存储阵列中有两个存储装置失效，则降级程度为-2，此时数据组仅剩下(N-2)个副本，需要优先向新磁盘进行迁移；当各数据组所对应本文档来自技高网...

【技术保护点】
一种数据存储方法，包括：将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控各存储阵列的工作状态；当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；确定数据迁移序列中的各数据组的降级程度，所述各数据组的降级程度与承载各数据组的失效存储装置的数量成正比；当所述失效存储装置包括多个先后失效的存储装置时，从所述可用存储装置列表中按先后顺序依次选择可用存储装置以替换所述多个失效存储装置；按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。

【技术特征摘要】
1.一种数据存储方法，包括：将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控各存储阵列的工作状态；当一个存储阵列存在失效存储装置时，基于该存储阵列所对应的数据组生成数据迁移序列；确定数据迁移序列中的各数据组的降级程度，所述各数据组的降级程度与承载各数据组的失效存储装置的数量成正比；当所述失效存储装置包括多个先后失效的存储装置时，从所述可用存储装置列表中按先后顺序依次选择可用存储装置以替换所述多个失效存储装置；按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组。2.根据权利要求1所述的数据存储方法，其中，所述失效存储装置包括第一失效存储装置和第二失效存储装置，所述第一失效存储装置的失效时间先于第二失效存储装置的失效时间，按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组包括：当利用第一可用存储装置对第一失效存储装置替换完成时，利用所述存储阵列中剩余的存活存储装置向替换后的第一可用存储装置按照数据迁移序列迁移数据组，随着数据组的迁移，基于所述数据迁移序列生成逐渐减少的第一迁移队列；当利用第二可用存储装置对第二失效存储装置替换完成时，若此时第一迁移队列不为空且第一迁移队列中的各数据组的降级程度相同，则利用所述存储阵列中剩余的存活存储装置同时向第一可用存储装置和第二可用存储装置按照第一迁移队列迁移数据组；当按照第一迁移队列完成数据组迁移后，基于所述数据迁移序列和所述第一迁移队列生成用于向所述第二可用存储装置迁移的第二迁移队列；利用所述存储阵列中剩余的存活存储装置向第二可用存储装置按照第二迁移队列迁移数据组。3.根据权利要求1所述的数据存储方法，其中，所述失效存储装置包括第一失效存储装置和第二失效存储装置，所述第一失效存储装置的失效时间先于第二失效存储装置的失效时间，按照替换完成的先后顺序，利用所述存储阵列中剩余的存活存储装置向替换后的可用存储装置按照数据迁移序列迁移数据组包括：当利用第一可用存储装置对第一失效存储装置替换完成时，利用所述存储阵列中剩余的存活存储装置向替换后的第一可用存储装置按照数据迁移序列迁移数据组，随着数据组的迁移，基于所述数据迁移序列生成逐渐减少的第一迁移队列；当利用第二可用存储装置对第二失效存储装置替换完成时，若此时第一迁移队列不为空且第一迁移队列中的各数据组的降级程度不同，则按照降级程度的高低生成第二迁移队列和第三迁移队列，第二迁移队列中的数据组的降低程度高于第三迁移队列中的数据组的降级程度；利用所述存储阵列中剩余的存活存储装置同时向第一可用存储装置和第二可用存储装置按照第二迁移队列迁移数据组；当按照第三迁移队列完成数据组迁移后，利用所述存储阵列中剩余的存活存储装置向第一可用存储装置按照第三迁移队列迁移数据组。4.根据权利要求1所述的数据存储系统，其中，所述将每组数据组均存储到集群中的N个存储装置上包括：在每个存储装置上承载至少一组数据组。5.一种数据存储系统，包括：映射模块，将每组数据组均存储到集群中的N个存储装置上，以形成数据组对应存储阵列的映射列表和集群中的可用存储装置列表；监控...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11