纠删码参数获取方法和装置制造方法及图纸

技术编号:8682596 阅读:184 留言:0更新日期:2013-05-09 02:38
本发明专利技术提供了一种纠删码参数获取方法,包括以下步骤:统计每个数据块的引用度r;基于引用度r计算每个数据块的冗余度k;基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n。

【技术实现步骤摘要】

本专利技术总体上涉及计算机领域,更具体地,涉及纠删码參数获取方法和装置。
技术介绍
申请号为201010171777.6的现有技术公开了一种信息处理
的基于RS纠删码的数据存储方法,包括以下步骤:对待存储文件进行分块处理和分组处理;将每个数据组的原始数据块传送到数据节点并由数据节点进行RS编码,使每个数据组在原始数据块的基础上增加若干个冗余数据块,将编码后的同一数据组中的数据块存储的若干个机架上,且同一机架上中同一数据组的数据块不超过冗余数据块的数目,当存储文件中有数据块损坏时,采用RS纠删码恢复数据块,得到恢复后的数据块。具体地,该专利申请涉及一种基于RS纠删码的数据存储方法,包括以下步骤:第一歩,对待存储文件进行分块处理,从而得到N个大小相同的原始数据块,并对这些原始数据块进行分组处理,得到M个数据组;第二歩,将每个数据组中的原始数据块逐块的从用户端传送到数据节点,当第i个数据组传输完毕后,接收到该数据组数据的数据节点将接收到的数据传送给管理节点指定的ー个数据节点,该数据节点得到该组数据块的所有原始数据块信息,l^i^M ;第三歩,得到第i组数据块的所有原始数据块信息的数据节点对该数据组进行RS编码,使第i个数据组从Ki个原始数据块变为Ki个原始数据块和Ri个冗余数据块,Ki是编码前第i个数据组中原始数据块的数目;第四歩,将编码后的同一数据组中的数据块存储的若干个机架上,且同一机架上中同一数据组的数据块不超过Ri个;第五歩,当存储文件中有数据块损坏时,采用RS纠删码恢复数据块,得到恢复后的数据块。重复数据删除技术会降低存储系统的可靠性,这是因为ー个数据块的损坏可能造成多个文件不可用,为了弥补这ー不可避免的缺陷,有人提出利用节省的部分空间对全部或者部分“重要”的数据块冗余复制来增强存储系统可靠性。单纯的通过增加完全副本冗余并不能保证当错误发生时数据仍具有持久性和可靠性,这里使用纠删码技术对数据块做一定的冗余来增强储存系统的可靠性。
技术实现思路
为此,本专利技术提供了ー种纠删码參数获取方法,包括以下步骤:统计每个数据块的引用度r;基于引用度r计算每个数据块的冗余度k;基于冗余度k、数据片段的可靠性概率P、以及存储节点的数量N计算纠删码的參数m、n,其中,m取函数权利要求1.一种纠删码參数获取方法,其特征在于,包括以下步骤: 统计每个数据块的引用度r; 基于所述引用度r计算所述每个数据块的冗余度k ; 基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的參致 m、n, 其中,m取函数/2.根据权利要求1所述的方法,其特征在干,当所述冗余度k与所述可靠性概率p的乘积等于I吋,m为1,n为所述冗余度k与所述存储节点的数量N中的最小值。3.根据权利要求1所述的方法,其特征在干,以如下等式计算所述冗余度k:4.一种纠删码參数获取装置,其特征在于,包括: 引用度统计模块,用于统计每个数据块的引用度r ; 冗余度计算模块,用于基于所述引用度r计算所述每个数据块的冗余度k ; 纠删码參数计算模块,用于基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的參数m、n,其中,m取函数5.根据权利要求4所述的方法,其特征在干,当所述冗余度k与所述可靠性概率p的乘积等于I吋,m为1,n为所述冗余度k与所述存储节点的数量N中的最小值。6.根据权利要求4所述的方法,其特征在干,以如下等式计算所述冗余度k:7.一种基于纠删码的增强系统可靠性的方法,其特征在于,根据权利要求1至3中任一项所述的方法获取纠删码參数。全文摘要本专利技术提供了一种纠删码参数获取方法,包括以下步骤统计每个数据块的引用度r;基于引用度r计算每个数据块的冗余度k;基于冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n。文档编号G06F11/08GK103092716SQ201310009988公开日2013年5月8日 申请日期2013年1月10日 优先权日2013年1月10日专利技术者彭成, 付根希, 姜国梁, 苗艳超, 刘新春, 邵宗有 申请人:曙光信息产业(北京)有限公司本文档来自技高网
...

【技术保护点】
一种纠删码参数获取方法,其特征在于,包括以下步骤:?统计每个数据块的引用度r;?基于所述引用度r计算所述每个数据块的冗余度k;?基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n,?其中,m取函数在[1,2,...,边界值]上最大值时的m值,n为m与所述冗余度k的乘积,?其中,当所述冗余度k与所述可靠性概率p的乘积大于1时,所述边界值等于所述存储节点的数量N除以所述冗余度k,而当所述冗余度k与所述可靠性概率p的乘积小于1时,所述边界值等于第一值与第二值中的最小值,所述第一值为向上取整的值,所述第二值为向上取整的值。?FDA00002724585300011.jpg,FDA00002724585300012.jpg,FDA00002724585300013.jpg

【技术特征摘要】

【专利技术属性】
技术研发人员:彭成付根希姜国梁苗艳超刘新春邵宗有
申请(专利权)人:曙光信息产业北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1