【技术实现步骤摘要】
本专利技术总体上涉及计算机领域,更具体地,涉及纠删码參数获取方法和装置。
技术介绍
申请号为201010171777.6的现有技术公开了一种信息处理
的基于RS纠删码的数据存储方法,包括以下步骤:对待存储文件进行分块处理和分组处理;将每个数据组的原始数据块传送到数据节点并由数据节点进行RS编码,使每个数据组在原始数据块的基础上增加若干个冗余数据块,将编码后的同一数据组中的数据块存储的若干个机架上,且同一机架上中同一数据组的数据块不超过冗余数据块的数目,当存储文件中有数据块损坏时,采用RS纠删码恢复数据块,得到恢复后的数据块。具体地,该专利申请涉及一种基于RS纠删码的数据存储方法,包括以下步骤:第一歩,对待存储文件进行分块处理,从而得到N个大小相同的原始数据块,并对这些原始数据块进行分组处理,得到M个数据组;第二歩,将每个数据组中的原始数据块逐块的从用户端传送到数据节点,当第i个数据组传输完毕后,接收到该数据组数据的数据节点将接收到的数据传送给管理节点指定的ー个数据节点,该数据节点得到该组数据块的所有原始数据块信息,l^i^M ;第三歩,得到第i组数据块的所有原始数据块信息的数据节点对该数据组进行RS编码,使第i个数据组从Ki个原始数据块变为Ki个原始数据块和Ri个冗余数据块,Ki是编码前第i个数据组中原始数据块的数目;第四歩,将编码后的同一数据组中的数据块存储的若干个机架上,且同一机架上中同一数据组的数据块不超过Ri个;第五歩,当存储文件中有数据块损坏时,采用RS纠删码恢复数据块,得到恢复后的数据块。重复数据删除技术会降低存储系统的可靠性,这是因为 ...
【技术保护点】
一种纠删码参数获取方法,其特征在于,包括以下步骤:?统计每个数据块的引用度r;?基于所述引用度r计算所述每个数据块的冗余度k;?基于所述冗余度k、数据片段的可靠性概率p、以及存储节点的数量N计算纠删码的参数m、n,?其中,m取函数在[1,2,...,边界值]上最大值时的m值,n为m与所述冗余度k的乘积,?其中,当所述冗余度k与所述可靠性概率p的乘积大于1时,所述边界值等于所述存储节点的数量N除以所述冗余度k,而当所述冗余度k与所述可靠性概率p的乘积小于1时,所述边界值等于第一值与第二值中的最小值,所述第一值为向上取整的值,所述第二值为向上取整的值。?FDA00002724585300011.jpg,FDA00002724585300012.jpg,FDA00002724585300013.jpg
【技术特征摘要】
【专利技术属性】
技术研发人员:彭成,付根希,姜国梁,苗艳超,刘新春,邵宗有,
申请(专利权)人:曙光信息产业北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。