一种数据存储方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:36858191 阅读:14 留言:0更新日期:2023-03-15 18:06
本发明专利技术公开了一种数据存储方法、装置、计算机设备及存储介质,方法包括:按周期对存储系统数据标记进行检查,其中,所述存储系统数据标记包括冷数据和热数据,所述存储系统配置用于基于第一编码存储所述标记为冷数据的数据,并基于第二编码存储所述标记为热数据的数据;响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式以基于切换后的编码方式存储对应的数据。通过本发明专利技术的方案,降低了存储系统总体的退化读延迟和存储开销。的退化读延迟和存储开销。的退化读延迟和存储开销。

【技术实现步骤摘要】
一种数据存储方法、装置、计算机设备及存储介质


[0001]本专利技术涉及存储
,尤其涉及一种数据存储方法、装置、计算机设备及存储介质。

技术介绍

[0002]伴随着通讯技术和网络科技的迅速发展,数字化信息呈指数爆炸式增长,数据存储技术也因此迎来了巨大的挑战。存储系统中数据的可靠性问题以及存储系统的能耗问题越来越被人们所关注。现如今面对如此庞大的数据规模,存储系统中数据的可靠性和存储系统中包含的组件数量成反比关系,即存储系统组件数越多,那么存储系统中数据的可靠性就越低。根据相关调查显示,在一个由600个磁盘构成的互联网数据中心中,每月大约会有30个磁盘出现损坏的情况,在大规模存储系统中,磁盘故障造成的数据可靠性下降是相当严重的问题,对此人们展开了相关容错技术的研究。
[0003]纠删码(Erasure Code)属于编码理论中的一种前向纠错技术,最早应用于通信领域以解决数据传输中的丢失与损耗这类问题。由于纠删码技术在防止数据丢失方面取得了较好的效果,因此被引入存储领域。纠删码可以在保证相同可靠性的前提下有效地降低存储开销,因此纠删码技术被广泛地应用于各大存储系统以及数据中心。
[0004]纠删码(erasure coding,EC)是一种数据保护方法,它将数据分割成片段,把冗余数据扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。将原始数据分割成k个数据块,并根据编码矩阵生成m编码块,将n(n=k+m)块分布到不同的服务器上。只需要k个块就可以恢复原来的数据。
[0005]大多数采用纠删码的存储系统对数据只采用一种纠删码进行存储。然而,只采用一种纠删码很难在保持低存储开销的前提下降低退化读延迟。

技术实现思路

[0006]有鉴于此,本专利技术提出了一种数据存储方法、装置、计算机设备及存储介质,采用多种编码方式存储数据,针对数据的特性选择适合的编码以在保持低存储开销的前提下降低退化读延迟。
[0007]基于上述目的,本专利技术实施例的一方面提供了一种数据存储方法,具体包括如下步骤:按周期对存储系统数据标记进行检查,其中,所述存储系统数据标记包括冷数据和热数据,所述存储系统配置用于基于第一编码存储所述标记为冷数据的数据,并基于第二编码存储所述标记为热数据的数据;响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式以基于切换后的编码方式存储对应的数据。
[0008]在一些实施方式中,所述第一编码包括RS编码,所述第二编码包括LRC编码。
[0009]在一些实施方式中,所述RS编码为(k
RS
,g
RS
)RS编码,所述LRC编码为(k
LRC
,l
LRC

g
LRC
)LRC编码,其中,k
RS
表示所述RS编码中数据块的数量和g
RS
表示RS编码中全局校验块的数量,由k
LRC
表示所述LRC编码中数据块的数量、l
LRC
表示所述LRC编码中局部校验块的数量、g
LRC
表示所述LRC编码中全局校验块的数量,其中,k
RS
=k
LRC
,g
RS
=g
LRC
+1。
[0010]在一些实施方式中,响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式包括:响应于检查到的数据标记为热数据,判断所述数据的访问次数是否达到第一阈值;响应于所述数据的访问次数未达到所述第一阈值,则将所述数据标记由所述热数据切换为冷数据,并将所述数据的编码方式由第二编码存储切换为第一编码。
[0011]在一些实施方式中,响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式包括:响应于检查到的数据标记为冷数据,判断所述数据的访问次数是否达到第二阈值;响应于所述数据的访问次数达到所述第二阈值,则将所述数据标记由所述冷数据切换为热数据,并将所述数据的编码方式由第一编码切换为第二编码。
[0012]在一些实施方式中,将所述数据的编码方式由第二编码存储切换为第一编码包括:基于第一编码切换算法将所述数据的编码方式由第二编码存储切换为第一编码。
[0013]在一些实施方式中,将所述数据的编码方式由第一编码切换为第二编码包括:基于第二编码切换算法将所述数据的编码方式由第一编码切换为第二编码。
[0014]在一些实施方式中,基于第一编码切换算法将所述数据的编码方式由第二编码存储切换为第一编码包括:基于所述LRC编码的数据块得到所述RS编码的数据块;基于所述LRC编码的全局校验块和局部校验块得到所述RS编码的全局校验块。
[0015]在一些实施方式中,基于所述LRC编码的数据块得到所述RS编码的数据块包括:获取所述LRC编码的数据块,并将获取的数据块作为所述RS编码的数据块。
[0016]在一些实施方式中,基于所述LRC编码的全局校验块和局部校验块得到所述RS编码的全局校验块包括:将所述LRC编码的g
LRC
个全局校验块作为所述RS编码的g
RS

1个全局校验块;对所述LRC编码的l
LRC
个局部校验块进行异或计算,并将异或计算结果作为所述RS编码的最后一个全局校验块。
[0017]在一些实施方式中,基于第二编码切换算法将所述数据的编码方式由第一编码切换为第二编码包括:基于所述RS编码的数据块得到所述LRC编码的数据块;基于所述RS编码的全局校验块得到所述LRC编码的全局校验块;基于所述RS编码的数据块与最后一个全局校验块得到所述LRC编码的局部校验块。
[0018]在一些实施方式中,基于所述RS编码的数据块得到所述LRC编码的数据块包括:获取所述RS编码的数据块,并将获取的数据块作为所述LRC编码的数据块。
[0019]在一些实施方式中,基于所述RS编码的全局校验块得到所述LRC编码的全局校验块包括:将所述RS编码的g
RS

1个全局校验块作为所述LRC编码的g
LRC
个全局校验块。
[0020]在一些实施方式中,基于所述RS编码的数据块与最后一个全局校验块得到所述LRC编码的局部校验块包括:基于所述RS编码的数据块得到所述LRC编码的后l
LRC

1个局部校验块,并将所述RS编码的最后一个全局校验块与所述LRC编码的后l
LRC

1个局部校验块对应的数据块进行异或得到第1个局部校验块。
[0021]在一些实施方式中,基于所述RS编码的数据块得到所述LRC编码的后l
LRC

1个局部校验块包括:基于所述RS编码的后k
RS
/l
LRC
*(l
LRC...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:按周期对存储系统数据标记进行检查,其中,所述存储系统数据标记包括冷数据和热数据,所述存储系统配置用于基于第一编码存储所述标记为冷数据的数据,并基于第二编码存储所述标记为热数据的数据;响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式以基于切换后的编码方式存储对应的数据。2.根据权利要求1所述的方法,其特征在于,所述第一编码包括RS编码,所述第二编码包括LRC编码。3.根据权利要求2所述的方法,其特征在于,所述RS编码为(k
RS
,g
RS
)RS编码,所述LRC编码为(k
LRC
,l
LRC
,g
LRC
)LRC编码,其中,由k
RS
表示所述RS编码中数据块的数量和g
RS
表示所述RS编码中全局校验块的数量,k
LRC
表示所述LRC编码中数据块的数量、l
LRC
表示所述LRC编码中局部校验块的数量、g
LRC
表示所述LRC编码中全局校验块的数量,其中,k
RS
=k
LRC
,g
RS
=g
LRC
+1。4.根据权利要求3所述的方法,其特征在于,响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式包括:响应于检查到的数据标记为热数据,判断所述数据的访问次数是否达到第一阈值;响应于所述数据的访问次数未达到所述第一阈值,则将所述数据标记由所述热数据切换为冷数据,并将所述数据的编码方式由第二编码存储切换为第一编码。5.根据权利要求3所述的方法,其特征在于,响应于检查到的数据标记触发标记切换条件,对检查到的数据标记进行切换,并相应切换编码方式包括:响应于检查到的数据标记为冷数据,判断所述数据的访问次数是否达到第二阈值;响应于所述数据的访问次数达到所述第二阈值,则将所述数据标记由所述冷数据切换为热数据,并将所述数据的编码方式由第一编码切换为第二编码。6.根据权利要求4所述的方法,其特征在于,将所述数据的编码方式由第二编码存储切换为第一编码包括:基于第一编码切换算法将所述数据的编码方式由第二编码存储切换为第一编码。7.根据权利要求5所述的方法,其特征在于,将所述数据的编码方式由第一编码切换为第二编码包括:基于第二编码切换算法将所述数据的编码方式由第一编码切换为第二编码。8.根据权利要求6所述的方法,其特征在于,基于第一编码切换算法将所述数据的编码方式由第二编码存储切换为第一编码包括:基于所述LRC编码的数据块得到所述RS编码的数据块;基于所述LRC编码的全局校验块和局部校验块得到所述RS编码的全局校验块。9.根据权利要求8所述的方法,其特征在于,基于所述LRC编码的数据块得到所述RS编码的数据块包括:获取所述LRC编码的数据块,并将获取的数据块作为所述RS编码的数据块。10.根据权利要求8所述的方法,其特征在于,基于所述LRC编码的全局校验块和局部校验块得到所述RS编码的全局校验块包括:将所述LRC编码的g
LR...

【专利技术属性】
技术研发人员:陈静静王凛孙华锦
申请(专利权)人:苏州浪潮智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1