分级存储系统和存储数据的处理方法、装置、设备和介质制造方法及图纸

本公开提供了分级存储系统和存储数据的处理方法、装置、设备和介质，涉及计算机技术领域，尤其涉及数据存储技术领域。具体实现方案为：所述分布式缓存系统，包括多个主节点，以及与主节点分别匹配的多个从节点；各主节点与匹配的从节点，用于对第一类数据项进行备份存储；所述持久化存储系统，用于对第二类数据项进行持久化容错存储；其中，所述第一类数据项的访问频次高于所述第二类数据项的访问频次。本公开实施例的技术方案提供了一种新的分级存储系统，以及基于该分级存储系统的新的数据迁移和垃圾回收方案，有效实现了对冷热数据的分级存储，同时提升了对分级存储系统中数据迁移和垃圾回收的效率。移和垃圾回收的效率。移和垃圾回收的效率。

【技术实现步骤摘要】
分级存储系统和存储数据的处理方法、装置、设备和介质


[0001]本公开涉及计算机
，具体涉及数据存储
，尤其涉及一种分级存储系统和存储数据的处理方法、装置、设备和介质。

技术介绍

[0002]随着需要存储的数据不断增加，成本是存储系统的生命线之一，纠错存储系统，典型的，EC(Erasure coding，纠删码)文件存储系统，是常用的降成本的方式。它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。与多副本存储相比，纠错存储系统可以做到比1倍稍微多一点的存储成本。
[0003]专利技术人通过实践发现，现有技术的缺陷为：纠错存储系统不适合频繁修改的业务场景，而目前常用的块存储引擎，原地修改恰好是用户经常用到的写入方式，因此，有待提出一种新的存储系统以兼顾存储性能和成本的。

技术实现思路

[0004]本公开提供了一种分级存储系统和存储数据的处理方法、装置、设备和介质。
[0005]根据本公开的一方面，提供了一种分级存储系统，包括：分布式缓存系统以及持久化存储系统；
[0006]所述分布式缓存系统，包括多个主节点，以及与主节点分别匹配的多个从节点；各主节点与匹配的从节点，用于对第一类数据项进行备份存储；
[0007]所述持久化存储系统，用于对第二类数据项进行持久化容错存储；
[0008]其中，所述第一类数据项的访问频次高于所述第二类数据项的访问频次。
[0009]根据本公开的另一方面，提供了一种存储数据的处理方法，由所述分级存储系统中的主节点执行，包括：
[0010]在本地存储的各数据项中，识别满足低频次访问条件的目标数据项；
[0011]本地读出所述目标数据项，并将所述目标数据项写入至所述持久化存储系统中；
[0012]指示与所述主节点匹配的所述从节点对所述目标数据项进行数据清理。
[0013]根据本公开的另一方面，提供了一种存储数据的处理方法，由所述分级存储系统中的从节点执行，包括：
[0014]在检测到所述从节点的已存储数据量超过数量阈值时，获取所述从节点中各数据分段的有效率；每个数据分段用于存储多个数据单元；每个数据单元用于存储多个数据项；
[0015]按照有效率由低到高的顺序，识别所述从节点中的目标数据分段；
[0016]本地读出目标数据分段中的残余数据单元，并将所述残余数据单元重新追加写入至所述从节点中；
[0017]对所述从节点中的目标数据分段进行空洞清理。
[0018]根据本公开的另一方面，提供了一种存储数据的处理装置，由所述分级存储系统中的主节点执行，包括：
[0019]目标数据项识别模块，用于在本地存储的各数据项中，识别满足低频次访问条件的目标数据项；
[0020]目标数据项写入模块，用于本地读出所述目标数据项，并将所述目标数据项写入至所述持久化存储系统中；
[0021]数据清理模块，用于指示与所述主节点匹配的所述从节点对所述目标数据项进行数据清理。
[0022]根据本公开的另一方面，提供了一种存储数据的处理装置，由所述分级存储系统中的从节点执行，包括：
[0023]已存储数据量检测模块，用于在检测到所述从节点的已存储数据量超过数量阈值时，获取所述从节点中各数据分段的有效率；每个数据分段用于存储多个数据单元；每个数据单元用于存储多个数据项；
[0024]目标数据分段识别模块，用于按照有效率由低到高的顺序，识别所述从节点中的目标数据分段；
[0025]残余数据单元读取模块，用于本地读出所述目标数据分段中的残余数据单元，并将所述残余数据单元重新追加写入至所述从节点中；
[0026]空洞清理模块，用于对所述从节点中的目标数据分段进行空洞清理。
[0027]根据本公开的另一方面，提供了一种电子设备，包括：
[0028]至少一个处理器；以及
[0029]与所述至少一个处理器通信连接的存储器；其中，
[0030]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所提供的存储数据的处理方法。
[0031]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开所提供的存储数据的处理方法。
[0032]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序被处理器执行时实现本公开所提供的存储数据的处理方法。
[0033]本公开实施例的技术方案提供了一种新的分级存储系统，以及基于该分级存储系统的新的数据迁移和垃圾回收方案。
[0034]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0035]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0036]图1是根据本公开实施例提供的一种分级存储系统的结构示意图；
[0037]图2是根据本公开实施例提供的一种存储数据的处理方法的流程示意图；
[0038]图3是根据本公开实施例提供的另一种存储数据的处理方法的流程示意图；
[0039]图4是根据本公开实施例提供的另一种存储数据的处理方法的流程示意图；
[0040]图5是根据本公开实施例提供的一种存储数据的处理装置的结构示意图；
[0041]图6是根据本公开实施例提供的另一种存储数据的处理装置的结构示意图；
[0042]图7是用来实现本公开实施例的一种存储数据的处理方法的电子设备的框图。
具体实施方式
[0043]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0044]首先，为了便于理解本公开技术方案，首先将本公开的主要构思进行简单描述。
[0045]如前所述，相比于数据副本存储，纠错存储系统的缺点是不适合频繁修改的业务场景，基于此，专利技术人从性能和成本两方面考虑，创造性的提出了一种新的分级存储方式，也即：使用多副本存储系统缓冲用户的写入，纠错存储系统保存绝大多数的数据，以实现性能和成本的折中。
[0046]同时，专利技术人考虑到现有的各种存储系统中，数据迁移以及垃圾回收过程，仅仅是在单机过程中实现，有效性较差。因此，进一步提供了一种在该分级存储系统中的新的数据迁移和垃圾回收方案，有效实现了对冷热数据的分级存储，同时提升了数据迁移和垃圾回收的效率。
[0047]图1是根据本公开实施例提供的一种分级存储系统的结构示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分级存储系统，包括：分布式缓存系统以及持久化存储系统；所述分布式缓存系统，包括多个主节点，以及与主节点分别匹配的多个从节点；各主节点与匹配的从节点，用于对第一类数据项进行备份存储；所述持久化存储系统，用于对第二类数据项进行持久化容错存储；其中，所述第一类数据项的访问频次高于所述第二类数据项的访问频次。2.根据权利要求1所述的系统，其中，所述分布式缓存系统为追加式文件存储系统，所述持久化存储系统为纠删码ES文件存储系统。3.一种存储数据的处理方法，由如权利要求1所述的分级存储系统中的主节点执行，包括：在本地存储的各数据项中，识别满足低频次访问条件的目标数据项；本地读出所述目标数据项，并将所述目标数据项写入至所述持久化存储系统中；指示与所述主节点匹配的所述从节点对所述目标数据项进行数据清理。4.根据权利要求3所述的方法，其中，在本地存储的各数据项中，识别满足低频次访问条件的目标数据项，包括：获取本地存储的各数据单元的访问频次描述信息，并识别访问频次描述信息满足低频次访问条件的目标数据单元；其中，每个数据单元中包括多个数据项。5.根据权利要求4所述的方法，其中，获取本地存储的各数据单元的访问频次描述信息，并识别访问频次描述信息满足低频次访问条件的目标数据单元，包括：获取本地存储的当前数据单元；提取与所述当前数据单元匹配的历史操作时间，其中，每个数据单元中的历史操作时间根据数据单元内各数据项最近一次的访问和修改时间中的至少一项更新；如果确定所述历史操作时间与当前系统时间的差值超过预设的阈值门限，则将所述当前数据单元确定为目标数据单元。6.根据权利要求4或5所述的方法，还包括：在检测到所述主节点的已存储数据量超过数量阈值时，获取所述主节点中各数据分段的有效率；其中，每个数据分段中包括多个数据单元；按照有效率由低到高的顺序，识别所述主节点中的目标数据分段；本地读出目标数据分段中的残余数据单元，并将所述残余数据单元写入至所述持久化存储系统中；指示与所述主节点匹配的所述从节点对所述残余数据单元进行数据清理，并对所述主节点中的目标数据分段进行空洞清理。7.根据权利要求6所述的方法，其中，获取所述主节点中内各数据分段的有效率，包括：在所述主节点中，获取当前数据分段；根据所述当前数据分段中各数据单元的生效状态标识，统计有效数据单元数量；根据所述有效数据单元数量，以及与当前数据分段对应的数据单元存储总量，计算所述当前数据分段的有效率。8.一种存储数据的处理方法，由如权利要求1所述的分级存储系统中的从节点执行，包括：
在检测到所述从节点的已存储数据量超过数量阈值时，获取所述从节点中各数据分段的有效率；每个数据分段用于存储多个数据单元；每个数据单元用于存储多个数据项；按照有效率由低到高的顺序，识别所述从节点中的目标数据分段；本地读出所述目标数据分段中的残余数据单元，并将所述残余数据单元重新追加写入至所述从节点中；对所述从节点中的目标数据分段进行空洞清理。9.一种存储数据的处理装置，由如权利要求1所述的分级存储系统中的主节点执行，包括：目标数据项识别模块，用于在本地存储的各数据项中，识别满足低频次访问条件的目标数据项；目标数据项写入模块，用于本地读出所述目标数据项，并将所述目标数据项写入至...

【专利技术属性】
技术研发人员：王大瑶，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：