一种分级存储的方法、系统、设备及介质技术方案

本发明专利技术公开了一种分级存储的方法、系统、设备和存储介质，方法包括以下步骤：在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；响应于对文件进行读操作或写操作，增加文件的热度值，并随后每隔预设时间减少文件的热度值；判断热存储池中的文件的热度值是否小于第一阈值，并判断冷存储池中的文件的热度值是否大于第二阈值；以及响应于热存储池中的文件的热度值小于第一阈值，将文件转移到冷存储池，并且响应于冷存储池中的文件的热度值大于第二阈值，将文件转移到热存储池。本发明专利技术提出的方案通过有效利用分布式存储系统中不同介质的性能，兼顾存储系统的性能和成本，提高产品竞争力。

【技术实现步骤摘要】
一种分级存储的方法、系统、设备及介质
本专利技术涉及存储领域，更具体地，特别是指一种分级存储的方法、系统、计算机设备及可读介质。
技术介绍
分布式对象存储系统是由多台对象存储服务器组成的存储集群。分布式存储具有高可靠性、高可用性、快速存取、易于扩展等优点。目前存储系统中大量采用的还是HDD机械硬盘，但是随着新的存储介质、SSD和NVMESSD价格的下降，存储系统也慢慢配置了一些SSD硬盘作为存储介质。快速存储介质性能较好，但是容量往往不足，HDD硬盘容量较大，但性能又略显不足，如何兼顾系统性能和成本，就成为了存储系统设计要解决的问题。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种分级存储的方法、系统、计算机设备及计算机可读存储介质，通过基于不同的存储盘设置不同的存储池，有效利用分布式存储系统中不同介质的性能，兼顾存储系统的性能和成本，提高产品竞争力。基于上述目的，本专利技术实施例的一方面提供了一种分级存储的方法，包括如下步骤：在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；响应于对文件进行读操作或写操作，增加所述文件的热度值，并随后每隔预设时间减少文件的热度值；判断所述热存储池中的文件的热度值是否小于第一阈值，并判断所述冷存储池中的文件的热度值是否大于第二阈值；以及响应于所述热存储池中的文件的热度值小于第一阈值，将所述文件转移到所述冷存储池，并且响应于所述冷存储池中的文件的热度值大于第二阈值，将所述文件转移到所述热存储池。在一些实施方式中，还包括：建立文件热度表，并在所述文件热度表中记录所有热度值大于第三阈值的文件和所述文件对应的热度值，并随后每隔预设时间更新所述热度值。在一些实施方式中，还包括：判断所述冷存储池中的文件的热度值是否小于第一阈值；响应于所述冷存储池中的文件的热度值小于第一阈值，对所述文件进行标识，并判断连续标识次数是否达到第四阈值。在一些实施方式中，还包括：响应于连续标识次数达到第四阈值，删除所述文件在所述文件热度表中的记录。在一些实施方式中，所述随后每隔预设时间减少文件的热度值包括：每隔预设相同时间对所述文件热度表中的每个文件的热度值减少相同值。在一些实施方式中，还包括：判断文件从所述热存储池转移到所述冷存储池或者从所述冷存储池转移到所述热存储池是否超过预定时间。在一些实施方式中，还包括：响应于文件从所述热存储池转移到所述冷存储池或者从所述冷存储池转移到所述热存储池超过预定时间，判断所述文件是否只存在于所述冷存储池。本专利技术实施例的另一方面，还提供了一种分级存储系统，包括：创建模块，配置用于在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；执行模块，配置用于响应于对文件进行读操作或写操作，增加所述文件的热度值，并随后每隔预设时间减少文件的热度值；判断模块，配置用于判断所述热存储池中的文件的热度值是否小于第一阈值，并判断所述冷存储池中的文件的热度值是否大于第二阈值；以及转移模块，配置用于响应于所述热存储池中的文件的热度值小于第一阈值，将所述文件转移到所述冷存储池，并且响应于所述冷存储池中的文件的热度值大于第二阈值，将所述文件转移到所述热存储池。本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。本专利技术具有以下有益技术效果：通过基于不同的存储盘设置不同的存储池，有效利用分布式存储系统中不同介质的性能，兼顾存储系统的性能和成本，提高产品竞争力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的分级存储的方法的实施例的示意图；图2为本专利技术提供的分级存储的计算机设备的实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种分级存储的方法的实施例。图1示出的是本专利技术提供的分级存储的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：S1、在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；S2、响应于对文件进行读操作或写操作，增加文件的热度值，并随后每隔预设时间减少文件的热度值；S3、判断热存储池中的文件的热度值是否小于第一阈值，并判断冷存储池中的文件的热度值是否大于第二阈值；以及S4、响应于热存储池中的文件的热度值小于第一阈值，将文件转移到冷存储池，并且响应于冷存储池中的文件的热度值大于第二阈值，将文件转移到热存储池。在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池。第一存储盘可以是SSD快速存储盘，第二存储盘可以是HDD慢速盘，可以根据快速存储盘设置热存储池，根据慢速存储盘设置冷存储池。响应于对文件进行读操作或写操作，增加文件的热度值，并随后每隔预设时间减少文件的热度值。对于每一个文件，都有一个热度值；对文件的读操作和写操作都会增加文件的热度，例如读一次文件，热度值增加100。文件的热度值会定期的衰减，例如，可以每隔一分钟减少50，直到热度值衰减到零。判断热存储池中的文件的热度值是否小于第一阈值，并判断冷存储池中的文件的热度值是否大于第二阈值。可以设置热度值大于第二阈值的数据为热数据，热度值小于第一阈值的数据为冷数据。第一阈值可以例如是0，第二阈值可以例如是300。如果热存储池中的文件的热度值小于0，则需要被移动到冷存储池，如果冷存储池中的文件的热度值大于300，则可以移动到热存储池。响应于热存储池中的文件的热度值小于第一阈值，将文件转移到冷存储池，并且响应于冷存储池中的文件的热度值大于第二阈值，将文件转移到热存储池。当数据由冷变热时，我们将数据从冷存储池迁移到热存储池，从而可以提高数据的读速度。如果数据从热变冷后，我们将数据从热存储池转向冷存储池，给热存储池腾出空间，用于新的数据存储。在一些实施方式中，还包括：建立文件热度表，并在所述文件热度表中记录所有热度值大于第三阈值的文件和所述文件对应的热度值，并随后每隔预设时间更新所述热度值。RG本文档来自技高网...

【技术保护点】
1.一种分级存储的方法，其特征在于，包括以下步骤：/n在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；/n响应于对文件进行读操作或写操作，增加所述文件的热度值，并随后每隔预设时间减少文件的热度值；/n判断所述热存储池中的文件的热度值是否小于第一阈值，并判断所述冷存储池中的文件的热度值是否大于第二阈值；/n响应于所述热存储池中的文件的热度值小于第一阈值，将所述文件转移到所述冷存储池，并且响应于所述冷存储池中的文件的热度值大于第二阈值，将所述文件转移到所述热存储池；以及/n建立文件热度表，并在所述文件热度表中记录所有热度值大于第三阈值的文件和所述文件对应的热度值，并随后每隔预设时间更新所述热度值。/n

【技术特征摘要】
1.一种分级存储的方法，其特征在于，包括以下步骤：
在分布式对象存储系统中基于第一存储盘设置热存储池，并基于第二存储盘设置冷存储池；
响应于对文件进行读操作或写操作，增加所述文件的热度值，并随后每隔预设时间减少文件的热度值；
判断所述热存储池中的文件的热度值是否小于第一阈值，并判断所述冷存储池中的文件的热度值是否大于第二阈值；
响应于所述热存储池中的文件的热度值小于第一阈值，将所述文件转移到所述冷存储池，并且响应于所述冷存储池中的文件的热度值大于第二阈值，将所述文件转移到所述热存储池；以及
建立文件热度表，并在所述文件热度表中记录所有热度值大于第三阈值的文件和所述文件对应的热度值，并随后每隔预设时间更新所述热度值。


2.根据权利要求1所述的方法，其特征在于，还包括：
判断所述冷存储池中的文件的热度值是否小于第一阈值；
响应于所述冷存储池中的文件的热度值小于第一阈值，对所述文件进行标识，并判断连续标识次数是否达到第四阈值。


3.根据权利要求2所述的方法，其特征在于，还包括：
响应于连续标识次数达到第四阈值，删除所述文件在所述文件热度表中的记录。


4.根据权利要求1所述的方法，其特征在于，所述随后每隔预设时间减少文件的热度值包括：
每隔预设相同时间对所述文件热度表中的每个文件的热度值减少相同值。


5.根据权利要求1所述的方法，其特征在于，还包括：
判断文件从所述热存储池转移到所述冷存储池或者从所述冷存储池转移到所述热存储...

【专利技术属性】
技术研发人员：李辉，梁珂铭，胡永刚，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32