一种存储系统分层管理的方法与系统技术方案

本发明专利技术公开了一种存储系统分层管理的方法与系统。其中，所述方法包括以下步骤：根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。采用上述方案，本发明专利技术采用分层数据存储，应用于分布式文件系统中，支持自动分层存储数据和自动迁移数据，可以大大的减少数据存储的成本，提高存储的效率；同时，也能更加合理的管理数据，具有可控性强和可扩展性强的特性。

【技术实现步骤摘要】
一种存储系统分层管理的方法与系统
本专利技术涉及分布式文件的存储管理，尤其涉及的是，一种存储系统分层管理的方法与系统。
技术介绍
如今，非结构化数据增长的速度越来越快，随着时间的推移，这种趋势也越来越明显。根据市场调查和分析，非结构化数据增长的速度已经超过了所有其他类型的数据。结构化数据，比如CRM、ERP、financial等以一种平滑的方式增长。而非结构化数据，比如Emails、电子数据表、文件及其文件夹等，占了一个企业数据增长的50% -100%。考虑到在现今行业的预算没有增长甚至减少的情况下，智能管理数据的存储方案的需求也越来越急迫。分析存储系统中的一个数据对象，在它刚进入系统那段时间中可能会出现访问频率很高的现象，但当数据老旧或不再更新之后，几乎不会再访问它。根据这种数据现象可以分析出在上面这种情形中当数据的体积越来越大时其访问的频率越来越小。所以，在数据的生命周期中，由于成本原因，不能一直放在高性能的存储介质(SAS RAID或SSD)中，应该依据不同时期的访问频率来移动到不同的物理介质当中。这就需要在存储软件中用到合适的分层方法来管理数据的迁移和存储。不论什么自动分层方法都需要结合不同的存储介质来完成，下面是现有存储介质的概述:SSD (Solid State Disk，固态硬盘，简称固盘)，是用固态电子存储芯片阵列而制成的硬盘，高性能也伴随着高成本，通常在分层存储中存放活跃数据。SAS(Serial Attached SCSI,串行连接 SCSI) / FC(Fibre Channel，光纤通道接口)Disks,由SAN或FC盘组成的独立硬盘冗余阵列(RAID, Redundant Array ofIndependent Disks)的性能虽然没有SSD的好,但属于现在主流的存储介质,不过成本依旧很高。SATA (Serial Advanced Technology Attachment,串行高级技术附件)Disks,相比于SAS / FC Disks, SATA Disk的性能低一些，但是性价比很高。LTO (Linear Tape Open,线性磁带开放协议)Tape (磁带)，其在TB级的存储上拥有最高的性价比，但是它没有提供随机存储的能力使其无法成为主要的存储介质，一般用作拷贝和归档。
技术实现思路
本专利技术所要解决的技术问题是提供一种新的存储系统分层管理的方法与系统。本专利技术的技术方案如下:一种存储系统分层管理的方法，其包括以下步骤:根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。优选的，所述方法还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。优选的，所述方法中，将各存储介质分成N存储层，其中，N为自然数且N ≥ 2 ;预设置N-1个访问频率的阈值；周期对某一数据对象作迁移判断:判断其访问频率大于第M阈值时，将其从第M存储层迁移至第M+1存储层，否则，判断其访问频率小于第M阈值时，将其从第M+1存储层迁移至第M存储层，其中，M为自然数且M≤N-1。优选的，所述方法中，根据所述存储系统中所有数据对象的访问总频率调整各阈值。优选的，所述方法中，在所述迁移判断时，采用所述数据对象在一预设时间段内的平均访问频率作为判断时采用的访问频率。优选的，所述方法中，所述数据对象在迁移后，还在原存储层中保留一预设时间。优选的，所述方法还包括步骤:根据数据对象的数据类型设置若干对应相异存储层的数据对象级别；当数据对象进入存储系统时，根据所述数据对象的数据类型，获取所述数据对象的数据对象级别，根据所述数据对象级别将其存储到对应的存储层。优选的，所述方法中，所述数据对象在迁移到第I层时，选择是否分配一预设的租期；对于具有所述租期的所述数据对象，判断其在所述租期内未被访问，则在所述租期到期后，将所述数据对象删除。优选的，所述方法还包括步骤:根据各存储层的负载情况，对于负载程度超过预设百分比值的第X存储层，根据各数据对象的平均访问频率，将平均访问频率最高的数据对象迁移至第X+1存储层，继续判断第X存储层的负载程度是否超过预设百分比值，是则将平均访问频率最低的数据对象迁移至第X-1存储层，直至第X存储层的负载程度低于所述预设百分比值。[0021 ] 优选的，所述方法中，所述存储系统中的某一数据对象被访问时，在所述存储系统的元数据中进行记录，以计算其访问频率。本专利技术的又一技术方案如下:一种存储系统分层管理的系统，其包括若干存储介质以及至少二存储层；各所述存储介质分别设置于一存储层；各存储层分别用于根据数据对象的数据类型，存储所述数据对象。采用上述方案，本专利技术采用分层数据存储，应用于分布式文件系统中，支持自动分层存储数据和自动迁移数据，可以大大的减少数据存储的成本，提高存储的效率；同时，也能更加合理的管理数据，具有可控性强和可扩展性强的特性。【附图说明】图1为本专利技术的流程示意图；图2为本专利技术存储介质层次分配图。【具体实施方式】为了便于理解本专利技术，下面结合附图和具体实施例，对本专利技术进行更详细的说明。附图中给出了本专利技术的较佳的实施例。但是，本专利技术可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本专利技术的公开内容的理解更加透彻全面。需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。除非另有定义，本说明书所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本说明书中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本专利技术。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。下面将结合附图和实例对本专利技术技术方案做进一步的说明。本专利技术的一个例子是:一种存储系统分层管理的方法，其包括以下步骤:根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。这样，基于在不同价格不同性能的存储设备，在数据对象的不同时期改变其存储的位置，从而减少硬件存储成本，提高数据的访问速度。例如，所述方法还包括步骤:调整存储介质及所述介质类型；例如，增加新的硬盘，移除某一硬盘，或者暂时屏蔽某一类型存储介质等；又如，增加闪存作为临时的介质类型；又如，增加SSD等新的介质类型等。又如，根据数据对象的数据类型，动态将所述数据对象存储在相应的存储层。例如，新进入某一 AVI等格式的视频数据对象，则将其存储于更注重容量的存储层中的某一存储介质中。又如，还根据某一存储层中的各存储介质的负载情况，在同一存储层中动态调整各数据对象的位置，使得各存储介质负载均衡。例如，所述方法中，预先建立数据分类，根据不同情形定义不同的数据级别。数据分类，需要了解每一个文件或文件类型的相对价值，通常的，预设数据分类，例如，视频格式的数据对象为一类，office相关软本文档来自技高网...

【技术保护点】
一种存储系统分层管理的方法，其特征在于，包括以下步骤：根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层；根据数据对象的数据类型，将所述数据对象存储在相应的存储层。

【技术特征摘要】
1.一种存储系统分层管理的方法，其特征在于，包括以下步骤: 根据存储系统中各存储介质的介质类型，将各存储介质分成至少二存储层； 根据数据对象的数据类型，将所述数据对象存储在相应的存储层。2.根据权利要求1所述方法，其特征在于，还根据数据对象的访问频率，将所述数据对象在各存储层中迁移。3.根据权利要求2所述方法，其特征在于，将各存储介质分成N存储层，其中，N为自然数且N≥2 ; 预设置N-1个访问频率的阈值； 周期对某一数据对象作迁移判断:判断其访问频率大于第M阈值时，将其从第M存储层迁移至第M+1存储层，否则，判断其访问频率小于第M阈值时，将其从第M+1存储层迁移至第M存储层，其中，M为自然数且MS N-1。4.根据权利要求3所述方法，其特征在于，在所述迁移判断时，采用所述数据对象在一预设时间段内的平均访问频率作为判断时采用的访问频率。5.根据权利要求4所述方法，其特征在于，所述数据对象在迁移后，还在原存储层中保留一预设时间。6.根据权利要求5所述方法，其特征在于，还包括步骤: 根据数据对象的数据类型设置若干对应相异存储层的数据对象级别； 当数据对象进入存...

【专利技术属性】
技术研发人员：张勤，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东;44