一种存储设备数据再生进化方法技术

本发明专利技术公开了一种存储设备数据再生进化方法，其步骤为：（１）系统实时对每个存储设备簇的性能和读写请求进行检测。（２）判断某一存储设备簇上数据的组织是否影响性能：如果否，进入步骤（１）。如果是，系统告警，在待机存储池中选择合适的存储设备，将这些存储设备提升到运行存储池中组成新的簇；将原簇上的数据迁移到新的设备簇中；将原簇格式化，转入待机存储池中，进入步骤（１），直至任务结束。使用本发明专利技术，系统可对存储设备中的文件碎片进行整理，将在新存储设备中实现数据的重组。并将原存储设备格式化后加入系统中，使原有存储设备实际工作性得到提升，并且在使用过程中，系统通过不断加入新型的存储设备，使整个系统更新，实现其性能优化。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术属于数据存储
，具体涉及，即一种在海量存储环境中管理存储资源的技术。虽然上述技术发展日新月异，它还存在以下几个方面的问题第一、现有系统有一个普遍存在的矛盾，即元部件的飞速发展和整体结构相对固定的矛盾。以最新的磁盘阵列技术为例，它的构成元部件是磁盘，一旦某个磁盘出故障，它会在备份的新盘上重构丢失的数据。然而，无论新盘在速度上和容量上比其它旧盘高出多少倍，重构后的磁盘阵列总体性能不会有丝毫提高。目前结构的存储系统不会由于更新了部件而得到整体性能的提高。因而，随着技术的进步，这种性能停滞不前的系统很快就会过时，用户不得不购买新的系统来满足应用新的需求；第二、目前数据固定的组织方式使得数据分布不适应变化，系统整体性能呈现一种随使用而退化的趋势。例如，磁盘的性能随着反复改写的次数增多而性能逐步下降，这是众所周知的碎片问题。单机上的磁盘碎片整理十分耗时，整理时不继续使用此磁盘，磁盘阵列上更难使用整理程序；第三、系统结构的组织方式较为固定，不能适应应用的多样性和动态性。例如，磁盘阵列的级别(RAID level)一般设定好后就固定下来，难以适应各种不同性质的应用，如对事务处理设定了RAID5而具有较高的性能，但对流媒体的应用就不大合适。上述问题存在的原因在于现有存储系统物理和逻辑的组织是一种静态的结构，而静态组织结构模型不能很好地刻画处于不断变化之中的系统。这种结构往往适合于特定的应用需要，而且缺少适应不断变化的存储要求的机制。在此之前，已有一些相关技术被提出来解决对存储资源的优化和管理。例如，惠普公司开发的AutoRAID技术，见HP whitepaper，《HP AutoRAIDHigh-Performance Storage for the High-Availability NT Environment》，http.//www.hp.com.cn/prodserv/server/pcserver/whitepaper/DOCS/autoraid.pdf，该技术是综合了不同RAID优点的多级RAID阵列技术，它将最近使用的数据放在按RAID 0/1方式存储的快速高性能的磁盘中，将不太常用的数据放在RAID5方式存储的经济高效的磁盘中。AutoRAID技术可以使系统的安装、配置和扩展变得容易，该技术不再需要将数据转移到阵列中的其他磁盘上，只需将新磁盘安装好，AutoRAID就可以自动地判断磁盘大小，并将它加入磁盘阵列中；系统马上就可以利用新磁盘的空间，并将更多的数据按RAID 0/1方式存储，以提高系统的性能和存取速度。此外，AutoRAID能够管理由不同容量磁盘组成的磁盘阵列。动态数据转移是HPAutoRAID的一大特点，它是系统内部的一套控制机构，能够连续监视磁盘阵列的性能，并决定是否将数据保持在缓存中、是否将数据按RAID1存储、是否将数据写入RAID5阵列。这些控制机构能够适应不同的数据情况，并保持系统的高性能。对于工作环境不断变化的场合，这一特点极为有用。但是，该技术仅仅根据应用对数据使用频度的不同，在数据的动态分布的层次上对存储资源加以优化，因此效果还十分有限。为实现上述专利技术目的，，其步骤为(1)系统实时对每个存储设备簇的性能和读写请求进行检测；(2)判断某一存储设备簇上数据的组织是否影响性能 (2.1)如果否，进入步骤(1)；(2.2.1)如果是，系统告警，在待机存储池中选择合适的存储设备，将这些存储设备提升到运行存储池中组成新的簇；(2.2.2)将原簇上的数据迁移到新的设备簇中；(2.2.3)将原簇格式化，转入待机存储池中，(2.2.4)进入步骤(1)，直至任务结束。使用本专利技术方法，系统能够对存储设备中的文件碎片进行整理，将不连续的数据以合适的策略迁移到新的具有大量连续空间的存储设备中以实现数据的重组。并将原存储设备进行格式化后重新加入到系统中，使原来的存储设备的实际工作性能得到提升，并且在使用过程中，系统通过不断加入新型的存储设备，使整个系统得到更新，从而实现了整个进化存储系统的性能优化。在存储库2中，所有存储设备处于三种状态运行，待机和禁用。运行池中的存储设备按照存储设备簇的方式存放。存储设备簇是系统中基本的逻辑存储单位，提供一个相对稳定和线性的存储空间，它是由一个或者多个同构的物理存储设备的集合。同一存储设备簇中的存储设备具有相近的存储容量和物理存储性能。不同存储设备簇可以有不同的存储参数，如数据块大小。存储设备簇中的存储设备在物理上不一定相邻。每个存储设备簇中存储设备的数量可以动态改变，最少可以是一个。在保证可靠的存储空间的基础上，存储设备簇中的存储设备可以被另一个性能相近的存储设备替换。当存储设备簇中的存储设备数量变化或发生存储设备替换时，系统自动重构数据。存储设备簇以数据块的形式提供数据存取。在工作中，处理器3，通过采用SCSI协议的SCSI总线，或者通过采用光纤通道协议的光纤，与存储库2连通，并将从处理器3接受到的数据传送到存储库2处，再将数据从存储库2中传送出来送给处理器3。处理器3对存储库2中的物理存储设备4的工作性能进行实时监控，根据结果决定存储设备在存储库中的运行状态。同时对存储库2的输入输出数据进行特征分析，以决定数据在物理存储设备上的位置分布。如图2所示，在工作中，计算机节点1传入的数据经过存储服务模块10传送到存储库2中，并通过该模块接收从存储库2中返回的数据，输出到计算机节点1，对外界提供可靠的存储服务。同时模块10对I/O数据进行采样，将采样数据传给数据I/O及分布特征分析模块9，由该模块对I/O数据的使用频率及该数据在存储库中的物理位置分布特征进行统计分析，将分析结果传送给决策分析模块8。存储设备管理模块7负责对存储库2中的存储设备进行管理，维护存储设备4的LDU标识与位置号的映射关系表，并完成决策分析模块8发送过来的操作命令。模块7还对存储库2中的物理存储设备4的运行状态信息进行实时采样分析，并将性能分析结果传送给决策分析模块8。决策分析模块8综合从模块9传送来的I/O数据的使用频率和分布特征结果，与从模块7传送来的存储设备工作性能结果，在进化规则库11中选择适合当前运行状况的进化规则，得到该规则中制定的控制信息，将控制命令发送到存储设备管理模块7，由存储设备管理模块7对存储库中的数据重新进行分布或对存储设备进行再生处理。如果进化规则库11中有多条适用的进化规则，则让这几条规则进行竞争，即发送每条规则的测试数据到存储库中，根据返回的性能测试结果选择最佳的规则来优化系统。以自动优化存储系统工作性能，实现系统自身的进化功能。在工作过程中，模块9将系统I/O及分布特征分析结果实时传送到用户管理模块12，以便用户对系统的数据I/O特征进行监控。同样存储设备管理模块7将收集到的存储库2中的物理存储设备4的运行状态信息实时传送到用户管理模块12。用户可以根据收集到的所有系统信息对系统运行状况做出分析，可以根据需要直接发送系统控制命令到决策分析模块8，以便对系统进行性能优化。例如可以手工将某个使用率较高的应用的数据统一迁移到性能较高的物理存储设备上。在工作过程中，由于系统会根据自身状况和外界的数据访问特征动态调整数据的分布策略，因此决策本文档来自技高网...

【技术保护点】
一种存储设备数据再生进化方法，其步骤为： （１）系统实时对每个存储设备簇的性能和读写请求进行检测； （２）判断某一存储设备簇上数据的组织是否影响性能： （２．１）如果否，进入步骤（１）； （２．２．１）如果是，系统告警，在待机存储池中选择合适的存储设备，将这些存储设备提升到运行存储池中组成新的簇； （２．２．２）将原簇上的数据迁移到新的设备簇中； （２．２．３）将原簇格式化，转入待机存储池中， （２．２．４）进入步骤（１），直至任务结束。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：谢长生，曹强，谭志虎，王宇德，刘瑞芳，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]