基于磁盘特征的数据分布动态映射的方法技术

基于磁盘特征的数据分布动态映射的方法，含有在光纤通道－存储区域网络即ＦＣ－ＳＡＮ内，通过逻辑地址和物理地址之间的映射，把物理磁盘的存储空间分配给逻辑磁盘的步骤，其特征在于：它是一种由ＦＣ－ＳＡＮ中的存储管理控制机来执行的、把数据块作为映射粒度，动态地在逻辑空间和物理空间之间映射的方法，依次含有以下步骤：　　　　写请求：　　　　（１）生成动态映射即ｍａｐ表，以逻辑地址为索引，全部单元清零；　　　　（２）存储节点控制机的存储管理模块从小型计算机系统接口即ＳＣＳＩ设备的中间层软件队列中获得写请求写数据到逻辑地址；　　　　（３）从物理磁盘中读取当前空间使用情况和命令队列长度，按下式计算各物理磁盘最近繁忙程度Ｂｉ，再根据数据复制数的要求，选取负载最小的一个或多个物理磁盘，为上述逻辑地址重新分配物理地址，存储写命令中的数据；　　　　Ｂｉ＝ａ＊Ｕｉ＊Ｃｉ／Ｕｍａｘ＊Ｃｍａｘ＋ｂ＊Ｄｉ／Ｄｍａｘ，　　　　其中，＊为“乘”号，Ｕｉ为当前磁盘利用率，Ｕｍａｘ为最大值，Ｃｉ为每个物理磁盘的容量，Ｃｍａｘ为最大值，Ｄｉ为设备队列中等待传输的数据总长度，Ｄｍａｘ为最大值；　　　　（４）把数据分别存储到步骤（３）找到的一个或多个最佳的物理磁盘中，数据复制分别在前、后台执行，即把一个写请求放在前台执行，剩下的复制并排入到设备单独的后台写队列，在系统空闲时在后台完成；　　　　（５）在各物理设备队列中，对写请求进行适度合并；　　　　（６）在读请求执行的间隙，采用同时兼顾了寻道时间和物理磁盘旋转延迟时间的最短访问时间优先方法，计算当前物理磁头最小访问时间的空闲数据块，把该数据块的地址作为写请求的物理地址，改变写请求中的数据地址信息，再用物理磁盘执行写请求：　　　　设：空闲块访问时间为ｔａ：　　　　ｔａ＝Ｕ＊ｔｓ＋（１－Ｕ）＊ｔｒ，　　　　其中，Ｕ为当前磁盘利用率，即稀疏度，它的值是已使用的数据块数／总数据块数，ｔｓ为寻道时间，ｔｒ为旋转延迟时间；　　　　（７）用网络虚拟随机存取存储器ＮＶＲＡＭ把逻辑地址－物理地址映射记录到ｍａｐ表中：　　　　对ｍａｐ表的更新先保留在ＮＶＲＡＭ上，当ＮＶＲＡＭ已经写满，再把ｍａｐ更新的内容写回到物理磁盘，而ｍａｐ表采用静态数据方式，给每一个逻辑数据块分配一个ｍａｐ表单元，在单元中记录当前对应的物理地址，再把ｍａｐ表分成若干个分区，只要对物理磁盘中的ｍａｐ表更新时以这些分区为单位，便可实现逻辑地址到物理地址的映射；　　　　读请求：　　　　（１）从ＳＣＳＩ设备中间层软件队列中获得读请求；　　　　（２）在地址映射ｍａｐ表中，根据读请求中的逻辑地址得到物理地址，把物理地址写入到读请求中；　　　　（３）使用上述最短访问时间优先读或已知的最短寻道时间优先法把新的读请求排入物理设备的读请求队列，访问时间包括寻址时间ｔｓ加上物理磁盘旋转延迟ｔｒ：　　　　ｔｓ＝Ｌ＊ｖ，ｔｒ＝θ＊ω　　　　其中，Ｌ为当前物理磁头到读数据地址的距离，ｖ为磁头移动的线速度；θ为当前磁头到读数据地址之间的角度，ω为磁盘转动的角速度；　　　　（４）为读请求设置执行“死”期ｄｅａｄｌｉｎｅ期限，在满足读请求限期完成的前提下，为写请求保留执行间隙；　　　　（５）物理磁盘执行读请求。（*该技术在2023年保护过期，可自由使用*）

【技术实现步骤摘要】

属于存储区域网络SAN存储
存储区域网络(SAN)等存储解决方案中，为了有效的管理和使用集中在一起的大批磁盘，采取了不同的存储空间管理方法。常用的方法是使用软件架构出虚拟的逻辑磁盘，通过逻辑地址和物理地址之间的映射，将物理磁盘的存储空间分配给逻辑磁盘，提供用户使用。这种方式在物理硬件上加入了韧性管理，使存储功能灵活、易扩展、易管理。目前，逻辑存储空间和物理磁盘之间的映射采用静态方法，映射粒度为单个物理磁盘或者物理磁盘分区。这种存储空间的映射方法存在一些不足灵活性差，在使用之前，已经将物理空间静态的分配给逻辑空间，使用过程中无法改变；没有充分利用物理磁盘的带宽，经常出现某些磁盘过于繁忙，而另一些磁盘空闲的情况。本专利技术针对这些不足，在构架逻辑磁盘的存储管理软件中，引入已有的动态写技术到地址映射，并对其进行改进，针对硬磁盘的物理特征，提出基于磁盘特征的数据分布动态映射(map)方法，将数据灵活的、有效的分布到SAN存储系统的磁盘系统上。逻辑空间和物理空间之间的映射采用动态方法，映射粒度是数据块。同时，使用动态MAP方法从造成I/O性能瓶颈的根本原因——磁盘自身的物理特征出发，通过减少写请求的执行延迟，提高存储系统的性能；计算各物理磁盘负载情况，通过物理存储空间的动态分配，达到各物理磁盘的负载平衡，最大限度的使用磁盘的总带宽。
技术实现思路
本专利技术的目的在于提供一种基于磁盘特征的数据分部动态映射方法，它可以灵活管理存储空间，减少I/O延迟，实现磁盘空间的负载平衡和系统整体性能的提高。本专利技术所述的方法的特征在于它是一种由FC-SAN中的存储管理控制机来执行的、把数据块作为映射粒度，动态地在逻辑空间和物理空间之间映射地方法；它依次含有以下步骤写请求(8)生成动态映射即map表，以逻辑地址为索引，全部单元清零；(9)存储节点控制机的存储管理模块从小型计算机系统接口即SCSI设备的中间层软件队列中获得写请求写数据到逻辑地址；(10)从物理磁盘中读取当前空间使用情况和命令队列长度，按下式计算各物理磁盘最近繁忙程度Bi，再根据数据复制数的要求，选取负载最小的一个或多个物理磁盘，为上述逻辑地址重新分配物理地址，存储写命令中的数据；Bi=a*Ui*CiUmax*Cmax+b*DiDmax,]]>其中，*为“乘”号，Ui为当前磁盘利用率，Umax为最大值，Ci为每个物理磁盘的容量，Cmax为最大值，Di为设备队列中等待传输的数据总长度，Dmax为最大值；(11)把数据分别存储到步骤(3)找到的一个或多个最佳的物理磁盘中，数据复制分别在前、后台执行，即把一个写请求放在前台执行，剩下的复制并排入到设备单独的后台写队列，在系统空闲时在后台完成；(12)在各物理设备队列中，对写请求进行适度合并；(13)在读请求执行的间隙，采用同时兼顾了寻道时间和物理磁盘旋转延迟时间的最短访问时间优先方法，计算当前物理磁头最小访问时间的空闲数据块，把该数据块的地址作为写请求的物理地址，改变写请求中的数据地址信息，再用物理磁盘执行写请求设空闲块访问时间为tatα＝U*ts+(1-U)*tr，其中，U为当前磁盘利用率，即稀疏度，它的值是已使用的数据块数/总数据块数，ts为寻道时间，tr为旋转延迟时间；(14)用网络虚拟随机存取存储器NVRAM把逻辑地址—物理地址映射记录到map表中对map表的更新先保留在NVRAM上，当NVRAM已经写满，再把map更新的内容写回到物理磁盘，而map表采用静态数据方式，给每一个逻辑数据块分配一个map表单元，在单元中记录当前对应的物理地址，再把map表分成若干个分区，只要对物理磁盘中的map表更新时以这些分区为单位，便可实现逻辑地址到物理地址的映射；读请求(6)从SCSI设备中间层软件队列中获得读请求；(7)在地址映射map表中，根据读请求中的逻辑地址得到物理地址，把物理地址写入到读请求中；(8)使用上述最短访问时间优先读或已知的最短寻道时间优先法把新的读请求排入物理设备的读请求队列，访问时间包括寻址时间ts加上物理磁盘旋转延迟trts＝L*v，tr＝θ*ω其中，L为当前物理磁头到读数据地址的距离，v为磁头移动的线速度；θ为当前磁头到读数据地址之间的角度，ω为磁盘转动的角速度；(9)为读请求设置执行“死”期deadline期限，在满足读请求限期完成的前提下，为写请求保留执行间隙；(10)物理磁盘执行读请求。在写请求的步骤(5)中，适度合并即通过查询空闲数据块表，找到距离最近的空闲块，计算以这个空闲块开头，连续空闲的数据块数量，再把这个数量乘以(30～50)％，作为可以连续存储的数据量的大小，再间隔地写入数据。试验表明对于随机写请求，单个磁盘利用率即实际的数据传输所占用的时间的百分比从8％提高到20％，磁盘之间的负载差异在10％以内，系统整体性能提高(15～20)％。附图说明图1存储区域网络示意图。图2存储管理节点的硬件结构。图3使用动态映射方法的存储管理软件在SAN体系结构中的位置。图4动态映射方法中写请求完成的软件结构。图5系统启动及命令处理流程图。具体实施例方式存储区域网络将存储设备与主机分离，对存储空间进行统一的管理和分配，其结构如图1。服务器节点的硬件子系统包括INTEL CPU、标准的PCI总线、SCSI接口卡、标准的光纤网络接口卡(FC HBA)、以太网络接口卡、硬盘。服务器节点可以运行WINDOWS 2000等多种操作系统和WEB服务器软件系统。光纤交换机采用Brocade 3200系列交换机。管理主机采用商用PC机，使用以太网络接口卡连接到以太网络，管理存储区域网络。存储管理节点采用商业化商用PC机如联想天瑞3130，硬件子系统的模块结构如图2。存储管理节点的主板采用商用的服务器主板，如Supermicro(超微)公司X5DA8、X5DAE主板等，所有的CPU采用INTEL公司XEON系列CPU。存储管理节点包括2个商用的光纤通道HBA，如QLOGIC公司的QLA2310F系列，它们之间可以实现容错备份或者捆绑功能。存储管理节点包括2-3个商用的SCSI接口卡，如ADAPTEC公司的7XXX系列接口卡，他们连接高密度的磁盘阵列子系统如ISD PinnacleRAID 500。电源子系统采用目前标准的、商用的N+1方式电源如山特公司的3C3系列，FLASH DISK负责存储各种软件，如M-SYSTEMS公司的DOC2000系列。Myrinet接口卡采用Myricom公司的LANai9系列接口卡。本项专利技术动态映射方法在存储管理软件中实现，存储管理软件运行在存储管理节点上。存储区域网络的软件结构以及存储管理软件的位置如图3。各软件模块的功能如下表 存储管理软件(使用动态映射方法)作为内核模块，在存储管理节点的嵌入式操作系统中运行(操作系统在图3中没有给出，实际上所有软件部分包括的模块都运行在操作系统当中)。存储管理软件的动态映射方法主要针对写请求，其结构如图4所示。图5是本专利技术所述方法的流程图。其中，动态MAP方法主要通过对读写请求的操作完成方法功能，对写请求和读请求分别进行处理，过程如下写请求(1)从SCSI设备中间层软件队列中获得写请求。(2)从物理设备中读本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：舒继武，郑纬民，吴昊，付长冬，温冬婵，
申请(专利权)人：清华大学，
类型：发明
国别省市：