一种Server SAN系统多副本读取方法及存储架构技术方案

本发明专利技术公开了一种Server SAN系统多副本读取方法及存储架构，具体包括：控制主机的初始化构建：预先在控制主机中构建虚拟磁盘，对虚拟磁盘的地址空间进行划分，并建立副本以及构建副本与地址空间的映射关系表；策略主机的动态调整：分别对R个存储介质进行定时采样，收集R个存储介质的IO延迟，并将超出预设延迟阈值的IO进行回收，分配至其它存储介质。本发明专利技术针对多读少写的应用场景，采用异构的存储介质，将其中一个数据副本存放在高速存储介质中，其他数据副本存放在低速存储介质中，根据运行过程中的负载情况，动态调整各存储介质的负载权重，以达到在当前环境下的最优性能，由于采用异构存储介质，成本也相应地减少。

A multi copy reading method and storage architecture for Server SAN system

The invention discloses a Server SAN system multi copy reading method and storage architecture, including: the host controller initialization Construction: pre built virtual disk in the control host, to a virtual disk address space is partitioned, the mapping table and the establishment of a copy and build a copy with the address space; dynamic adjustment strategy of the host respectively to R storage medium for regular sampling, collecting R storage medium IO delay, and the delay exceeds a preset threshold of IO recovery, assigned to other storage media. According to the invention application scene read write less, using heterogeneous storage medium, which will be a copy of the data stored in the high-speed storage medium, a copy of the data stored in other low-speed storage medium according to the load situation during the operation, the load weight dynamically adjust the storage medium, in order to achieve in the current environment the best performance because of the heterogeneous storage medium, the cost is reduced accordingly.

【技术实现步骤摘要】
一种ServerSAN系统多副本读取方法及存储架构
本专利技术涉及信息存储
，尤其涉及的是一种ServerSAN系统多副本读取方法及存储架构。
技术介绍
ServerSAN至今并未有一个公认的定义，它是一个进化中的概念，许多人认为其将可能是未来存储的发展趋势。ServerSAN包含几个特点：通用硬件的，纯软件实现，分布式数据存储，提供标准块接口。在ServerSAN系统中，数据的冗余方式多数是使用副本形式。众所周知，存储系统的性能有个非常关键的因素便是存储硬件类型，比如PCI-ESSD性能远比SATA/SASSSD高，SATA/SASSSD性能高出机械磁盘HDD不少。现有的ServerSAN主要有两种方式读：读取一个副本和分散到多个副本读取，但基本都是要求存储介质是同构的，若同为机械磁盘则读取性能慢；若同为PCI-ESSD则成本要求高。因此，现有技术还有待于改进和发展。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种ServerSAN系统多副本读取方法及存储架构，旨在提出一种全新的多副本读取方式，针对多读少写的应用场景，采用异构的存储介质，以达到在当前环境下的最优性能，且由于采用异构存储，成本也相应地减少。本专利技术解决技术问题所采用的技术方案如下：一种ServerSAN系统多副本读取方法，其采用控制主机-策略主机-存储主机的处理架构；其中存储主机由R个异构存储介质组成；具体步骤包括：A、控制主机的初始化构建：预先在控制主机中构建虚拟磁盘，对虚拟磁盘的地址空间进行划分，并建立副本以及构建所述副本与地址空间的映射关系表；B、策略主机的动态调整：分别对R个存储介质进行定时采样，收集R个存储介质的IO延迟，并将超出预设延迟阈值的IO进行回收，分配至其它存储介质。所述的ServerSAN系统多副本读取方法，其中，所述步骤B之后还包括：C、策略主机的异常调整：在存储介质出现异常时，对IO请求进行Handoff操作，以将IO请求切换到正常运行的存储介质。所述的ServerSAN系统多副本读取方法，其中，所述步骤A具体包括：A1、将虚拟磁盘的地址空间划分为N个Blockid，Blockid从0开始顺序编号至N-1；A2、所述存储主机包括R个异构存储介质，并在虚拟磁盘中建立R个对应的副本，再对所述副本从Replicaid0到ReplicaidR-1进行顺序递增编号；A3、将虚拟空间的N个Blockid与R个副本建立映射关系表；A4、根据Blockid通过数组下标取值，以O(1)的时间复杂度取到对应的副本Replicaid。所述的ServerSAN系统多副本读取方法，其中，所述映射关系表的数据量为：R*N条记录。所述的ServerSAN系统多副本读取方法，其中，所述步骤B具体包括：B1、每1秒选择采样对IO进行标记，记录其发起时间与完成时间，时间差为本次IO的延迟;B2、根据R个副本IO延迟的差距，对副本的权重进行调整；B3、调整过程如下：先回收IO请求，再分配；即根据收集的IO延迟数据统计出需回收的副本Replicaid，再根据预设的延迟阈值与IO延迟数据计算出需要回收的Blockid数量，再分配至其它副本Replicaid。所述的ServerSAN系统多副本读取方法，其中，所述步骤C具体包括：C1、当当前存储介质出现异常无法完成IO操作时，则将对应的副本Replicaid设置为异常状态，并且将访问权重设置为0;C2、对IO请求进行HandOff操作，切换至运行正常的副本Replicaid；C3、根据映射关系表对异常状态的副本Replicaid对应的Blockid全部回收，分配至运行正常的副本Replicaid。一种存储架构，所述存储架构为ServerSAN，包括：控制主机、策略主机、存储主机；所述控制主机中构建有虚拟磁盘，并用于管理虚拟磁盘的生命周期，完成数据的接收、缓存、转发功能；所述策略主机用于承担ServerSAN的元数据管理，资源调度，以及数据信息的监控；所述存储主机由R个异构存储介质组成，用于冗余数据的存储；所述存储架构中存储有计算机程序，该计算机程序被控制主机和/或策略主机执行时实现上述任一项所述的ServerSAN系统多副本读取方法的步骤。本专利技术的有益效果：采用本专利技术的多副本读取方案，针对多读少写的应用场景，采用异构的存储介质，将其中一个数据副本存放在高速存储介质中，其他数据副本存放在低速存储介质中，根据运行过程中的负载情况，动态调整各存储介质的负载权重，可以近似达到异构设备中最快的存储设备的性能，同时能带来较大的成本效益，让客户花费较少的总拥有成本(TCO)，带来较好的系统性能。图5是本专利技术的ServerSAN异构存储设备多副本读取异常情况切换。附图说明图1是本专利技术一种存储架构较佳实施例的架构模块图。图2是本专利技术一种ServerSAN系统多副本读取方法较佳实施例的异构存储介质结构图。图3是本专利技术一种ServerSAN系统多副本读取方法较佳实施例的异构存储介质多副本读取模块图。图4是本专利技术一种ServerSAN系统多副本读取方法较佳实施例的映射关系表(DHT)示意图。图5是本专利技术一种ServerSAN系统多副本读取方法较佳实施例的读取异常情况切换示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例提供了一种ServerSAN系统多副本读取方法，请参见图2，如图所示，其采用控制主机-策略主机-存储主机的处理架构；其中存储主机由R个异构存储介质组成（本实施例中设置为3个异构存储介质）。具体包括如下步骤：A、控制主机的初始化构建：预先在控制主机中构建虚拟磁盘，对虚拟磁盘的地址空间进行划分，并建立副本以及构建所述副本与地址空间的映射关系表。所述步骤A具体包括：A1、将虚拟磁盘的地址空间划分为N个Blockid，Blockid从0开始顺序编号至N-1；A2、所述存储主机包括R个异构存储介质，并在虚拟磁盘中建立R个对应的副本，再对所述副本从Replicaid0到ReplicaidR-1进行顺序递增编号；A3、将虚拟空间的N个Blockid与R个副本建立映射关系表；A4、根据Blockid通过数组下标取值，以O(1)的时间复杂度取到对应的副本Replicaid。请参加图2，在本专利技术实施例中，图中虚拟磁盘的数据有3个数据副本，数据副本0的存储介质为SSD(固态硬盘)，数据副本1和数据副本2的存储介质为HDD(机械硬盘)。SSD的性能好，价格相对HDD高；在分布式系统中，通常采用副本的方式进行数据冗余，确保数据的安全性。以3个数据副本为例，如果每个副本都存放到SSD中，会造成数据存储的成本提升。本实施例中，采用3个异构存储介质进行构建ServerSAN系统多副本，可降低数据存储成本，对于读请求远超过写请求的应用场景能取的非常好的效果。通过对读请求的副本选择，将尽量多的读请求发送到SSD上的数据副本0，使得整体的读性能接近全SSD方案，但成本却比全SSD方案低。请参加图3，虚拟磁盘有3个副本，对副本从0开始进行编号（Replicaid），副本本文档来自技高网...

【技术保护点】
一种Server SAN系统多副本读取方法，其特征在于，所述Server SAN系统采用控制主机‑策略主机‑存储主机的处理架构；所述存储主机由R个异构存储介质组成；具体步骤包括：A、控制主机的初始化构建：预先在控制主机中构建虚拟磁盘，对虚拟磁盘的地址空间进行划分，并建立副本以及构建所述副本与地址空间的映射关系表；B、策略主机的动态调整：分别对R个存储介质进行定时采样，收集R个存储介质的IO延迟，并将超出预设延迟阈值的IO进行回收，分配至其它存储介质。

【技术特征摘要】
1.一种ServerSAN系统多副本读取方法，其特征在于，所述ServerSAN系统采用控制主机-策略主机-存储主机的处理架构；所述存储主机由R个异构存储介质组成；具体步骤包括：A、控制主机的初始化构建：预先在控制主机中构建虚拟磁盘，对虚拟磁盘的地址空间进行划分，并建立副本以及构建所述副本与地址空间的映射关系表；B、策略主机的动态调整：分别对R个存储介质进行定时采样，收集R个存储介质的IO延迟，并将超出预设延迟阈值的IO进行回收，分配至其它存储介质。2.根据权利要求1所述的ServerSAN系统多副本读取方法，其特征在于，所述步骤B之后还包括：C、策略主机的异常调整：在存储介质出现异常时，对IO请求进行Handoff操作，以将IO请求切换到正常运行的存储介质。3.根据权利要求1所述的ServerSAN系统多副本读取方法，其特征在于，所述步骤A具体包括：A1、将虚拟磁盘的地址空间划分为N个Blockid，Blockid从0开始顺序编号至N-1；A2、所述存储主机包括R个异构存储介质，并在虚拟磁盘中建立R个对应的副本，再对所述副本从Replicaid0到ReplicaidR-1进行顺序递增编号；A3、将虚拟空间的N个Blockid与R个副本建立映射关系表；A4、根据Blockid通过数组下标取值，以O(1)的时间复杂度取到对应的副本Replicaid。4.根据权利要求3所述的ServerSAN系统多副本读取方法，其特征在于，所述映射关系表的数据量为：R*N条记录。5.根据权利要求3所述的Serv...

【专利技术属性】
技术研发人员：张朝潞，
申请(专利权)人：深圳市云舒网络技术有限公司，
类型：发明
国别省市：广东,44