基于多SDN控制器与软硬件协同的大规模集群存储系统架构技术方案

本发明专利技术涉及集群存储技术领域，具体涉及一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，通过存储层中设置的多个存储服务器对海量的数据进行存储，然后通过多个SDN交换机和存储服务器连接以进行数据交换，其中多个所述SDN交换机可以周期性地进行交换域的划分，使得所述控制器可以更好地控制，所述控制器在系统运行的不同时期负载也不同，因此可以周期性的进行主控器和从控制器的划分以利用较为限制的控制器作为主控器使用，可以提高管控能力，所述FPGA硬件加速器基于FPGA硬件加速器支撑，可以在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。存储系统的性能。存储系统的性能。

【技术实现步骤摘要】
基于多SDN控制器与软硬件协同的大规模集群存储系统架构


[0001]本专利技术涉及集群存储
，尤其涉及一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构。

技术介绍

[0002]传统集群存储系统易受到磁盘数量、所连接物理服务器数量、内存大小等物理因素限制，形成存储系统的瓶颈。其扩容方式往往采用纵向扩展，即采用硬件方式加强单个存储模块的性能，这种处理方式不仅费用高昂，且难以避免单点故障所带来的服务中断。同时由于缺乏统筹的管理模式，难以进行全局的数据分布与负载均衡，严重影响了存储系统的服务质量。
[0003]以云存储为代表的新兴集群存储技术的兴起与发展，为海量数据的存储和管理提供了一个良好的解决方案。云存储采用虚拟化技术，可通过横向扩展多台低端小容量存储设备组成存储集群，统一对外提供存储服务。然而，云存储系统的复杂程度会随着系统规模的增加呈指数型增长，系统需要将成千上万个节点集成在一起，网络链路及网络拓扑等基础设施的管理更加复杂，简单地扩展存储节点和交换机等硬件设备则难以满足海量数据的存取性能要求。

技术实现思路

[0004]本专利技术的目的在于提供一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，旨在提高集群存储系统在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。
[0005]为实现上述目的，本专利技术提供了一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，包括存储层，所述存储层和多个SDN交换机连接，多个所述SDN交换机经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层连接，所述软硬件协同控制层包括控制器和FPGA硬件加速器，多个所述控制器周期性进行主控制器和从控制器划分；
[0006]所述存储层，用于存储数据；
[0007]所述SDN交换机，用于进行数据交换；
[0008]所述控制器，用于管理所连接的交换域中的所述SDN交换机和存储层；
[0009]所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化。
[0010]其中，所述多个所述控制器周期性进行主控制器和从控制器划分的具体步骤是：
[0011]主控制器向所有从控制器发送控制器负载信息请求；
[0012]所有从控制器向主控制器返回负载信息；
[0013]主控制器根据接收的控制器负载信息进行排序，选出负载最小的从控制器为下一时刻的主控制器；
[0014]主控制器数据迁移，并启动新的主控制器。
[0015]其中，所述负载信息包括控制器计算能力、所在域交换机和主机数量、接收包数量。
[0016]其中，所述多个所述SDN交换机经过划分形成多个交换域的具体步骤包括：
[0017]参数初始化；
[0018]计算节点游走的概率分布，得出节点序列，以网络中每一个节点作为初始点，然后根据概率分布和节点序列长度得出一个节点序列，迭代预设次数后得到最终节点序列；
[0019]将得到的最终节点序列训练得出节点向量；
[0020]通过聚类算法对节点向量进行聚类，得出交换机归属的控制器；
[0021]若交换机归属的控制器发生改变，则进行交换机迁移。
[0022]其中，所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化具体包括：提高集群存储系统在多副本写入场景下的流调度效率；提高集群存储系统在多副本读取场景下的流调度效率；提高集群存储系统在纠删码节点修复场景下的流调度效率。
[0023]其中，所述提高集群存储系统在多副本写入场景下的流调度效率的具体步骤是：
[0024]根据组播业务流对网络性能的需求对其进行优先级区分；
[0025]利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；
[0026]SDN控制器在收到组播路径计算任务时，将路径的计算参数上传至FPGA硬件加速器；
[0027]FPGA硬件加速器将计算好的组播路径发回SDN控制器，SDN控制器根据计算好的路径信息向各SDN交换机下发流表。
[0028]其中，所述上传参数包括当前的网络状态信息、组播业务流的类型、业务流的源节点与目的节点集合。
[0029]本专利技术的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，通过存储层中设置的多个存储服务器对海量的数据进行存储，然后通过多个SDN交换机和存储服务器连接以进行数据交换，其中多个所述SDN交换机可以周期性地进行交换域的划分，使得所述控制器可以更好地控制，所述控制器在系统运行的不同时期负载也不同，因此可以周期性的进行主控器和从控制器的划分以利用负载较低的控制器作为主控器使用，可以提高管控能力，所述FPGA硬件加速器基于FPGA硬件加速器支撑，可以在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本专利技术的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构的结构图；
[0032]图2是本专利技术的主从结构的多控制器集群化管理模型图；
[0033]图3是本专利技术的二阶随机游走策略图；
[0034]图4是本专利技术的多个所述控制器周期性进行主控制器和从控制器划分的流程图；
[0035]图5是本专利技术的多个所述SDN交换机经过划分形成多个交换域的流程图；
[0036]图6是本专利技术的提高集群存储系统在多副本写入场景下的流调度效率的流程图。
[0037]1‑
存储层、2
‑
SDN交换机、3
‑
软硬件协同控制层、31
‑
控制器、32
‑
FPGA硬件加速器。
具体实施方式
[0038]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0039]请参阅图1～图5，本专利技术提供一种基于多SDN控制器31与软硬件协同的大规模集群存储系统架构：包括存储层1，所述存储层1和多个SDN交换机2连接，多个所述SDN交换机2经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层3连接，所述软硬件协同控制层3包括控制器31和FPGA硬件加速器32，多个所述控制器31周期性进行主控制器31和从控制器31划分；
[0040]所述存储层1，用于存储数据；
[0041]所述SDN交换机2，用于进行数据交换；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，包括存储层，所述存储层和多个SDN交换机连接，多个所述SDN交换机经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层连接，所述软硬件协同控制层包括控制器和FPGA硬件加速器，多个所述控制器周期性进行主控制器和从控制器划分；所述存储层，用于存储数据；所述SDN交换机，用于进行数据交换；所述控制器，用于管理所连接的交换域中的所述SDN交换机和存储层；所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化。2.如权利要求1所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，所述多个所述控制器周期性进行主控制器和从控制器划分的具体步骤是：主控制器向所有从控制器发送控制器负载信息请求；所有从控制器向主控制器返回负载信息；主控制器根据接收的控制器负载信息进行排序，选出负载最小的从控制器为下一时刻的主控制器；主控制器数据迁移，并启动新的主控制器。3.如权利要求2所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，所述负载信息包括控制器计算能力、所在域交换机和主机数量、接收包数量。4.如权利要求3所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，所述多个所述SDN交换机经过划分形成多个交换域的具体步骤包括：参数初始化；计算节点游走的概率分布，得出节点序列，以网络中...

【专利技术属性】
技术研发人员：王勇，柯文龙，陈俊彦，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：