一种分布式文件存储系统及方法技术方案

本发明专利技术公开了一种分布式文件存储系统及方法。其系统包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于数据对象的操作；所述集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；该虚拟化平台系统包括虚拟集群控制器，用于承担集群内的计算工作；虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。通过这种新的方式克服传统的分布式文件存储系统中处理器计算资源大量闲置以及系统扩展不灵活的缺点，提升整个分布式存储系统的性能和灵活性。

【技术实现步骤摘要】
一种分布式文件存储系统及方法
本专利技术涉及一种数据读写存储系统，特别是一种分布式文件存储系统及方法。
技术介绍
随着数字化应用的不断创新和深化，数据呈爆炸式海量增长态势，其中非结构化数据的增长尤为迅速和显著，据统计，全球数据量每18个月翻一番，其中，80％是以图片、音视频、文件为主的非结构化数据。随着web3.0、云计算、云存储等新兴的商业与服务模式的兴起，以个人为核心的“自媒体”时代将全面到来，势必进一步推动非结构化数据的激增。海量数据的存储管理需要全新的存储架构，其中，弹性、灵活是面向海量非结构化数据存储的一个重要特征。目前，分布式文件存储是解决海量非结构化数据存储的常用解决方案，为满足云计算、云存储实际业务的性能需求，根据分布式文件系统设计架构三方分离的原则，需要将其构建在分布式集群节点之上。针对云计算环境中大规模的应用客户端IO访问，元数据模块需要支撑较高的并发访问请求，因而构建在高性能、大容量服务器集群之上；而作为云计算应用中数据存储载体的分布式文件系统的数据存储模块，其显著特点则是通过后端成千上万的数据存储设备提供实时、持续可用的数据存储空间，并支持分布式文件系统客户端模块的大容量、多并发读取和写入数据。当前常用的分布式系统实现架构，采用多个X86服务器作为1个分布式集群节点，每个集群节点上配置单路或双路CPU，提供计算能力。加上内存，磁盘等资源，在操作系统和分布式系统调度下，形成一个单节点的集群控制器，承担该集群内部的所有计算任务。当性能不够时，在物理上增加集群节点，获得更多的集群控制能力；集群节点扩展的同时，磁盘、节点间互联的万兆端口也同步扩展。该架构有几个明显的问题：1、资源利用率低下，随着处理器技术的进步，多核处理器进一步成熟，一路物理CPU可提供的吞吐能力已远远超过内存和后端磁盘系统的能力，并且只需少量的CPU处理性能就可以将单套软件系统的性能完全发挥(软件系统的进程数、线程数都存在上限)，CPU的计算资源大量处于闲置状态。2、扩展不灵活，必须是全对称扩展，即集群控制器和存储网络、存储磁盘必须同步扩展，无法单独扩展容量、计算能力，建设复杂，投入高昂。
技术实现思路
本专利技术的目的在于提供一种分布式文件存储系统及方法，克服传统的分布式文件存储系统中CPU的计算资源大量闲置以及系统扩展不灵活的缺点,提升了整个分布式存储系统的性能和灵活性。本专利技术的目的是通过以下技术方案实现的：一种分布式文件存储架构系统，包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于操作所述客户端发送的数据对象；集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；该虚拟化平台系统包括虚拟集群控制器和虚拟资源调度器；虚拟集群控制器，用于承担集群内的计算工作；虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。进一步，虚拟集群控制器的底层共享所有磁盘的存储资源；该磁盘选用固态硬盘SSD或其他高速存储介质，其上层包括CPU、内存和总线。进一步，虚拟资源调度器是资源管理和分配模块，用于动态分配、使用或回收虚拟集群控制器。进一步，虚拟集群控制器中设有角色控制器，用于赋予该虚拟集群控制器以不同的逻辑标签，比如存储虚拟机，计算虚拟机，管理虚拟机，仲裁虚拟机等。将集群控制器中功能实现不同的群组划分为多个子集群，实现控制路径和数据路径的分离，符合软件定义存储的开放性设计要求。实现上述分布式文件存储系统的方法，包括如下步骤：初始化，预配置虚拟集群控制器；判断所述虚拟集群控制器是否出现数据热点或访问高峰；若出现数据热点或访问高峰，则虚拟资源调度器执行增加虚拟集群控制器的数量的操作；数据热点或访问高峰结束之后，则虚拟资源调度器执行减少虚拟集群控制器的数量的操作。进一步，预配置虚拟集群控制器包括：选择虚拟机的硬件格式；选择要创建的虚拟机类型及要运行的操作系统；选择虚拟机中CPU的数量；设置虚拟机使用的内存；设置虚拟机网卡。进一步，判断是否出现数据热点或访问高峰包括：获取系统核心资源的分配、使用、和剩余情况，通过算法得出系统使用状态表征数值；将系统使用状态表征数值与阈值比较，若其大于阈值，判定为系统出现数据热点或访问高峰；若系统使用状态表征数值不大于该阈值，判定为系统数据热点或访问高峰未出现或是系统数据热点或访问高峰结束。若判定系统数据热点或访问高峰未出现，则保持系统原有的虚拟集群控制器的数量；若判定系统数据热点或访问高峰出现，则需虚拟资源调度器执行增加虚拟集群控制器的数量的操作，且判定系统数据热点或访问高峰结束后，虚拟资源调度器执行减少虚拟集群控制器的数量的操作。虚拟资源调度器执行增加虚拟集群控制器的数量的操作具体包括，虚拟资源调度器调用程序启动更多的虚拟集群控制器来分担原有虚拟集群控制器的工作负载，达到平衡优化的目的。虚拟资源调度器执行减少虚拟集群控制器的数量的操作具体包括，虚拟资源调度器调用程序回收和关闭过量的虚拟集群控制器，不仅平衡了工作负载，同时达到了节能的目的。进一步，获取系统核心资源的分配、使用和剩余情况包括：获取虚拟集群控制器的CPU的线程和进程、内存或磁盘状态的负载数据。本专利技术的有益效果如下：本专利技术的分布式文件存储系统，参照虚拟化设计思路，引入虚拟资源调度器和虚拟集群控制器的概念，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高了CPU的利用率；将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活；在逻辑上，虚拟集群控制器将原有的多节点集群的规模扩大数倍甚至数十倍，也大大的提升了分布式文件存储系统的整体处理能力；通过虚拟资源调度器能够在磁盘容量不变以及互联网络不变的情况下，弹性的扩展虚拟集群控制器的处理能力，可以满足计算密集型文件存储应用的性能要求。附图说明图1是本专利技术第一实施例的一种分布式文件存储系统示意图；图2是本专利技术第二实施例的一种分布式文件存储系统示意图；图3是本专利技术第三实施例的一种分布式文件存储系统的实现方法的流程图；图4是本专利技术第四实施例的一种分布式文件存储系统的实现方法的流程图；图5是当前常用的分布式文件存储系统示意图。图中：1、客户端2、集群存储池3、虚拟集群控制器4、虚拟资源调度器5、磁盘具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。实施例1：图1给出本专利技术第一实施例的一种分布式文件存储系统示意图。如图1所示，所述系统包括客户端1，用于发送数据对象的操作请求并接收数据内容；集群存储池2，用于操作所述客户端1发送的数据对象；传输网络，用于连接所述客户端1和所述集群存储池2；该集群存储池2包括多台传统的X86服务器，且在每台服务器上部署虚拟化平台系统，将单个集群控制器演变为多个虚拟化集群控制器。其中，虚拟化平台系统包括虚拟集群控制器3和虚拟资源调度器4；该虚拟集群控制器3，用于承担集群内的计算工作；该虚拟资源调度器4，用于集群内虚拟化管理和虚拟资源调度。本系统将集群控制器本身作为一种虚拟资源调度，可利用虚拟资源调度器4动态分配、使用、回收以及再分配，资源调度方式更灵活；在逻辑上，虚拟集群控制器3将原有的多节点集群的规模扩大数倍甚至数十倍，也大大的提升了分布式文件存储系统的整体处理本文档来自技高网...

【技术保护点】
一种分布式文件存储系统，包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于操作所述客户端发送的数据对象；其特征在于，所述集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；所述虚拟化平台系统包括虚拟集群控制器和虚拟资源调度器；所述虚拟集群控制器，用于承担集群内的计算工作；所述虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度。

【技术特征摘要】
1.一种分布式文件存储系统，包括客户端，用于发送数据对象的操作请求并接收数据内容；集群存储池，用于操作所述客户端发送的数据对象；其特征在于，所述集群存储池包括多台物理机，每台物理机均部署虚拟化平台系统；所述虚拟化平台系统包括虚拟集群控制器和虚拟资源调度器；所述虚拟集群控制器，用于承担集群内的计算工作；其中，所述虚拟集群控制器中设有角色控制器，用于赋予该虚拟集群控制器以不同的逻辑标签，其中，逻辑标签用于根据功能对虚拟集群控制器进行划分，逻辑标签包括下述至少一项：存储虚拟机，计算虚拟机，管理虚拟机和仲裁虚拟机；所述虚拟资源调度器，用于集群内虚拟化管理和虚拟资源调度；其中，所述虚拟资源调度器是资源管理和分配的模块，用于动态分配、使用或回收虚拟集群控制器。2.根据权利要求1所述的分布式文件存储系统，其特征在于，所述虚拟集群控制器的底层共享所有磁盘的存储资源；其上层包括CPU、内存和总线。3.一种分布式文件存储系统的实现方法，其特征在于，包括如下步骤：初始化，预配置虚拟集群控制器，其中，虚拟集群控制器中设有角色控制器，用于赋予该虚拟集群控制器以不同的逻辑标签，其中，逻辑标...

【专利技术属性】
技术研发人员：阮薛平，
申请(专利权)人：北京联创信安科技有限公司，
类型：发明
国别省市：北京;11