一种针对海量数据分布式存储的方法技术

本发明专利技术公开了一种针对海量数据分布式存储的方法，包括以下步骤：S1、建立元数据服务器集群，包括多个元数据节点；S2、建立数据服务器集群，包括多个数据节点；S3、在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述；S4、当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；S5、建立客户端，用于发送数据对象的操作请求并接受数据内容。本发明专利技术借鉴参照虚拟化设计思路，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高CPU的利用率；将集群本身作为一种虚拟资源调度，利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活。资源调度方式更灵活。资源调度方式更灵活。

【技术实现步骤摘要】
一种针对海量数据分布式存储的方法


[0001]本专利技术涉及数据存储
，具体为一种针对海量数据分布式存储的方法。

技术介绍

[0002]数据时代的来临使数据分析和处理能力成为数据中心和互联网公司日益倚重的技术手段；信息规模的扩大和数据结构的多样化，使海量数据存储成为大数据分析研究的热点；传统的分布式文件系统在扩展性、可靠性和数据访问性能等方面难以满足新形势下的需求。利用分布式存储系统代替集中储存方式，分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，也较容易扩展。但其仍有许多缺陷，例如，现有的基于Zookeeper(分布式的、开放源码的分布式应用程序协调服务)和HDFS(Hadoop Distributed FileSystem)的分布式存储系统维护不方便且容易数据丢失。

技术实现思路

[0003](一)解决的技术问题
[0004]针对现有技术的不足，本专利技术为了克服以上传统存储的缺点提供一种针对海量数据分布式存储方法，使存储系统维护更加方便且不容易数据丢失。
[0005](二)技术方案
[0006]为实现上述目的，本专利技术提供如下技术方案：一种针对海量数据分布式存储的方法，包括以下步骤：
[0007]S1：建立元数据服务器集群，包括多个元数据节点；
[0008]S2：建立数据服务器集群，包括多个数据节点；
[0009]S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述；
[0010]S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；
[0011]S5：建立客户端，用于发送数据对象的操作请求并接受数据内容；
[0012]S6：建立集群存储池，用于操作客户端发送的数据对象。
[0013]优选的，S1中元数据节点的数量为10
‑
30个。
[0014]优选的，S2中数据节点的数量为10
‑
30个。
[0015]优选的，虚拟化节点，用于承担分布式存储集群内的计算工作。
[0016]优选的，通过客户端请求存储对象分布式存储系统对被存储文件进行条带化处理，分成若干块文件块。
[0017]优选的，被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点。
[0018]优选的，分布式存储系统在存储每个被存储文件时，对该存储文件进行条带化处理。
[0019]优选的，被存储文件的文件块布置与若干存储节点后，再存储下一个被存储文件。
[0020](三)有益效果
[0021]与现有技术相比，本专利技术提供了一种针对海量数据分布式存储的方法，具备以下有益效果：
[0022]本专利技术借鉴参照虚拟化设计思路，搭建了一个虚拟化平台系统，更大地发挥所有物理机的计算和处理能力，提高CPU的利用率；将集群本身作为一种虚拟资源调度，利用虚拟资源调度器动态分配、使用、回收以及再分配，资源调度方式更灵活；在逻辑上，虚拟集群控制器将原有的多节点集群的规模扩大数倍甚至数十倍，也大大的提升了分布式文件存储系统的整体处理能力；通过虚拟资源调度器能够在磁盘容量不变以及网络不变的情况下，弹性的扩展虚拟集群控制器的处理能力，可以满足海量数据分布式存储应用的需求。
附图说明
[0023]图1为分布式存储概念图。
具体实施方式
[0024]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。图1 为分布式存储概念图。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]实施例一：
[0026]一种针对海量数据分布式存储的方法，包括以下步骤：
[0027]S1：建立元数据服务器集群，包括10个元数据节点；
[0028]S2：建立数据服务器集群，包括10个数据节点；
[0029]S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述，被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点，分布式存储系统在存储每个被存储文件时，对该存储文件进行条带化处理，被存储文件的文件块布置与若干存储节点后，再存储下一个被存储文件；
[0030]S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；
[0031]S5：建立客户端，用于发送数据对象的操作请求并接受数据内容，通过客户端请求存储对象分布式存储系统对被存储文件进行条带化处理，分成若干块文件块；
[0032]S6：建立集群存储池，用于操作客户端发送的数据对象。
[0033]实施例二：
[0034]一种针对海量数据分布式存储的方法，包括以下步骤：
[0035]S1：建立元数据服务器集群，包括12个元数据节点；
[0036]S2：建立数据服务器集群，包括12个数据节点；
[0037]S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述，被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点，分布式存储系统在存储每个被存储文件时，对该存储文件进行条带化处理，被存储文件的文件块
布置与若干存储节点后，再存储下一个被存储文件；
[0038]S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；
[0039]S5：建立客户端，用于发送数据对象的操作请求并接受数据内容，通过客户端请求存储对象分布式存储系统对被存储文件进行条带化处理，分成若干块文件块；
[0040]S6：建立集群存储池，用于操作客户端发送的数据对象。
[0041]实施例三：
[0042]一种针对海量数据分布式存储的方法，包括以下步骤：
[0043]S1：建立元数据服务器集群，包括14个元数据节点；
[0044]S2：建立数据服务器集群，包括14个数据节点；
[0045]S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述，被存储文件的若干文件块分别存储于分布式存储系统的若干存储节点，分布式存储系统在存储每个被存储文件时，对该存储文件进行条带化处理，被存储文件的文件块布置与若干存储节点后，再存储下一个被存储文件；
[0046]S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；
[0047]S5：建立客户端，用于发送数据对象的操作请求并接受数据内容，通过客户端请求存储对象分布式存储系统对被存储文件进行条带化处理，分成若干块文件块；
[0048]S6：建立集群存储池，用于操作客户端发送的数据对象。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对海量数据分布式存储的方法，其特征在于，包括以下步骤：S1：建立元数据服务器集群，包括多个元数据节点；S2：建立数据服务器集群，包括多个数据节点；S3：在各个数据节点上存储对象数据及对象元数据，通过对象云数据对对象数据进行描述；S4：当云数据服务器集群无法使用使，由至少一个数据节点代理元数据节点控制对象数据写入数据节点；S5：建立客户端，用于发送数据对象的操作请求并接受数据内容；S6：建立集群存储池，用于操作客户端发送的数据对象。2.根据权利要求1所述的一种针对海量数据分布式存储的方法，其特征在于，S1中元数据节点的数量为10
‑
30个。3.根据权利要求2所述的一种针对海量数据分布式存储的方法，其特征在于，S2中数据节点的数量为10
‑

【专利技术属性】
技术研发人员：张刚峰，张红岩，张玉峰，
申请(专利权)人：南京坤爵信息技术有限公司，
类型：发明
国别省市：