一种元数据与数据共同存储的分布式存储系统技术方案

本发明专利技术提供一种元数据与数据共同存储的分布式存储系统，采用4层的分层架构，包括：物理层、元数块层、共识层及微元数据层，微元数据层存储微元数据，共识层用于提供共识机制，向上提供共识服务以供微元数据层调用，微元数据通过共识层共识服务后进行数据的写入及修改操作，采用并行拜占庭容错算法，可同时修改多个文件且共识速度快，分布式存储系统仅有多个数据节点，没有元数据服务器，微元数据层、共识层及元数块层这3层的所有数据都采用分布式的存储方法存储在各个数据节点中；物理层包括分布式存储系统所实施的分布式存储方法的所有物理节点，即服务器节点，数据、元数块层、共识层以及微元数据层位于物理层以上，都运行在服务器节点以上。务器节点以上。务器节点以上。

【技术实现步骤摘要】
一种元数据与数据共同存储的分布式存储系统


[0001]本专利技术属于区块链
和分布式存储领域，特别涉及分布式存储的管理方案，以及将元数据与数据共同存储的相关技术，即一种元数据与数据共同存储的分布式存储系统。

技术介绍

[0002]分布式存储系统可以将完整的数据分成多个部分分别存储在物理上分散的多个存储节点上,通过对这些节点进行统一的管理即可完成数据的存储和访问。元数据是一个分布式存储系统的关键所在，元数据主要存储的是分布式存储中各个文件的位置信息，通过访问元数据服务器才可以确定具体文件的位置，从而对文件进行写入以及访问操作，如果元数据服务器出现故障或者被人为攻陷，则整个分布式存储系统将会瘫痪，目前的分布式系统的元数据的管理方案主要有以下三种类型：1、集中式元数据管理模型：集中式是指通过元数据服务器对所有访问请问和数据进行集中管理，客户端只有通过元服务器的寻址才能获得所需的数据，这种元数据管理模式在实现思路上非常简单，有利于系统的后期扩展，因而在分布式系统应用初期有着广泛应用。但随着存储节点的增加，元服务器将逐步成为系统性能的瓶颈，并且很难解决元服务器的单点故障问题，因而在可靠性上有较大缺陷。集中式的分布式存储系统的管理模型如图1（a）所示，在这种元数据管理模式下，一旦元数据服务器遭到攻击，则整个存储系统将会有问题。
[0003]2、分布式元数据管理模型其基本思路是采用一个分布式计算机集群来代替元服务器，解决了单点故障和性能瓶颈问题。在元服务器集群中，各节点通过内部的数据同步机制来保证数据的一致性。 然而这种同步会带来较大的性能开销，并且存在由于同步出错导致数据不一致的风险，对于大规模分布式存储系统而言，这些问题表现得更加明显。如图1（b）所示为分布式元数据管理模型示意图。对于这种元数据管理模式，其元数据的数据同步将会消耗大量资源，且如果管理元数据节点的集群系统出现问题，整个分布式存储系统将会崩溃。
[0004]3、无元数据单独管理模型在这种模型，数据还是有元数据（例如哈希），只是元数据和数据存在一起，因为元数据并不单独存证，有的时候这称为“无元数据模型”。这种模型是为解决元数据模型被攻击而提出来。它将数据拆分后存储到不同的节点上，由哈希算法确定各部分数据的存储位置，数据的访问同样需要经过哈希算法来寻址，因而系统内部会存在较多的表单和缓存，这种基于哈希计算的存储模式复杂度极高，增加了系统维护难度。
[0005]因此，需要设计一种元数据与数据共同存储的分布式存储系统及方法，以保证元数据服务器不被攻破，从而保证数据的安全性。

技术实现思路

[0006]本专利技术为了解决现有技术存在的一项或多项技术问题，创造性的提供一种元数据与数据共同存储的分布式存储系统，以保证元数据服务器不被攻破，从而保证数据的安全性。
[0007]本专利技术的目的在于提供一种元数据与数据共同存储的分布式存储系统，采用4层的分层架构，包括：物理层、元数块层、共识层以及微元数据层，所述微元数据层存储微元数据，所述共识层用于提供共识机制，保证所述微元数据的同步共识过程，所述共识层主要向上提供共识服务，以供所述微元数据层调用，所述微元数据通过所述共识层提供的共识服务后可以进行数据的写入以及修改操作，由于采用并行拜占庭容错算法，可以同时修改多个文件，且共识速度优于其他的共识算法，所述分布式存储系统仅有多个数据节点，没有元数据服务器，所述微元数据层、所述共识层以及所述元数块层这3层的所有数据都采用分布式的存储方法存储在各个所述数据节点中，从而元数据与数据共同存储的方案使得分布式存储系统几乎无法被攻破，大大保证了数据存储的安全性；所述物理层包括所述分布式存储系统所实施的分布式存储方法的所有物理节点，即服务器节点，数据、所述元数块层、所述共识层以及所述微元数据层位于所述物理层以上，都运行在所述服务器节点以上，在所述服务器节点之外不再提供专门的存储元数据的服务器。
[0008]优选的，所述微元数据包括所述微元数据层仅存储的某些数据块的位置，只包含一微元数据或者多微元数据，所述微元数据安全性性和可靠性加固，包括：（1）将所述微元数据使用任何适用的加密算法均进行加密；（2）在多微元数据环境下，所述微元数据存储同样信息或是重叠信息；（3）在多微元数据环境下，所述微元数据需要共识机制实施共识，如果所述微元数据存储同样信息，所有所述微元数据使用可以接受的共识机制协议；（4）在多微元数据环境下，所述微元数据需要共识机制实施共识，如果所述微元数据存储不同信息，一组微元数据保护同样部分信息的，使用可以接受的共识机制协议；（5）对于一个信息包，相关的元数据需要进行共识；（6）采用更复杂架构，所述复杂架构都是简单方案组合而成。
[0009]优选的，所述微元数据的数据结构仅包含文件的某一分块的位置信息，微元数据的写入以及修改需要通过共识层的共识算法，通过每一台机器或者部分机器进行共识之后进行数据的修改以及写入；微元数据的位置索引信息仅包含该文件的某一数据块的具体位置即可，例如如果文件被分为了5个数据块，则微元数据的位置信息仅需包含1到5数据块的任一数据块的位置信息即可，通过任一数据块都可读取到完整的数据，其数据结构将会是双向链表的或双向树结构。
[0010]优选的，所述元数块层内包含多个元数块，每个元数块内具有元数据和数据，一个元数块将元数据和数据存在一起，并且使用：（1）加密算法将元数块加密；（2）新安全协议来加固元数块块的安全性，保护元数块的安全。不同元数块内的元数据可以使用不同方案加固元数块的安全性。
[0011]（3）可以使用任何冗余容错架构维持存储协议的决定结构存储。
[0012]（4）元数块体积固定，多个元数块可以组成一个大元数块，多个大元数块可以组成一个大大元数块，这样多种固定体积的元数据可以使用。
[0013]（5）元数块，大元数块，大大元数块，以及后面更大体积的元数块，在这些不同体积的元数块的组织、架构、算法上使用相同或不同的数据结构、组织方式、架构、算法。
[0014]优选的，所述元数块数据结构和算法：元数块存储分块数据以及各个分块数据的元数据信息，所述元数块采用五种存储方案中的任意一种，包括：（1）单向指向：元数块使用单链接方式连接，最后一个元数块指向第一块，成为环状，增加可靠性；（2）双向指向：数据的组织形式采用双向链表的形式，数据文件被分为了多块数据块，每一块数据块由该分块的元数据和分块数据合并组成，元数据中采用双向链表的结构，指向该分块的下一块以及上一块的分块，其中每个分块元数据信息的内容包括，分片数，是否乱序存储，分片的次序数组，以及上一块数据以及下一块数据的位置信息；（3）树结构：元数块的组织形式采用双向树形结构的形式，数据文件被分为了多块数据块，每一块数据块由该分块的元数据和分块数据合并组成，元数据中采用双向树形的结构，除根分块外，每一个分块都指向该分块的左子树右子树以及父节点，其中每个分块元数据信息的内容包括，分片数，是否乱序存储，分片的次序数组，以及左子树数据、右子树数据和父节点数据的位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据与数据共同存储的分布式存储系统，采用4层的分层架构，其特征在于包括：物理层、元数块层、共识层以及微元数据层，所述微元数据层存储微元数据，所述共识层用于提供共识机制，保证所述微元数据的同步共识过程，所述共识层主要向上提供共识服务，以供所述微元数据层调用，所述微元数据通过所述共识层提供的共识服务后可以进行数据的写入以及修改操作，由于采用并行拜占庭容错算法，可以同时修改多个文件，且共识速度优于其他的共识算法，所述分布式存储系统仅有多个数据节点，没有元数据服务器，所述微元数据层、所述共识层以及所述元数块层这3层的所有数据都采用分布式的存储方法存储在各个所述数据节点中，从而元数据与数据共同存储的方案使得分布式存储系统几乎无法被攻破，大大保证了数据存储的安全性；所述物理层包括所述分布式存储系统所实施的分布式存储方法的所有物理节点，即服务器节点，数据、所述元数块层、所述共识层以及所述微元数据层位于所述物理层以上，都运行在所述服务器节点以上，在所述服务器节点之外不再提供专门的存储元数据的服务器。2.根据权利要求1所述的一种元数据与数据共同存储的分布式存储系统，其特征在于：所述微元数据包括所述微元数据层仅存储的某些数据块的位置，只包含一微元数据或者多微元数据，所述微元数据安全性性和可靠性加固，包括：（1）将所述微元数据使用任何适用的加密算法均进行加密；（2）在多微元数据环境下，所述微元数据存储同样信息或是重叠信息；（3）在多微元数据环境下，所述微元数据需要共识机制实施共识，如果所述微元数据存储同样信息，所有所述微元数据使用可以接受的共识机制协议；（4）在多微元数据环境下，所述微元数据需要共识机制实施共识，如果所述微元数据存储不同信息，一组微元数据保护同样部分信息的，使用可以接受的共识机制协议；（5）对于一个信息包，相关的元数据需要进行共识；（6）采用更复杂架构，所述复杂架构都是简单方案组合而成。3.根据权利要求1所述的一种元数据与数据共同存储的分布式存储系统，其特征在于：所述微元数据的数据结构仅包含文件的某一分块的位置信息，微元数据的写入以及修改需要通过共识层的共识算法，通过每一台机器或者部分机器进行共识之后进行数据的修改以及写入；微元数据的位置索引信息仅包含该文件的某一数据块的具体位置即可，例如如果文件被分为了5个数据块，则微元数据的位置信息仅需包含1到5数据块的任一数据块的位置信息即可，通过任一数据块都可读取到完整的数据，其数据结构将会是双向链表的或双向树结构。4.根据权利要求1所述的一种元数据与数据共同存储的分布式存储系统，其特征在于：所述元数块层内包含多个元数块，每个元数块内具有元数据和数据，一个元数块将元数据和数据存在一起，并且使用：（1）加密算法将元数块加密；（2）新安全协议来加固元数块块的安全性，保护元数块的安全。5.不同元数块内的元数据可以使用不同方案加固元数块的安全性；（3）可以使用任何冗余容错架构维持存储协议的决定结构存储；（4）元数块体积固定，多个元数块可以组成一个大元数块，多个大元数块可以组成一个
大大元数块，这样多种固定体积的元数据可以使用；（5）元数块，大元数块，大大元数块，以及后面更大体积的元数块，在这些不同体积的元数块的组织、架构、算法上使用相同或不同的数据结构、组织方式、架构、算法；根据权利要求4所述的一种元数据与数据共同存储的分布式存储系统，其特征在于：所述元数块数据结构和算法包括：元数块存储分块数据以及各个分块数据的元数据信息，所述元数块采用五种存储方案中的任意一种，包括：（1）单向指向：元数块使用单链接方式连接，最后一个元数块指向第一块，成为环状，增加可靠性；（2）双向指向：数据的组织形式采用双向链表的形式，数据文件被分为了多块数据块，每一块数据块由该分块的元数据和分块数据合并组成，元数据中采用双向链表的结构，指向该分块的下一块以及上一块的分块，其中每个分块元数据信息的内容包括，分片数，是否乱序存储，分片的次序数组，以及上一块数据以及下一块数据的位置信息；（3）树结构：元数块的组织形式采用双向树形结构的形式，数据文件被分为了多块数据块，每一块数据块由该分块的元数据和分块数据合并组成，元数据中采用双向树形的结构，除根分块外，每一个分块都指向该分块的左子树右子树以及父节点，其中每个分块元数据信息的内容包括，分片数，是否乱序存储，分片的次序数组，以及左子树数据、右子树数据和父节点数据的位置信息，其中可以采用2叉树、2
‑
3树，3叉树，B...

【专利技术属性】
技术研发人员：蔡维德，
申请(专利权)人：天民青岛国际沙盒研究院有限公司，
类型：发明
国别省市：