一种实现元数据集群的方法及元数据集群技术

本发明专利技术公开了一种实现元数据集群的方法及元数据集群，所述方法包括：主节点接收客户端发送的操作元数据命令；在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。本发明专利技术为分布式系统以及分布式文件系统的元数据信息查询、定位和修改等提供了优越的性能和高可用性。本发明专利技术在权衡性能和一致性的前提下，实现了工业上的应用需求。

【技术实现步骤摘要】

本专利技术涉及数据管理技术，尤指一种实现元数据集群的方法及元数据集群。
技术介绍
现如今大数据时代的兴起，不仅引起了海量数据的数据挖掘，同样也带动了海量数据的存储。在移动互联网爆发的同时，大量的数据的存储变成了业内普遍存在的问题。如何保证千万级，亿级的数据量，PB级的存储的可靠性，高效性，成了业内普遍研究的问题。从小规模公司到大规模公司，都会存在这样的问题，尤其是互联网公司每日产生的用户日志、数据和信息等等的存储。—般在分布式系统中，尤其是分布式文件系统中，对于元数据的存储是独立存储。在分布式文件系统中，元数据只是描述文件存储位置、属性以及文件副本等信息的数据。这些数据一般是独立存储在单独的服务器中。例如，HDFSUustre分布式文件系统，但是以上文件系统为防止单点故障，均采用的是HA，双机互备的方案，但是往往两个节点无法满足继续扩展的集群规模，所以一些分布式文件系统例如，ceph等，采用的集群式的管理元数据。但是，在集群中的元数据服务器实现性能和一致性的双重保证往往是个难题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种实现元数据集群的方法及元数据集群，能够实现元数据集群性能的线性扩展，以及极高的可用性和可靠性。为了达到本专利技术目的，本专利技术提供了一种实现元数据集群的方法，所述元数据集群包含N (N > I)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括:所述主节点接收客户端发送的操作元数据命令；所述主节点在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；所述主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M > O)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。进一步地，所述方法还包括:如果所述主节点宕机，则多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。 进一步地，所述方法还包括:所述主节点接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。进一步地，一种实现元数据集群的方法，所述元数据集群包含N(N> I)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括:所述从节点接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；所述从节点向所述主节点返回成功消息。进一步地，所述方法还包括:所述从节点接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。进一步地，一种元数据集群，包含N(N > I)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，其中:所述主节点，用于接收客户端发送的操作元数据命令，在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；并接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M > O)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。进一步地，所述从节点，用于在所述主节点宕机时，多个节点编号靠前的从节点协商获取主节点权限，所述多个节点编号靠前的从节点为所述目录中的从节点。进一步地，所述主节点，还用于接收客户端发送的查询命令，采用哈希的方式将查询命令转发给从节点，完成客户端请求的查询。进一步地，所述从节点，用于接收主节点发送的组播包，所述组播包中携带元数据修改信息，根据所述组播包修改元数据；并向所述主节点返回成功消息。进一步地，所述从节点，还用于接收主节点采用哈希的方式转发的查询命令，根据所述查询命令完成客户端请求的查询。与现有技术相比，本专利技术包括主节点接收客户端发送的操作元数据命令；在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M> O)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。本专利技术通过构建一个可以实现线性扩展的元数据服务集群，采用的是集群一主多备，分工合作，内部协商的方式，实现了 sale-out扩展方式，为分布式系统以及分布式文件系统的元数据信息查询、定位和修改等提供了优越的性能和高可用性。本专利技术在权衡性能和一致性的前提下，实现了工业上的应用需求。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。【附图说明】附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本专利技术的实现元数据集群的方法的流程图；图2为本专利技术的元数据集群的架构图。【具体实施方式】为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。图1所示为本专利技术的实现元数据集群的方法，元数据集群包含N(N > I)个节点，N个节点共享同一个虚拟IP地址，N个节点中包含一个主节点和至少一个从节点，本专利技术的方法包括:步骤101:主节点接收客户端发送的操作元数据命令；本专利技术中在N个节点的元数据集群中，N个节点共享一个虚拟IP地址，此IP也是提供给客户端和存储节点的IP地址。客户端发起创建和删除文件的操作的时候，去元数据集群操作元数据，主(master)节点接收客户端发送的操作元数据命令。步骤102:主节点在根据操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，组播包中携带元数据修改信息，指示从节点修改元数据；master节点修改元数据的同时，发组播包给元数据集群其他从(slave)节点。步骤103:主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M > O)时，即确认组播包发送成功，向客户端返回成功结果，并记录返回成功消息的从节点的目录。master节点接收到的返回成功的数目为配置的M的数量即算成功，贝Ijmaster节点返回给客户端成功结果，并且此时master节点记录成功的slave节点目录。进一步的，如果主节点宕机，则多当前第1页1 2 本文档来自技高网...

【技术保护点】
一种实现元数据集群的方法，其特征在于，所述元数据集群包含N(N＞1)个节点，所述N个节点共享同一个虚拟IP地址，所述N个节点中包含一个主节点和至少一个从节点，所述方法包括：所述主节点接收客户端发送的操作元数据命令；所述主节点在根据所述操作元数据命令修改元数据的同时，向元数据集群中的从节点发送组播包，所述组播包中携带元数据修改信息，指示所述从节点修改元数据；所述主节点接收从节点返回的成功消息，在返回成功消息的从节点的数目达到配置的数量M(M＞0)时，即确认所述组播包发送成功，向所述客户端返回成功结果，并记录返回成功消息的从节点的目录。

【技术特征摘要】

【专利技术属性】
技术研发人员：王欢，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：北京;11