一种面向广域网环境下多存储集群的元数据共享管理方法技术

本发明专利技术针对广域网环境下多存储集群间元数据无法按需共享、全局名字空间无法提供可动态配置的用户视图等问题，采用权限控制、全局同步和名字空间重构技术，提供了一种面向广域网环境下多存储集群的元数据共享管理方法，为上层应用提供了高效而匹配的文件元数据查询支持。该方法包括：读取本地存放的本地名字空间，并定期通过权限设置规则筛选本地元数据再合并到全局元数据信息中；读取本地缓存的全局名字空间，根据同步策略决定同步频率，同时根据改进后的Paxos协议维护全局一致性；根据视图配置规则对用户视图进行动态配置。所谓视图配置是指用户或上层应用根据元数据信息希望重新组织全局名字空间目录树结构的实施过程。

【技术实现步骤摘要】
一种面向广域网环境下多存储集群的元数据共享管理方法
本专利技术公开了一种元数据共享管理方法，尤其涉及一种面向广域网环境下多存储集群的元数据共享管理方法，属于计算机

技术介绍
集群是计算机系统结构与计算机系统软件相结合的一个重要研究方向。它通过将多个独立的机器组织成一个统一的整体，并对外提供透明的统一访问特性；通过整合多个所管辖机器节点的计算能力和存储能力，极大地扩展了整体系统的运算能力和存储能力；同时，良好的系统软件设计使得集群能够很容易地进行大规模扩展，能满足多样化的规模伸缩性需求，通过多副本技术，集群能提供极高的容错性能，满足对可靠性要求较高的行业和应用需求。计算机集群技术的兴起主要是由于传统的HPC（高性能计算机）系统价格昂贵且性能瓶颈严重所致。到了20世纪80年代后期，HPC单机性能的增长速度已经乏力，但普通PC（个人计算机）性能却在不断提高，这让PC服务器的计算和存储能力开始受到重视。到了20世纪90年代，随着以x86架构为主的CPU硬件性价比提升以及高速以太网的发展，第一个用普通PC服务器构成的计算机集群Beowulf诞生，这标志着可以达到跟HPC同样计算和存储性能的计算机集群系统成本确只有前者的百分之一甚至千分之一。集群的出现极大改变了HPC领域的研究状况，也极大地降低了商业公司使用高性能计算机的门槛。今年来，随着网格计算、分布式计算以及云存储技术的发展，计算机集群技术在商业应用上的优势变得越专利技术显。计算机集群答复提高了企业基础设施的扩展性、可靠性和高性能计算和存储能力。其概念已经深入到企业甚至每个人的日常的工作与生活中，成为了目前全球软硬件产业中发展最快的技术之一。表1最近几年，不论是政府、企业还是个人团体都已经着手建造属于他们自己的计算机集群系统。但另一方面，随着计算机集群数量的增加，人们对这些计算机集群提出了更高的需求。他们不仅希望这些集群自身具有良好的计算、存储、容错和可扩展能力，而且还希望这些集群之间能够相互协调合作，组成一个更大庞大的区域性甚至是全球性系统。然而，通过对当前各个主流的分布式集群的对比（表1）可以看出，目前除了Google公司自家研发使用的Spanner系统和IBM公司研发的GPFSv3.5之外，其它系统都还不支持多集群间的交互和协作，这使得广域网环境下多集群管理面临严重的技术挑战。如无良好的上层系统软件的支持，这将给各大政府、企业和个人对多集群的进一步广泛应用带来巨大的阻力。而大型互联网公司若想提供更优质的大规模应用服务，尤其是涉及海量数据存储与管理的应用，突破广域网环境下多集群管理的技术刻不容缓。现在国内外大量公司和机构广域网下多集群数据共享的研究也形成了不少成果和产品。2006年美国加州大学SantaCruz分校提出Ceph分布式文件系统，它采用元数据与数据分离的管理方式，同时采用元数据集群来管理整个文件系统名字空间，消除了单点失败和单点性能瓶颈。理论上说，Ceph系统的扩展性可以是到达任意多个节点。但它不能支持广域网下多集群的管理。2012年Google发表了一篇论文讲述它的全球级集群管理系统Spanner。这个系统提供了多版本文件控制以支持并发操作，元数据管理采用层次式管理模式，即一个总服务器监控各大数据中心级（论文里称为Zone）的状态，Zone的总服务器负责管理下属多个集群的状态，最后集群再负责自身的元数据管理。但是，Spanner不支持其它拓扑类型的元数据管理模式，且无法提供用户可配置的视图的自动生成器。也是2012年，IBM推出了改进后的新版本GPFSv3.5，其中实现了一个叫AFM（ActiveFileManagement）的特性，支持在广域网下的GPFS集群间建立缓存映射，映射的粒度可以是任一文件集合。但是它依然不支持多集群间用户可配置视图的生成，另外缓存与远程系统的异步同步管理和一致性问题也会带来不小的性能开销。国内目前还没有面向广域网下多集群系统平台全局同步且支持动态可配置用户视图生成的相关方案。总结现有研究结果和实现系统来看，现有的研究和专利技术存在如下趋势和问题：在体系结构上，大部分系统都采用中央元数据节点或集群的方式来管理元数据的关键技术专利技术，在支持特性上，针对数据共享的应用偏多。计算机集群技术在80年代提出，在90年代得到发展，到了21世纪后达到发展的盛世，计算和存储规模都极具扩大，但每一个阶段的跨越都与新型的数据或元数据共享技术密切相关。而在广域网环境下多集群系统的元数据共享关键技术的研发和专利技术还很缺乏。
技术实现思路
本专利技术的目的是提供一种面向广域网环境下多存储集群的元数据共享管理方法，针对当前多集群间无有效的元数据共享和统一管理等问题，它实现了一种支持权限控制、全局同步和动态生成用户配置试图的元数据共享管理模式，为上层应用提供了系统软件的支持。根据本专利技术的一个实施例的面向广域网环境下多存储集群的元数据共享管理系统包括：（1）物理主机：物理主机进一步物理CPU，物理内存和物理网卡。物理硬件是底层各文件系统的硬件基础设施；（2）分布式文件系统：包括各种不同类型的分布式文件管理系统，只要该文件系统的名字空间具有唯一性就可被本专利技术的中间件系统管理；（3）网络文件系统：包括支持NFS、CIFS等网络共享协议的文件系统；这种文件系统支持多个客户端挂载并访问；（4）共享磁盘文件系统：包括对大型盘阵或磁带库的访问支持；（5）权限控制模块；（6）同步分发算法；（7）动态可配置视图生成器：根据本专利技术的另一个方面，提供了一种面向广域网环境下多存储集群的元数据共享管理方法。该方法将在已正常运行的底层存储系统上运行。该方法包括：(1)步骤S1：各集群启动文件系统服务，进入运行模式；(2)步骤S2：本专利技术方法启动，开始接管底层各集群服务，并对外提供透明、统一的相同服务；(3)步骤S3：本地集群从各文件系统获取本地元数据以供用户使用；(4)步骤S4：本地集群启动本地文件系统的元数据更新维护进程，储存更新的元数据信息；(5)步骤S5：本地集群通过权限控制模块对所需同步更新的元数据进行裁剪；(6)步骤S6：本地集群将裁剪后的元数据信息合并进本地缓存的全局元数据，准备进行全局同步；(7)步骤S7：本地集群读取缓存的全局元数据信息，当网络出现故障时，可以作为历史信息进行无缝使用；(8)步骤S8：本地文件系统与外部文件系统建立连接，为元数据同步做准备；(9)步骤S9：本地集群启动全局元数据的更新进程，配置好相关参数如更新频率，触发更新条件等，开启元数据发送进程和元数据接收进程。同时，通过改进的两阶段提交（2PC）协议维护全局元数据访问的一致性；(10)步骤S10：本地集群合并本地元数据和全局元数据，开始运行全局同步分发算法；(11)步骤S11：外部集群的元数据发送进程在生成本地元数据信息；(12)步骤S12：元数据发送前外部集群将根据权限控制模块对元数据信息进行裁剪以确定最终所需发送的更新信息；(13)步骤S13：全局名字空间更新完成后本地集群需要应用动态可配置视图生成器对全局名字空间进行转换以产生满足上层应用需求的用户视图；(14)步骤S14：本地集群将转换后的全局名字空间视图提供给用户或上层应用，并开始循环侦听下一次更新。本专利技术所公布的面向广域网本文档来自技高网...

【技术保护点】
一种面向广域网环境下多存储集群的元数据共享管理方法，该方法具体步骤如下：步骤一：读取本地存放的本地名字空间，并定期通过权限设置规则筛选本地元数据再合并到全局元数据信息中；步骤二：读取本地缓存的全局名字空间，根据同步策略决定同步频率，同时根据Paxos协议维护全局一致性；步骤三：根据视图配置规则对用户视图进行动态配置。所谓视图配置是指用户或上层应用根据元数据信息希望重新组织全局名字空间目录树结构的实施过程。

【技术特征摘要】
1.一种面向广域网环境下多存储集群的元数据共享管理方法，该方法具体步骤如下：步骤一：读取本地存放的本地名字空间，并定期通过权限设置规则筛选本地元数据再合并到全局元数据信息中；步骤二：读取本地缓存的全局名字空间，根据同步策略决定同步频率，同时根据Paxos协议维护全局一致性；步骤三：根据视图配置规则对用户视图进行动态配置，所谓视图配置是指用户或上层应用根据元数据信息希望重新组织全局名字空间目录树结构的实施过程。2.根据权利要求1所述的一种面向广域网环境下多存储集群的元数据共享管理方法，其特征在于：步骤一所述的本地名字空间透过权限控制管理模块的筛选将得到可定制的全局名字空间逻辑视图；逻辑视图的生成是多种多样的，可以满足许多应用场景的需求。3.根据权利要求1所...

【专利技术属性】
技术研发人员：肖利民，钟潜潜，阮利，郝沁汾，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：