分布式文件系统和分布式文件系统的数据备份方法技术方案

本发明专利技术属于数据存储技术领域，公开了一种分布式文件系统，包括文件同步服务器SyncServer、异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger、DNS智能解析器，当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，DNS智能解析器将用户端切换到与异地管理服务器Master连接，提供给用户端与本地管理服务器Master同样的服务。同时本发明专利技术还公开了分布式文件系统的数据备份方法，提高了同步效率。

【技术实现步骤摘要】

本专利技术属于数据存储
，涉及一种分布式文件系统，以及分布式文件系统的数据备份方法。
技术介绍
分布式文件系统与普通文件系统不同，分布式文件系统除了存储实际数据，还要存储标识数据所在副本位置的元数据。这意味着传统的只备份实际数据的方式对分布式文件系统并不适用，以数据块信息为例，数据块信息上标识有磁盘信息与存储节点信息，磁盘信息是唯一的，如果A地机房发生灾难，即使将数据块信息与数据都备份到B地，也无法找到匹配的磁盘，即备份过去的元数据无效；因此，分布式文件系统只能采用内部自有的备份机制对元数据和实际数据进行备份。典型的GPFS用双重附带的RAID控制器，同时使用替代机制支持容错，Lustre提供两个MDS来支持元数据服务器的容错，同时支持MDS的并行化，而PVFS和NFS的设计没有考虑容错。现有的分布式文件系统并没有考虑到异地容灾，但随着企业规模的扩展，用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。
技术实现思路
专利技术目的:本专利技术的目的是为了解决现有技术中的分布式文件系统不具备异地容灾功能的问题，提供了一种安全、可靠的分布式文件系统，并提出了分布式文件系统的数据备份方法。技术方案:本专利技术所述的分布式文件系统，其目的是这样实现的，一种分布式文件系统，包括本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger、DNS智能解析器，所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer ;所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件，所述分布式文件系统还包括异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger和文件同步服务器SyncServer，所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，提供用户端与本地管理服务器Master同样的服务。—种分布式文件系统的数据备份方法，包括以下步骤:①系统初始化；②文件同步服务器SyncServer向本地管理服务器Master发送访问请求；③本地管理服务器Master在接收到请求时生成changelog日志，提取并解析changelog日志中的关键字，将结果存入文件同步服务器SyncServer的文件操作表中，在文件操作表中设置一个计数值，对在这个值范围内的同一文件操作进行合并，生成文件操作聚合表；所述文件同步服务器SyncServer取出文件操作聚合表中的内容，并执行相应的操作，包括:将本地元数据日志服务器Metalogger的日志文件备份至异地元数据日志服务器Metalogger ；将本地数据存储服务器ChunkServer的数据备份至异地数据存储服务器ChunkServer ；④文件同步服务器SyncServer定期对本地元数据日志服务器Metalogger和异地元数据日志服务器Metalogger的日志文件进行对比，如发现本地元数据日志服务器Metalogger的日志文件增多时，进行步骤②-③的过程，其中，步骤③中，对新生成的changelog日志进行提取并解析，对原来的changelog日志不再进行操作，采用增量同步方式同步数据，提高了同步效率。有益效果:本专利技术所述的分布式文件系统通过在不同地点建立备份系统，将本地的数据实时备份到异地服务器中，可以通过异地备份的数据进行远程恢复，也可以在异地进行数据回退，异地备份，从而进一步提高数据抵抗各种可能安全因素的容灾能力，提高了系统的安全性和可靠性。本专利技术所述的分布式文件系统的数据备份方法，在系统初始化时，采用全量同步方式进行多线程备份；在系统初始化后，对changelog日志采用增量同步方式，只对增量部分进行备份，没有重复的备份数据，提高了同步效率。【附图说明】图1是本专利技术所述的分布式文件系统的结构示意图；图2是本专利技术所述的分布式文件系统的数据备份方法的流程示意图。【具体实施方式】为了加深对本专利技术的理解，下面将结合实施例和附图对本专利技术作进一步详述，该实施例仅用于解释本专利技术，并不构成对本专利技术保护范围的限定。参见图1图2所示，一种分布式文件系统，用于生产中心的文件灾备系统，包括设置于生产中心的本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger，设于灾备中心的异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger,连接本地管理服务器Master与异地管理服务器Master的文件同步服务器SyncServer,以及与本地管理服务器Master和异地管理服务器Master均相连的DNS智能解析器和用户端。所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer ；所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件；所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，由于异地元数据日志服务器Metalogger的日志文件与本地元当前第1页1 2 本文档来自技高网...

【技术保护点】
一种分布式文件系统，包括本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger、DNS智能解析器，所述本地管理服务器Master通过DNS智能解析器与用户端连接并提供用户端服务，同时通过指令管理本地数据存储服务器ChunkServer；所述本地元数据日志服务器Metalogger通过指令备份本地管理服务器Master的日志文件，其特征在于：所述分布式文件系统还包括异地管理服务器Master、异地数据存储服务器ChunkServer、异地元数据日志服务器Metalogger和文件同步服务器SyncServer，所述异地元数据日志服务器Metalogger通过文件同步服务器SyncServer同步本地元数据日志服务器Metalogger的日志文件；所述异地数据存储服务器ChunkServer通过文件同步服务器SyncServer同步本地数据存储服务器ChunkServer的数据；当本地管理服务器Master、本地数据存储服务器ChunkServer、本地元数据日志服务器Metalogger宕机时，所述DNS智能解析器将用户端切换到与异地管理服务器Master连接，通过异地管理服务器Master管理用户端，提供用户端与本地管理服务器Master同样的服务。...

【技术特征摘要】

【专利技术属性】
技术研发人员：钱琳，庞恒茂，朱广新，李东辉，俞俊，吴小志，陈艳，谢宾铭，李蹊高，王旭然，方超，魏宁，
申请(专利权)人：国家电网公司，南京南瑞集团公司，国网上海市电力公司，南京南瑞集团公司信息系统集成分公司，
类型：发明
国别省市：北京;11