Hadoop分布式文件系统及其运行方法、修复方法技术方案

本发明专利技术的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，数据处理技术领域，可以更高频且更多的保存元数据序列，增强数据的安全性。一种Hadoop分布式文件系统，包括：第一名称节点、与第一名称节点连接的第二名称节点；第一名称节点，用于存储元数据文件；元数据文件包括镜像文件和编辑日志；第一名称节点还用于每隔预设的第一时长，将镜像文件与编辑日志合并，形成新的镜像文件，并启用新的编辑日志；第二名称节点，用于每隔预设的第一时长，对第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对第一名称节点上的编辑日志备份。

Hadoop distributed file system and its running and repairing methods

【技术实现步骤摘要】
Hadoop分布式文件系统及其运行方法、修复方法
本专利技术涉及数据处理
，尤其涉及一种Hadoop分布式文件系统及其运行方法、修复方法。
技术介绍
Hadoop集群的存储系统是Hadoop分布式文件系统(HadoopDistributedFileSystem，HDFS)，HDFS可以有效的解决海量数据的存储和管理难题，具体为：将固定于某个地点的某个文件系统，扩展到任意多个地点、多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。在使用HDFS时，无需关心数据是存储在哪个节点上、或者是从哪个节点获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。
技术实现思路
本专利技术的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，可以更高频且更多的保存元数据序列，增强数据的安全性。为达到上述目的，本专利技术的实施例采用如下技术方案：一方面，提供一种Hadoop分布式文件系统，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；所述第一名称节点还用于每隔预设的第一时长，将所述镜像文件与所述编辑日志合并，形成新的镜像文件，并启用新的编辑日志；所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；其中，所述第一名称节点和所述第二名称节点分别部署于不同的主机。再一方面，提供一种如上所述的Hadoop分布式文件系统的运行方法，包括：启动第一名称节点，加载元数据文件，同时启动第二名称节点；所述元数据文件包括镜像文件和编辑日志；每隔预设的第一时长，所述第一名称节点将所述镜像文件与所述编辑日志合并，形成新的所述镜像文件，同时启用新的编辑日志；所述第二名称节点对所述第一名称节点上新的所述镜像文件备份；每隔预设的第二时长，所述第二名称节点对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；其中，所述第一名称节点与所述第二名称节点分别部署于不同主机。另一方面，提供一种如上所述的Hadoop分布式文件系统的修复方法，包括：停止受损的第一名称节点，同时停止第二名称节点；备份所述第二名称节点上的元数据文件；所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志；准备部署新的第一名称节点的主机；部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同；配置所述主机的名称、IP地址、互信登录、运行环境和集群；对新的所述第一名称节点执行格式化；将备份的所述第二名称节点上的镜像文件和编辑日志，发送至新的所述第一名称节点；修改新的所述第一名称节点的元数据序号。可选地，在修改新的所述第一名称节点的元数据序号之后，还包括：启动新的所述第一名称节点和对应的Hadoop分布式文件系统；执行Hadoop分布式文件系统检查。又一方面，提供一种Hadoop分布式文件系统，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；所述第一名称节点还用于每隔预设的第一时长，启用新的编辑日志；所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份，将备份的所述镜像文件和所述编辑日志合并，形成新的所述镜像文件，并发送回所述第一名称节点，替换所述第一名称节点原有的镜像文件；所述第二名称节点，还用于每隔预设的第二时长，对所述第一名称节点上的所述编辑日志备份，形成中间编辑日志；所述第二时长小于所述第一时长；其中，所述第一名称节点和所述第二名称节点分别部署于不同的主机。又一方面，提供一种如上所述的Hadoop分布式文件系统的运行方法，包括：启动第一名称节点，加载元数据文件，同时启动第二名称节点；所述元数据文件包括镜像文件和编辑日志；每隔预设的第一时长，所述第一名称节点启动新的编辑日志；所述第二名称节点对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份，将备份的所述镜像文件与所述编辑日志合并，形成新的所述镜像文件，并发送回所述第一名称节点，替换所述第一名称节点原有的镜像文件；每隔预设的第二时长，所述第二名称节点对所述第一名称节点上的所述编辑日志备份，形成中间编辑日志；所述第二时长小于所述第一时长；其中，所述名称节点与所述第二名称节点分别部署于不同主机。又一方面，提供一种如上所述的Hadoop分布式文件系统的修复方法，包括：停止受损的第一名称节点，同时停止第二名称节点；备份所述第二名称节点上的元数据文件；所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志，以及最后一次形成的中间编辑日志；准备部署新的第一名称节点的主机；部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同；配置所述主机的名称、IP地址、互信登录、运行环境和集群；对新的所述第一名称节点执行格式化；将备份的所述第二名称节点上的镜像文件、中间编辑日志和中间编辑日志合并，生成新的镜像文件，发送至新的所述第一名称节点；修改新的所述第一名称节点的元数据序号。可选地，在修改新的所述第一名称节点的元数据序号之后，还包括：启动新的所述第一名称节点和对应的Hadoop分布式文件系统；执行Hadoop分布式文件系统检查。又一方面，提供一种计算机设备，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储结果；所述处理单元执行所述计算机程序时实现如上所述的Hadoop分布式文件系统的运行方法，和/或如上所述的Hadoop分布式文件系统的修复方法。又一方面，提供一种计算机可读介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的Hadoop分布式文件系统的运行方法，和/或如上所述的Hadoop分布式文件系统的修复方法。本专利技术的实施例提供一种Hadoop分布式文件系统及其运行方法、修复方法，在第一名称节点每隔预设的第一时长，将镜像文件与编辑日志合并，形成新的镜像文件，并启用新的编辑日志的基础上，通过与第一名称节点连接的第二名称节点，每隔预设的第一时长，对第一名称节点上新的镜像文件备份，以及每隔预设的第二时长，对第一名称节点上的编辑日志备份，第二时长小于第一时长，使得编辑日志进行了更高频的备份，保存了更多的元数据序列，增强了Hadoop分布式文件系统中数据的安全性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为现有的一种Ha本文档来自技高网...

【技术保护点】
1.一种Hadoop分布式文件系统，其特征在于，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；/n所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；/n所述第一名称节点还用于每隔预设的第一时长，将所述镜像文件与所述编辑日志合并，形成新的镜像文件，并启用新的编辑日志；/n所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；/n其中，所述第一名称节点和所述第二名称节点分别部署于不同的主机。/n

【技术特征摘要】
1.一种Hadoop分布式文件系统，其特征在于，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；
所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；
所述第一名称节点还用于每隔预设的第一时长，将所述镜像文件与所述编辑日志合并，形成新的镜像文件，并启用新的编辑日志；
所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上新的镜像文件备份；还用于每隔预设的第二时长，对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；
其中，所述第一名称节点和所述第二名称节点分别部署于不同的主机。


2.一种如权利要求1所述的Hadoop分布式文件系统的运行方法，其特征在于，包括：
启动第一名称节点，加载元数据文件，同时启动第二名称节点；所述元数据文件包括镜像文件和编辑日志；
每隔预设的第一时长，所述第一名称节点将所述镜像文件与所述编辑日志合并，形成新的所述镜像文件，同时启用新的编辑日志；所述第二名称节点对所述第一名称节点上新的所述镜像文件备份；
每隔预设的第二时长，所述第二名称节点对所述第一名称节点上的所述编辑日志备份；所述第二时长小于所述第一时长；
其中，所述第一名称节点与所述第二名称节点分别部署于不同主机。


3.一种如权利要求1所述的Hadoop分布式文件系统的修复方法，其特征在于，包括：
停止受损的第一名称节点，同时停止第二名称节点；
备份所述第二名称节点上的元数据文件；所述元数据文件包括所述第二名称节点最后一次从受损的所述第一名称节点上备份的镜像文件和编辑日志；
准备部署新的第一名称节点的主机；部署新的第一名称节点的主机与部署所述受损的第一名称节点、部署所述第二名称节点的主机均不同；
配置所述主机的名称、IP地址、互信登录、运行环境和集群；
对新的所述第一名称节点执行格式化；
将备份的所述第二名称节点上的镜像文件和编辑日志，发送至新的所述第一名称节点；
修改新的所述第一名称节点的元数据序号。


4.根据权利要求3所述的Hadoop分布式文件系统的修复方法，其特征在于，在修改新的所述第一名称节点的元数据序号之后，还包括：
启动新的所述第一名称节点和对应的Hadoop分布式文件系统；
执行Hadoop分布式文件系统检查。


5.一种Hadoop分布式文件系统，其特征在于，包括：第一名称节点、与所述第一名称节点连接的第二名称节点；
所述第一名称节点，用于存储元数据文件；所述元数据文件包括镜像文件和编辑日志；所述第一名称节点还用于每隔预设的第一时长，启用新的编辑日志；
所述第二名称节点，用于每隔预设的第一时长，对所述第一名称节点上原有的所述镜像文件和原有的所述编辑日志备份，将备份的所述镜像文件和所述编辑日志合并，形成新的所述镜像文件，并发送回所述第一名称节点，替换所述第一名称节点原有的镜像文件；
所述第二名称节点，还用于每隔预设的第二时长，对所述第一名...

【专利技术属性】
技术研发人员：樊林，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11