分布式文件系统及其数据存储处理方法和装置制造方法及图纸

本发明专利技术实施例提供一种分布式文件系统及其数据存储处理方法和装置，其中方法包括：接收分布式文件系统客户端发送的访问请求；根据访问请求确定分布式文件系统客户端所要访问的存储单元以及存储单元对应的虚拟资源池状态，存储单元与其对应的虚拟资源池存储有相同的数据，虚拟资源池为根据具有相同活动周期的分布式文件系统客户端聚类生成；在确定所述存储单元对应的虚拟资源池处于上线状态时，向发起访问请求的分布式文件系统客户端返回包括客户端标识的访问响应消息，客户端标识所标识的分布式文件系统客户端为虚拟资源池中的一个。本发明专利技术还提供了相应的装置和分布式文件系统。上述技术方案能够提高分布式文件系统的系统稳定性。

【技术实现步骤摘要】

本专利技术数据存储技术，特别涉及一种分布式文件系统及其数据存储处理方法和装置。
技术介绍
分布式文件系统(Distribute File System，以下简称DFS)是基于客户端/服 务器模式的文件系统。现有技术中的DFS包括名字空间服务器、内容存储服务器和客户端， 具体的可如图1所示，其中的名字服务器中存储各个文件的数据块在内容存储服务中的具 体存储单元，该具体存储单元可以是普通磁盘、磁盘阵列等多种形式，其可以是使用存储单 元标识来表示，由客户端要读取存储的数据时，先向名字空间服务器请求存储的存储位置， 名字服务器提供上述存储位置信息，然后客户端访问根据存储位置信息访问内容存储服务 器，以获取数据。上述现有技术中提供的分布式文件系统以及相应的存储数据获取方法，需要时刻 保持DFS系统中内容存储服务器的工作状态，为客户端提供服务，具有能耗高的缺点，同时 一旦内容服务器中的存储单元部分或全部断电，则无法为客户端提供相应存储单元中存储 的文件，该分布式文件系统的稳定性能差。
技术实现思路
本专利技术实施例提供一种分布式文件系统及其数据存储处理方法和装置，用以提高 分布式文件系统的稳定性。本专利技术实施例提供了一种分布式文件系统的数据存储处理方法，包括接收分布式文件系统客户端发送的访问请求；根据所述访问请求确定所述分布式文件系统客户端所要访问的存储单元以及所 述存储单元对应的虚拟资源池状态，所述存储单元与其对应的虚拟资源池存储有相同的数 据，所述虚拟资源池为根据具有相同活动周期的分布式文件系统客户端聚类生成；在确定所述存储单元对应的虚拟资源池处于上线状态时，向发起访问请求的分布 式文件系统客户端返回包括客户端标识的访问响应消息，所述客户端标识所标识的分布式 文件系统客户端为所述虚拟资源池中的一个，且根据所述访问请求确定。本专利技术还实施例还提供了一种分布式文件系统的数据存储处理装置，包括接收模块，用于接收分布式文件系统客户端发送的访问请求；状态查询模块，用于根据所述访问请求确定发起访问请求的分布式文件系统客户 端所要访问的存储单元以及所述存储单元对应的虚拟资源池状态；第一发送模块，用于在确定所述存储单元对应的虚拟资源池处于上线状态时，向 发起访问请求的分布式文件系统客户端返回包括客户端标识的访问响应消息，所述存储单 元与其对应的虚拟资源池存储有相同的数据，所述虚拟资源池为根据具有相同活动周期的 分布式文件系统客户端聚类生成，所述客户端标识所标识的分布式文件系统客户端为所述虚拟资源池中的一个，且根据所述访问请求确定。本实施例还提供了一种分布式文件系统，包括内容存储服务器、名字空间服务器 和一个以上的虚拟资源池，所述内容存储服务器包括一个以上的用于存储数据的存储单 元，所述虚拟资源池由一个以上具有相同活动周期的分布式文件系统客户端组成，所述内 容存储服务器中的存储单元与其对应的虚拟资源池中存储有相同的数据，所述名字空间服 务器包括上述的分布式文件系统的数据存储处理装置。本专利技术上述实施例提供的分布式文件系统及其数据存储处理方法和装置，其中将 分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关 系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，可以由 虚拟资源池为分布式文件系统客户端提供服务，仅以可以使与其对应的存储单元处于休眠 状态，充分利用了各个客户端的存储能力，且能够达到降低存储设备能耗的作用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。图1为现有技术中分布式文件系统的结构示意图；图2为本专利技术分布式文件系统的数据存储处理方法实施例的流程示意图；图3为本专利技术一具体实施例的流程示意图；图4为本专利技术分布式文件系统的数据存储处理装置实施例的结构示意图；图5为本专利技术分布式文件系统实施例的结构示意图。具体实施例方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例 中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图2为本专利技术分布式文件系统的数据存储处理方法实施例的流程示意图，如图2 所示，该方法包括如下步骤步骤101、接收分布式文件系统客户端发送的访问请求。本实施例中各步骤可以由名字空间服务器执行，访问请求可以包括读数据操作请 求或者是写数据操作请求，其所要访问的存储单元可以为内容存储服务器中的存储单元， 该存储单元具有独立的电源控制模块，使得可以单独将存储单元下电，以降低能耗，另外存 储单元也可以是磁盘，或者是磁盘阵列等多种形式。步骤102、根据所述访问请求确定所述分布式文件系统客户端所要访问的存储单 元以及所述存储单元对应的虚拟资源池状态，所述存储单元与其对应的虚拟资源池存储有 相同的数据，所述虚拟资源池为根据具有相同活动周期的分布式文件系统客户端聚类生 成。步骤103、在确定所述存储单元对应的虚拟资源池处于上线状态时，向发起访问请 求的分布式文件系统客户端返回包括客户端标识的访问响应消息，所述客户端标识所标识 的分布式文件系统客户端为所述虚拟资源池中的一个，且根据所述访问请求确定，具体的 可以是在接收到访问请求并确定发起请求的分布式文件系统客户端所要访问的存储单元 的同时，确定该客户端标识及分布式文件系统客户端，也可以是在确定虚拟资源池上线后 进一步的确定。本专利技术上述实施例提供的分布式文件系统的数据存储处理方法，其中将分布式文 件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单 元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，可以由虚拟资源 池为分布式文件系统客户端提供服务，仅以可以使与其对应的存储单元处于休眠状态，充 分利用了各个客户端的存储能力，且能够达到降低存储设备能耗的作用。本专利技术上述实施例中，聚类即是指将具有相同活动周期的客户端划分到同一个虚 拟资源池中，具体的根据具有相同活动周期的客户端聚类生成虚拟资源池可以具体包括如 下步骤接收各个分布式文件系统客户端上报的活动周期；根据所述各个分布式文件系统客户端的活动周期进行聚类处理，生成虚拟资源 池，所述虚拟资源池内的各个分布式文件系统客户端具有相同的活动周期。另外在上述聚 类生成虚拟资源池后，还可以进一步的建立虚拟资源池标识和存储单元标识的映射关系， 所述虚拟资源池标识对应的虚拟资源池与所述存储单元标识对应的存储单元用于存储相 同的数据。本专利技术上述实施例中，其中的确定存储单元对应的虚拟资源池处于上线状态可以 通过如下方式确定一是由于各个虚拟资源池都是根据活动周期聚类生成的，因此可以根据虚拟资源 池的活动周期确定所述虚拟资源池的状态，在活动周期对应的时间段内确定所述虚拟资源 池处于上线状态，其他时间段内确定所述虚拟资源池处于下线状态；二是在检测到本文档来自技高网...

【技术保护点】
１．一种分布式文件系统的数据存储处理方法，其特征在于，包括：接收分布式文件系统客户端发送的访问请求；根据所述访问请求确定所述分布式文件系统客户端所要访问的存储单元以及所述存储单元对应的虚拟资源池状态，所述存储单元单元与其对应的虚拟资源池存储有相同的数据，所述虚拟资源池为根据具有相同活动周期的分布式文件系统客户端聚类生成；在确定所述存储单元对应的虚拟资源池处于上线状态时，向发起访问请求的分布式文件系统客户端返回包括客户端标识的访问响应消息，所述客户端标识所标识的分布式文件系统客户端为所述虚拟资源池中的一个，且根据所述访问请求确定。

【技术特征摘要】
1.一种分布式文件系统的数据存储处理方法，其特征在于，包括接收分布式文件系统客户端发送的访问请求；根据所述访问请求确定所述分布式文件系统客户端所要访问的存储单元以及所述存 储单元对应的虚拟资源池状态，所述存储单元单元与其对应的虚拟资源池存储有相同的数 据，所述虚拟资源池为根据具有相同活动周期的分布式文件系统客户端聚类生成；在确定所述存储单元对应的虚拟资源池处于上线状态时，向发起访问请求的分布式文 件系统客户端返回包括客户端标识的访问响应消息，所述客户端标识所标识的分布式文件 系统客户端为所述虚拟资源池中的一个，且根据所述访问请求确定。2.根据权利要求1所述的方法，其特征在于，根据具有相同活动周期的分布式文件系 统客户端聚类生成虚拟资源池的步骤包括接收各个分布式文件系统客户端上报的活动周期；根据所述各个分布式文件系统客户端的活动周期进行聚类处理，生成虚拟资源池，所 述虚拟资源池内的各个分布式文件系统客户端具有相同的活动周期；所述方法还包括建立虚拟资源池标识和存储单元标识的映射关系，所述虚拟资源池标识对应的虚拟资 源池与所述存储单元标识对应的存储单元用于存储相同的数据。3.根据权利要求1所述的方法，其特征在于，确定存储单元对应的虚拟资源池处于上 线状态的步骤包括根据所述虚拟资源池的活动周期确定所述虚拟资源池的状态；或在检测到所述虚拟资源池内的所有分布式文件系统客户端都登陆完成后确定所述虚 拟资源池处于上线状态，否则处于下线状态；所述方法还包括在确定所述虚拟资源池处于上线状态后，通知内容存储服务器将所述虚拟资源池对应 的存储单元设置为休眠状态。4.根据权利要求1-3任一所述的方法，其特征在于，在所述访问请求为读数据操作请 求时，所述读数据操作请求携带有预读取数据的文件名和块标识，所述根据访问请求确定 所述分布式文件系统客户端所要访问的存储单元以及所述存储单元对应的虚拟资源池状 态包括根据所述预读取数据的文件名和块标识获取存储所述预读取数据的存储单元和分布 式文件系统客户端，并确认存储所述预读取数据的分布式文件系统客户端所在的虚拟资源 池的状态，所述存储预读取数据的分布式文件系统客户端为与存储所述预读取数据的存储 单元对应的虚拟资源池中的一个。5.根据权利要求1-3任一所述的方法，其特征在于，在所述访问请求为写数据操作请 求时，所述根据访问请求确定所述分布式文件系统客户端所要访问的存储单元以及所述存 储单元对应的虚拟资源池状态包括根据所述写数据操作请求分配存储单元以及分布式文件系统客户端，并确认所述分布 式文件系统客户端所在的虚拟资源池状态，所述分布式文件系统客户端为与所述分配的存 储单元对应的虚拟资源池中的一个。6.根据权利要求5所述的方法，其特征在于，所述方法还包括在确定所述根据写数据操作请求分配的存储单元上线时，发起写数据操作请求的分布 式文件系统客户端将预写入的数据发送给日志磁盘和根据所述写数据操作请求分配的存 储单元，并在与所述分配的存储单元对应的虚拟资源池上线时，将日志磁盘中存储的数据 写入到所述根据写数据操作请求分配的分布式系统客户端中；或在确定所述根据写数据操作请求分配的分布式文件系统客户端所在的虚拟资源池上 线时，发起写数据操作请求的分布式文件系统客户端将预写入的数据发送给日志磁盘和根 据所述写数据操作请求分配的分布式文件系统客户端，并在所述分配的存储单元上线时， 将日志磁盘中存储的数据写入到所述根据写数据操作请求分配的存储单元中。7.根据权利要求1所述的方法，其特征在于，还包括接收分布式文件系统客户端发送的删除数据请求，所述删除数据请求包括预删除数据 的文件名和块标识；根据所述文件名和所述块标识查询出存储所述删除数据请求对应的预删除数据的存 储单元以及存储所述删除数据请求对应的预删除数据的分布式文件系统客户端，并从映射 关系表中查询出与存储所述删除数据请求对应的预删除数据的存储单元对应的虚拟资源 池，所述存储所述删除数据请求对应的预删除数据的分布式文件系统客户端为从映射关系 表中查询出的虚拟资源池中的一个；以及当存储所述删除数据请求对应的预删除数据的存储单元处于上线状态时，向内容 存储服务器发送删除数据通知，所述删除数据通知包括所述文件名和所述块标识；或当所述从映射关系表中查询出的虚拟资源池处于上线状态时，向存储所述删除数据请 求对应的预删除数据的分布式文件系统客户端发送所述删除数据通知，所述删除数据通知 包括所述文件名和所述块标识。8.根据权利要求1所述的方法，其特征在于，所述分布式文件系统客户端内设置有虚 拟资源池单元，且属于同一虚拟资源池的...

【专利技术属性】
技术研发人员：陈志新，
申请(专利权)人：成都市华为赛门铁克科技有限公司，
类型：发明
国别省市：90