一种分布式计算文件管理方法、系统及其装置制造方法及图纸

本发明专利技术公开了一种分布式计算文件管理方法，包括以下步骤：向主服务器的全局文件注册；当需要对所述全局文件进行处理时，从所述主服务器调取所述全局文件的元数据；根据所述全局文件的元数据将所述全局文件包含的文件从各个分布式节点取回。通过该管理方法，用户只需要知道一个全局文件，而不需要知道这个全局文件有哪些文件构成，又保存在哪些分布式节点上，降低了分布式计算的复杂度，减轻了用户的工作量。

【技术实现步骤摘要】

本专利技术涉及网络
，特别是涉及一种分布式计算文件管理方法、系统及其装置。
技术介绍
随着互联网技术的飞速发展，对于互联网上存在海量信息的处理就成为了难题。如果要在单机上处理这些数据量非常庞大的信息，就需要有很强的处理能力和端口能力，然而一方面这种高性能单机价格不菲，而且这种依靠单机的处理模式也是有限度的。因此人们提出了分布式计算的概念，利用互联网上有很多互连计算机的空闲资源来处理互联网上的海量信息。而在分布式计算中比较重要方面就是分布式存储，由于数据量的不断增加，单机已经不能满足存储的需要，需要专门的设备来存储数据；同时数据的使用已经不仅仅局限于一个地方，一种系统的应用，而是对多个用户，多个系统的共享。因此分布式存储既能存储大容量的数据信息，又能满足对多系统、多用户的实时共享。现有技术是将文件存储在专门的高速存储设备上，系统提供访问文件的接口。用户通过这些系统提供的接口来访问文件，通过高速的、可靠的存储设备来达到快速对文件的读、写操作。但是如果文件非常大，以及文件读写非常频繁，效率就很低。这是为了通用而牺牲了性能。现有技术还提出一种针对特定场合的分布式文件处理方法，将文件按照块的方式保存在分布式节点机器上，通过一台主控机器保存文件元数据信息(文件包含多少块，各个块分别分布在哪个节点上)来进行分布式计算文件的存储。当用户读取文件时，先从主控机器上读取文件的块信息，然后根据块信息从分布式节点中读取文件数据；用户写入文件时，先从主控机器上读取文件信息，然后根据负载均衡，选择一个文件存放的节点；最后用户将文-->件数据写入到分布式节点中。但是这种方法只能允许用户顺序的读写，并且用户还根据文件各个块的分布情况编写相应的分布式代码，对用户来说是十分烦琐的，因此增加了用户的工作量。
技术实现思路
本专利技术要解决的问题是提供一种分布式计算文件管理方法、系统及其装置，降低分布式计算的复杂度，减轻用户的工作量。为达到上述目的，本专利技术的实施例的技术方案提出一种分布式计算文件管理方法，包括以下步骤：向主服务器的全局文件注册；当需要对所述全局文件进行处理时，从所述主服务器调取所述全局文件的元数据；根据所述全局文件的元数据将所述全局文件包含的文件从各个分布式节点取回。其中，在所述将全局文件包含的文件从各个节点取回后，还包括以下步骤：将所述从各个分布式节点取回的文件合并。其中，所述全局文件的元数据具体包括：全局文件包含的文件及所述文件与分布式节点的对应关系。其中，所述从主服务器调取全局文件的元数据具体包括以下步骤：向所述主服务器发送读取所述全局文件的请求；所述服务器根据所述请求将所述全局文件的元数据取出后下发。其中，所述向主服务器的全局文件注册，具体包括以下步骤：各个分布式节点将所述分布式节点上的本地文件向所述主服务器注册；所述主服务器根据所述分布式节点上的本地文件注册信息修改所述全局文件元数据。本专利技术的实施例的技术方案还提出一种分布式计算文件管理系统，包括客户端、主服务器和分布式节点，所述主服务器，用于对全局文件的元数据进行管理，并在所述客户端需要对所述全局文件进行处理时，将所述全局文件的元数据信息下发给所述客户端；所述分布式节点，用于将所述分布式节点上的本地文件注册到所述主服务器的全局文件上，并在接收所述客户端请求后将所述本地文件下发给所述客户端。其中，所述主服务器包括全局文件管理模块和全局文件下发模块，所述-->全局文件管理模块用于对全局文件的元数据进行管理；所述全局文件下发模块用于在所述客户端需要对所述全局文件进行处理时，将所述全局文件管理模块中的全局文件元数据信息下发给所述客户端其中，所述主服务器还包括注册接收模块，用于接收所述分布式节点向所述主服务器发送的注册信息，并将所述注册信息传给所述全局文件管理模块。其中，所述分布式节点包括注册上报模块和文件数据下发模块，所述注册上报模块用于将所述分布式节点上的本地文件注册到所述主服务器的全局文件上；所述文件数据下发模块用于在接收所述客户端请求后将所述本地文件下发给所述客户端。其中，在所述向主服务器的全局文件注册之前，还包括以下步骤：设定各个分布式节点上的本地文件与全局文件的对应关系。本专利技术的实施例的技术方案还提出一种主服务器，包括全局文件管理模块和全局文件下发模块，所述全局文件管理模块用于对全局文件的元数据进行管理；所述全局文件下发模块用于在所述客户端需要对所述全局文件进行处理时，将所述全局文件管理模块中的全局文件元数据信息下发给所述客户端其中，主服务器还包括注册接收模块，用于接收所述分布式节点向所述主服务器发送的注册信息，并将所述注册信息传给所述全局文件管理模块。本专利技术实施例的技术方案实现了用户只对全局文件进行操作，而不需要编写分布式的相关代码，又可以利用多台机器的分布式来提高文件读取的性能的分布式计算文件管理方法。通过该管理方法，用户只需要知道一个全局文件，而不需要知道这个全局文件有哪些文件构成，又保存在哪些分布式节点上，对于用户来说，则降低了分布式计算的复杂度，减轻了用户的工作量。附图说明图1为本专利技术实施例分布式计算文件管理系统结构图；图2为本专利技术实施例另一种分布式计算文件管理系统的结构图；-->图3为本专利技术实施例分布式计算文件管理方法的流程图；图4为本专利技术实施例以网站日志处理系统为例的分布式计算文件管理方法的流程图；图5为本专利技术实施例对分布式计算文件修改的流程图；图6为本专利技术实施例一种在分布式节点上对分布式计算文件修改的流程图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述：本专利技术核心思想在于通过定义一种全局文件，该全局文件由很多分布在各个分布式节点上的本地文件构成。该全局文件的信息储存在主服务器上的全局文件的元数据中，全局文件的信息包括：全局文件的名称、全局文件包含哪些文件，及包含的这些文件与各个分布式节点的对应关系。并且该全局文件包含的文件是由分布式节点自动向主服务器注册形成的，用户只知道该全局文件是用来干什么或处理什么数据的，而不用知道该全局文件中包含哪些文件等细节问题。因此通过该全局文件可以隐藏分布式处理的文件处理细节，并在读取文件时利用分布式系统的多个分布式节点并行处理的优点提高访问速度。如图1所示，为本专利技术实施例分布式计算文件管理系统结构图，该分布式计算文件管理系统包括主服务器1、分布式节点2和客户端3，主服务器1用于对全局文件的元数据进行管理，并在客户端3需要对全局文件进行处理时，将全局文件的元数据信息下发给客户端3；分布式节点2用于将分布式节点2上的本地文件注册到主服务器1上的全局文件，并在接收客户端3请求后将分布式节点2上的本地文件下发给客户端3。针对上述分布式计算文件管理系统分布式文件管理过程如下，首先分布式节点2调用注册接口，依据预先设定的对应关系通过TCP/IP协议将本地文件注册到一个全局文件上，该预先设定的对应关系可以由用户根据需要设定，并且分布式节点2上的本地文件可以对应多个全局文件；主服务器1管理各-->个分布式节点2上本地文件的注册信息，即全局文件的元数据，该元数据包括全局文件包含哪些文件，这些文件与其存在的分布式节点2的对应关系；当客户端3需要调取全局文件进行处理时，则调用读取文件接口向主服务器本文档来自技高网...

【技术保护点】
一种分布式计算文件管理方法，其特征在于，包括以下步骤：　　　　向主服务器的全局文件注册；　　　　当需要对所述全局文件进行处理时，从所述主服务器调取所述全局文件的元数据；　　　　根据所述全局文件的元数据将所述全局文件包含的文件从各个分布式节点取回。

【技术特征摘要】
1. 一种分布式计算文件管理方法，其特征在于，包括以下步骤：向主服务器的全局文件注册；当需要对所述全局文件进行处理时，从所述主服务器调取所述全局文件的元数据；根据所述全局文件的元数据将所述全局文件包含的文件从各个分布式节点取回。2. 如权利要求1所述分布式计算文件管理方法，其特征在于，在所述将全局文件包含的文件从各个节点取回后，还包括以下步骤：将所述从各个分布式节点取回的文件合并。3. 如权利要求1所述分布式计算文件管理方法，其特征在于，所述全局文件的元数据具体包括：全局文件包含的文件及所述文件与分布式节点的对应关系。4. 如权利要求1所述分布式计算文件管理方法，其特征在于，所述从主服务器调取全局文件的元数据具体包括以下步骤：向所述主服务器发送读取所述全局文件的请求；所述服务器根据所述请求将所述全局文件的元数据取出后下发。5. 如权利要求1所述分布式计算文件管理方法，其特征在于，所述向主服务器的全局文件注册，具体包括以下步骤：各个分布式节点将所述分布式节点上的本地文件向所述主服务器注册；所述主服务器根据所述分布式节点上的本地文件的注册信息修改所述全局文件元数据。6. 如权利要求1所述分布式计算文件管理方法，其特征在于，在所述向主服务器的全局文件注册之前，还包括以下步骤：设定各个分布式节点上的本地文件与全局文件的对应关系。7. 一种分布式计算文件管理系统，包括客户端，其特征在于，还包括主服务器和分布式节点，所述主服务器，用于对全局文件的元数据进行管理，并在所述客户端需要对所述全局文件进行处理时，将所述全局...

【专利技术属性】
技术研发人员：李江华，吴伟勋，陈松，
申请(专利权)人：阿里巴巴公司，
类型：发明
国别省市：VG[英属维尔京群岛]