一种可变块大小的兼容文件系统技术方案

本发明专利技术公开了一种可变块大小的兼容文件系统，属于云计算存储领域，每个文件都是由可变大小的块组成，每个块都有一个不变的全球唯一标识所区分，这些标识是管理机在创建这个块时生成的；系统通过在多个服务器上保存块的备份来保证数据的可靠性，管理机维护文件系统的元数据；每个块服务器定期通过心跳消息报告其状态和检索指令；文件管理系统的客户端通过系统集成API与应用程序打交道，可实现管理机与块服务器的读写操作。本发明专利技术的目的在于最小化管理机参与文件访问操作。

【技术实现步骤摘要】

本专利技术涉及云计算存储领域，具体地说是一种可变块大小的兼容文件系统。
技术介绍
随着人们工作和生活与网络的关系越来越密切，互联网成为一个虚拟化的人类社会平台，越来越多的需要一种全新的大规模分布式计算的形式。云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术和网络技术发展融合的产物，它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。云计算的一个核心理念就是通过不断提高“云”的处理能力，进而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力。云计算的首要任务是存储和处理大量的数据，因此设计可变块大小的兼容文件系统能够有效的管理大量的数据存储，便于大规模数据处理。然而，现有的数据存储中对于云计算的应用并不广泛，现有文件系统中设计的大量数据大小不一，且当前GFS的固定大小块存储出现块溢出的问题。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种可变块大小的兼容文件系统，目的在于最小化管理机参与文件访问操作。本专利技术解决其技术问题所采用的技术方案是：一种可变块大小的兼容文件系统，每个文件都是由可变大小的块组成，每个块都有一个不变的全球唯一标识所区分，这些标识是管理机在创建这个块时生成的；系统通过在多个服务器上保存块的备份来保证数据的可靠性；管理机维护文件系统的元数据，其中包括命名空间，访问控制信息，文件到块的映射关系，块的实际位置以及控制系统的活动范围，回收孤立块和在服务器上迁移块；每个块服务器定期通过心跳消息报告其状态和检索指令；文件管理系统的客户端通过系统集成API与应用程序打交道，可实现管理机与块服务器的读写操作。优选的，建立在云计算平台基础上设计，由一个管理员和多个服务器组成，可供多个客户端访问，其中每个文件分为可变大小的块。每个文件系统集群由一个单一管理员和多个服务器组成，且每个文件系统可供多个客户端访问和使用。在多个组块服务器上复制每个块，默认情况下在系统中维护三个副本，用户为不同的文件指定不同的复制级别，当正在使用的服务器出现故障时，使用备份服务器来发送数据以增强数据的可靠性。该系统的设计目的是最小化管理机参与文件访问操作。除了像GFS一样提供普通的读写操作，还提供原子操作，以便保证多个客户端同时添加文件时的同步，在系统实现中，我们发现记录添加操作是一个区分一个系统性能的关键，我们设计的文件交互机制与区分于GFS，在某些方面甚至优于GFS。在GFS中，一个文件分成固定大小的块，当一个客户端的用户使用记录添加操作时，系统检查当前文件的最后一个块是否出现块溢出，如果是这样，则将这个块复制到最大块里，并告诉用户继续文件操作，在一些写失败的情况下，这种方法可能会导致重负的记录和不完整的记录。而在我们的文件管理系统的设计中，文件有可变大小的块组成，通过系统的相互作用机制，这种策略使记录添加操作更有效率。填充数据，记录碎片等等记录操作不会导致重复数据的出现。尽管这种方法会带来一些额外的成本，如每个数据块的结构需要一个块大小的属性，但系统的整体性能显著改善。我们为系统设计了不同的文件操作，如读，写和添加记录。当要读取一个文件时，客户端与管理机交换消息，得到块的实际位置，然后与块服务器通信来检索数据。在我们设计的文件管理系统中，当一个客户端使用之都模式打开一个文件，它将从管理机获取块的所有信息，包括块的大小和位置，并通过这些信息得到对应的块，虽然这个方案事实上由可变块所决定，其优点是，客户端只要与管理机一次通信就能读取整个文件，这样比GFS的原始设计高效的多，缺点是当客户端打开一个文件进行阅读时，无法看到其他用户此时添加在该文件后面的数据。但我们相信这个问题可以忽略不计，应为大多数web应用程序的文件操作都是创建和添加一次，不会多次修改。因为我们的记录添加操作是基于块水平的，因此总记录添加性能不受块服务器存储文件的最后一块所限制。本专利技术的一种可变块大小的兼容文件系统和现有技术相比，具有以下有益效果：云存储是一种新兴的网络存储技术，将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据；每个文件分为可变大小的块，方便存储和管理，易于扩展，主要用于大型的、分布式的、对大量数据进行访问的应用，增强云上数据处理的吞吐量；对于那些大型的、分布式的、对大量数据进行访问的应用，可以充分的使用每一块文件系统，增强云上数据处理的吞吐量。相信在云存储的高速发展的情况下，这种可变化大小的兼容文件系统也同样可以被广泛的使用。具体实施方式下面结合具体实施例对本专利技术作进一步说明。一种可变块大小的兼容文件系统，每个文件都是由可变大小的块组成，每个块都有一个不变的全球唯一标识所区分，这些标识是管理机在创建这个块时生成的；系统通过在多个服务器上保存块的备份来保证数据的可靠性；管理机维护文件系统的元数据，其中包括命名空间，访问控制信息，文件到块的映射关系，块的实际位置以及控制系统的活动范围，回收孤立块和在服务器上迁移块；每个块服务器定期通过心跳消息报告其状态和检索指令；文件管理系统的客户端通过系统集成API与应用程序打交道，可实现管理机与块服务器的读写操作。优选的，建立在云计算平台基础上设计，由一个管理员和多个服务器组成，可供多个客户端访问，其中每个文件分为可变大小的块。每个文件系统集群由一个单一管理员和多个服务器组成，且每个文件系统可供多个客户端访问和使用。在多个组块服务器上复制每个块，默认情况下在系统中维护三个副本，用户为不同的文件指定不同的复制级别，当正在使用的服务器出现故障时，使用备份服务器来发送数据以增强数据的可靠性。该系统的设计目的是最小化管理机参与文件访问操作。除了像GFS一样提供普通的读写操作，还提供原子操作，以便保证多个客户端同时添加文件时的同步，在系统实现中，我们发现记录添加操作是一个区分一个系统性能的关键，我们设计的文件交互机制与区分于GFS，在某些方面甚至优于GFS。在GFS中，一个文件分成固定大小的块，当一个客户端的用户使用记录添加操作时，系统检查当前文件的最后一个块是否出现块溢出，如果是这样，则将这个块复制到最大块里，并告诉用户继续文件操作，在一些写失败的情况下，这种方法可能会导致重负的记录和不完整的记录。而在我们的文件管理系统的设计中，文件有可变大小的块组成，通过系统的相互作用机制，这种策略使记录添加操作更有效率。填充数据，记录碎片等等记录操作不会导致重复数据的出现。尽管这种方法会带来一些额外的成本，如每个数据块的结构需要一个块大小的属性，但系统的整体性能显著改善。我们为系统设计了不同的文件操作，如读，写和添加记录。当要读取一个文件时，客户端与管理机交换消息，得到块的实际位置，然后与块服务器通信来检索数据。在我们设计的文件管理系统中，当一个客户端使用之都模式打开一个文件，它将从管理机获取块的所有信息，包括块的大小和位置，并通过这些信息得到对应的块，虽然这个方案事实上由可变块所决定，其优点是，客户端只要与管理机一次通信就能本文档来自技高网...

【技术保护点】
一种可变块大小的兼容文件系统，其特征在于每个文件都是由可变大小的块组成，每个块都有一个不变的全球唯一标识所区分，这些标识是管理机在创建这个块时生成的；系统通过在多个服务器上保存块的备份来保证数据的可靠性；管理机维护文件系统的元数据，其中包括命名空间，访问控制信息，文件到块的映射关系，块的实际位置以及控制系统的活动范围，回收孤立块和在服务器上迁移块；每个块服务器定期通过心跳消息报告其状态和检索指令；文件管理系统的客户端通过系统集成API与应用程序打交道，可实现管理机与块服务器的读写操作。

【技术特征摘要】
1.一种可变块大小的兼容文件系统，其特征在于每个文件都是由可变大小的块组成，每个块都有一个不变的全球唯一标识所区分，这些标识是管理机在创建这个块时生成的；系统通过在多个服务器上保存块的备份来保证数据的可靠性；管理机维护文件系统的元数据，其中包括命名空间，访问控制信息，文件到块的映射关系，块的实际位置以及控制系统的活动范围，回收孤立块和在服务器上迁移块；每个块服务器定期通过心跳消息报告其状态和检索指令；文件管理系统的客户端通过系统集成API与应用程序打交道，可实现管理机与块服务器的读写操作。2.根据权利要求1所述的一种可变块...

【专利技术属性】
技术研发人员：杨浩伟，杨培强，邹建军，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37