分布式文件系统多文件副本的管理方法技术方案

本发明专利技术涉及一种分布式文件系统多文件副本的管理方法，采用基于频率的副本管理机制，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移；具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，采用数据网格的方法和基于利润驱动的策略；副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用。本发明专利技术有益的效果是：提供的服务继承了分布式文件系统的优良特性，包括松散耦合、高可用性、高可靠性和高性价比。

【技术实现步骤摘要】

本专利技术涉及文件副本管理
，主要是一种。
技术介绍
在广域网的服务型分布式存储系统中，每个存储结点都是专门提供服务的服务器，系统 的结构不会频繁变化，因此结点的稳定性比较强。然而在发生系统故障或者网络故障时，部 分结点会无法提供稳定的文件服务。分布式文件系统的突出特点就是具有位置的透明性和迁 移透明性，文件分布保存在不同的存储节点上，这些分布式文件系统基本满足了大规模存储 系统的需要。然而在文件访问性能、系统的可靠性和稳定性等诸多方面还存在一定问题。文 件的副本可以有效的提高系统的可靠性，在系统中一个或多个副本发生故障时，可以对其他的副本进行操作，保证了系统的可用性。多个副本可以有效的将访问负荷分散到多个服务器 上，提供系统负载量的灵活扩展。文件副本同时提供地域上的扩展，在使用文件数据附近的 地方存放一个副本，减少了访问的响应时间。由于副本复制目标，副本复制的粒度和应用环境的差异，传统的简单副本管理方法并不 能很好的应用在分布式文件系统中。目前的分布式文件系统具有动态网络环境、海量文件数 据和负载均衡等特点，需要针对这些特点，研究满足要求的多文件副本管理方法。目前国内外副本创建策略的研究中，提出了如Best Client副本创建策略，瀑布副本创建 策略，缓存加瀑布创建策略和快速传播副本创建策略，这些策略针对数据网格的特点，如源数 据存储于网格系统的顶层结点，网格系统具有层次性的网络拓扑结构。另外一种基于用户驱 动的副本创建策略是基于域内副本衍生和域间副本扩展策略，域内副本衍生策略通过在域内 衍生副本增加用户的数据访问点以实现域内文件主机的负载均衡性，域间副本扩展策略依据 Popular原则即用户访问副本次数驱使副本在域间扩展，减少了用户的访问延迟和带宽消耗。在副本的一致性维护问题上，Gnutella采用基于洪泛的副本一致性维护算法，更新初始 化节点将消息通过广播的方式告诉邻接节点，其邻接节点再将此消息转发到它的下一轮邻接 节点，以这种类似广度优先搜索的方式将更新消息传送到网络中所有的副本。有一种基于副本 链(R印lica Chain)的副本一致性维护算法，更新消息通过副本链传递，网络中每个节点是副 本链中的一个点，每次更新消息传递给链中邻近的k个节点，这种方法可以有效地减少冗余消息的产生，但是每个节点必须维护一个周围节点的副本链，在无结构分散P2P网络中，节 点只知道其直接相连的邻节点，构造和维护一个副本节点链带来了额外消息交互开销。CFS 是采用了 chord査找方式的结构化P2P系统，其中存储以文件块为单位，文件块副本放置在 通过哈希得到的结点以及该结点在chord环中的k个直接后续上。同时通过系统维护来保证 k个后续上始终存在副本，即使有结点加入或退出。由于后续的k个相邻结点在物理地址上 不太可能相邻，提高了利用副本的可靠性。用户来下载时，将返回k个副本的地址以及它们 到用户的下载速率估计，由用户选择最佳副本进行下载。当前已有的文件副本创建和一致性维护方法都具有相应的局限性，仅适合于数据网格或 结构化的P2P网络，对于分布式文件系统，需要一种灵活的文件副本创建、定位、选择和维 护方法。
技术实现思路
本专利技术要解决上述技术所存在的缺陷，提供一种， 弥补当前分布式文件系统副本创建和维护的局限性和不足，对现有的副本管理方法和策略进 行改进。本专利技术解决其技术问题所采用的技术方案这种，采用基于频率的副本管理机制FRM(Frequency Based R印lication Management),根据文件 的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减 和存储位置的迁移，实现最佳的系统服务性能，并减少过多副本占用存储资源的问题。具体 包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的 创建方法包括用户发起的创建和结点发起的创建，这两种创建策略解决了系统缺省创建副本 的盲目性和低利用率。本专利技术采用数据网格的方法和基于利润驱动的策略，解决了分布式文 件系统的副本创建问题。副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最 小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法 管理副本的一致性。本专利技术有益的效果是本专利技术方法的提供的服务继承了分布式文件系统的优良特性，包 括松散耦合、高可用性、高可靠性和高性价比，文件的多副本的冗余机制保证了系统的可靠 性和容错特性，提供了多源文件数据的并行传输的特性。具体而言，本专利技术据有以下特色 (1)文件副本维护由系统自动完成，无需用户干预，对用户透明。文件的副本数量过多时，会占用系统存储资源，保持这些副本的同步和一致性需要消耗大量网络资源，同时带来难以管理的问题。副本的数量太少时，文件的可靠性和可用性无法 得到保证，对于大量的文件操作，都集中在少数节点上，难以实现操作的负载平衡。系统会 根据文件的读写访问频率和访问来源等信息动态改变文件副本的状态，自主选择副本的创建 和管理方法，用户无需了解内部实现细节，系统提供给用户的是一个或多个可以快速高效访 问的文件副本。(2) 有效节约存储设备成本和管理成本，基于经济的普通服务器实现了高性能大型计算 机所具有的数据处理能力。本专利技术提供的副本管理方法通过副本存储位置的动态迁移技术和基于用户域的副本创建 策略，降低了单位容量数据的存储成本，文件可以通过迁移到高访问的区域，降低对远程网 络的访问频率，加快了请求的响应速度，充分利用本地网络的带宽实现低成本的文件服务。(3) 多个副本服务松散耦合，具有很强的容错性和快速的故障恢复能力，使整个系统具有高可用性和高可靠性。多个文件副本通过副本树建立联系，即使一个副本所在的存储节点出现硬件或者软件故 障，整个系统也可以保证文件服务的可用性。附图说明图1为本专利技术的分布式文件系统环境示意图2为用户发起副本创建流程图3为结点发起副本创建流程图4为对副本在Chord环上的分布图5为对副本管理的副本树示意具体实施例方式下面结合附图和实施例对本专利技术作进一步介绍本专利技术的系统环境如图1所示，整个系统又处在不同地域的文件存储节点构成，各个节 点由一个统一的虚拟存储节点进行管理，副本管理模块构建在虚拟存储节点上，用户通过与 副本管理模块交互定位到所需的文件副本上。对于读操作比较多的文件，需要在请求率高的地方建立较多的文件副本，对于写操作和 修改操作比较多的文件应该尽量保存较少的副本。因此对每个文件的创建两个计数器，对文 件进行了一次读操作时，增加读计数，对文件进行了一次写操作时，增加写计数器。每隔一 定的周期，扫描这两个计数器，根据这两个数决定副本的增加或者减少。图2表示的是有用户发起的副本创建方法。在广域网的环境中，系统缺省创建的副本有可能不能覆盖到部分用户的地域。用户要访问某个文件时，发现自身所在的区域没有文件的 副本存在，现存的副本所在节点都距离过远，此时就有必要在用户附近创建副本。本专利技术利 用数据网格中域的概念，将服务器结点按照域划分，每个域都有一个ID，对于每个用户的请 求，系统都可以确定请求属于哪个域，对于现存副本过远的情况，用户可以在所在域中选择 服务器创建新的文件副本。用户发起的副本创建具本文档来自技高网...

【技术保护点】
一种分布式文件系统多文件副本的管理方法，其特征在于：采用基于频率的副本管理机制，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移；具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，采用数据网格的方法和基于利润驱动的策略；副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法管理副本的一致性。

【技术特征摘要】
1、一种分布式文件系统多文件副本的管理方法，其特征在于采用基于频率的副本管理机制，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移；具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，采用数据网格的方法和基于利润驱动的策略；副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法管理副本的一致性。2、 根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于所述 的副本粒度管理是对于读操作比较多的文件，在请求率高的地方建立较多的文件副本，对 于写操作和修改操作比较多的文件保存较少的副本；对每个文件的创建两个计数器，对文件进行了一次读操作时，增加读计数，对文件进行了一次写操作时，增加写计数器，每隔一定 的周期，扫描这两个计数器，根据这两个数决定副本的增加或者减少。3、 根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于文件 副本的创建方法中将服务器结点按照域划分，每个域都有一个ID，对于每个用户的请求，系 统确定请求属于哪个域，对于现存副本过远的情况，用户在所在域中选择服务器创建新的文 件副本；用户发起的副本创建具体流程如下(1) 用户向文件的主副本发出创建副本的请求，在提交请求的过程中包含自己所在域 的ID，这个请求将发送到路由表中的结点；(2) 收到请求的结点首先判断本地是否存在这个文件的副本，然后检测域的ID和用户 请求ID是否一致，如果这些条件不成立，则拒绝创建副本；(3) 在创建副本之前，先结点是否已经有足够的存储空间，空间足够时就直...

【专利技术属性】
技术研发人员：尹建伟，孙鹏，邓水光，李莹，吴健，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]