基于分区状态表和协调节点的副本同步方法技术

本发明专利技术公开了一种基于分区状态表和协调节点的副本同步方法，该方法通过这种授权的副本同步机制维护副本一致性，需要更新的副本所在的存储节点向协调节点发送同步请求，协调节点依据分区状态总表判断该存储节点是否符合执行副本同步操作的条件，授权给符合条件的存储节点执行副本同步操作。本发明专利技术的基于分区状态表和协调节点的副本同步方法极大地降低副本一致性的重复检测率、同步带宽占用率和不一致窗口的大小，避免多个副本的版本冲突问题，并增加副本同步的时效性。使分布式文件存储系统对外部请求的响应、副本一致性的检测更加迅速，提升系统的服务能力和最终一致性的效率。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种，该方法通过这种授权的副本同步机制维护副本一致性，需要更新的副本所在的存储节点向协调节点发送同步请求，协调节点依据分区状态总表判断该存储节点是否符合执行副本同步操作的条件，授权给符合条件的存储节点执行副本同步操作。本专利技术的极大地降低副本一致性的重复检测率、同步带宽占用率和不一致窗口的大小，避免多个副本的版本冲突问题，并增加副本同步的时效性。使分布式文件存储系统对外部请求的响应、副本一致性的检测更加迅速，提升系统的服务能力和最终一致性的效率。【专利说明】
本专利技术涉及存储
，具体涉及一种。
技术介绍
传统的数据存储技术将一份数据存储在一个节点上，需要该数据的用户都须到同一个节点上读取它。近年来，随着互联网中的用户对资源的需求量日益增多，网络容易出现拥塞，而处理能力有限的节点也会因为访问数量太大而宕机。且传统的数据存储技术在可扩展性，高可用性等方面远远无法满足当今的数据存储需求，20世纪80年代，分布式文件存储的概念被提出。分布式文件存储是指利用分布式技术，通过计算机网络与节点相连，将网络中不同节点上的存储设备通过分布式应用软件集合起来，由存储系统统一管理，协同工作，共同对外提供数据存储和业务，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。分布式文件存储系统通过分布式的架构，创建多份副本，并将它们合理分布在多个服务器节点上，供用户存取，利用多台存储服务器分担存储负荷以及处理访问请求，可以有效降低节点失效率，减少用户响应时间。通过分布式文件存储，创建多份副本，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，可以将各类存储设备结合使用，提供良好的可扩展的存储服务。相比传统的存储设备，其在扩展性，安全性，可靠性等方面，都有了很大的提升。然而，由于存在多个副本，会出现副本不同步的问题，即多个副本不一致性，造成不同用户访问的结果不一致，导致分布式文件存储系统可用性和可靠性降低。为了在分布式文件存储系统中保持副本的一致性，提出了文件副本策略。一方面是维护副本的一致性，提高分布式文件存储系统的可用性和可靠性。另一方面是提升系统的整体性能。例如通过在存储服务器中增加副本，让更多的存储服务器提供服务，增强系统的负载均衡和扩展能力。近年来提出了很多的分布式架构下的文件存储副本管理方案。按照分布式文件系统的架构不同，主要可以分为中心化架构存储系统的副本管理策略和对称架构存储系统的副本管理策略。(I)中心化架构存储系统的副本管理策略在中心化架构的存储系统中主要采用模拟存储状态法、主副本法来实现副本的一致性检测。模拟存储状态法在每个存储节点中维护文件块列表，通过心跳与名字节点进行块信息交换，由名字节点控制副本的同步和复制。主副本法在同一个文件的多个副本中挑选出一个基准副本，所有的写操作都对主副本进行，并由主副本控制其他副本的同步和复制。(2)对称架构存储系统的副本管理策略由于中心化架构存在明显的名字节点瓶颈问题，因此扩展性更好的对称架构被提出并趋于主流。在对称架构存储系统中主要采用存储节点间“点到点”的副本检测机制。顾名思义，在“点到点”的副本检测机制中，存储节点通过请求其对等的远端节点上的副本校验码和版本号，与本地副本进行比较，若本地副本与远端副本不一致且远端副本版本较旧，则本地副本会将本地副本数据推送到对等节点，实现“点到点”的副本同步。传统的对称存储架构的副本管理策略存在以下不足:I)重复检测量大。对于一个每个分区具有3个副本的对称架构存储系统，要保证3个副本的一致性，需要3个存储节点间发送6次消息进行检测。这种方式虽然易于实现，但占用大量带宽，降低了系统的总体性能。2)不一致窗口放大。对于单个存储节点来说，每一轮副本一致性的检测都会消耗一定的时间，这个间隔时间会随着存储节点上的分区数量的增多而增大，从而导致大量不一致的副本被延迟较久才能检测，增大了系统的不一致窗口，使得最终一致性的效率较低，用户极易访问到不一致的数据。
技术实现思路
针对现有技术的不足，本专利技术提供了，避免了重复检测，且不一致窗口小。一种，所述的副本同步方法应用于对称架构的分布式文件存储系统，所述的分布式文件存储系统包括多个存储节点和一个协调节点，所述的副本同步方法包括:(I)初始化1-1)每个存储节点上建立分区状态表，所述的分区状态表实时记录相应存储节点的存储分区的分区号、分区状态和版本号，初始化后分区状态和版本号为空；所述的分区状态包括:“完全同步”，“最新”，“同步到远端”和“更新到本地”四种状态；1-2)所述的协调节点将所有分区状态表汇总并建立分区状态总表；(2)发送同步请求若某存储节点中某一存储分区的数据被修改，且该存储分区无状态冲突，则更新该存储分区的分区状态为“最新”，同时以该存储节点为源节点向所述的协调节点发送当前存储分区的同步请求；(3)请求返回指令协调节点接收所述的同步请求，并根据分区状态总表，判断当前存储分区是否满足副本同步操作的执行条件，并发送相应的返回指令，具体为:3-1)若不满足所述的执行条件，则协调节点维持当前存储分区的分区状态不变，并向源节点返回“申请失败”；3-2)若满足所述的执行条件，则协调节点更新前存储分区的分区状态为“同步到远端”，并向源节点返回“申请成功”；( 4 )执行同步操作源节点接收所述的返回指令，并做出如下操作:4-1)若返回指令为“申请失败”，则源节点保持当前存储分区的分区状态不变，并等待副本同步；4-2)若返回指令为“申请成功”，则源节点向当前存储分区的所有副本所在的存储节点执行副本同步操作，使当前存储分区的所有副本一致。本专利技术的副本同步方法中，各存储节点分别维护一个分区状态总表，记录了相应存储节点中所有存储分区的分区号、分区状态和版本号；协调节点维护分区状态总表，记录了该系统中所有节点的所有分区信息，包含分区号、分区状态和版本号。协调节点接收存储节点的同步请求，依据分区状态总表判断该存储节点是否符合执行副本同步操作的条件，授权给符合条件的存储节点，让该节点执行副本同步操作；不符合条件的存储节点，则表明有其他副本节点先于源节点发送了副本同步申请，源节点保持状态不变，并等待副本同步。这种授权的副本同步机制可以有效减少无用复制的产生，降低同步带宽占用，同时可以很好的对副本版本进行管理，避免多个副本的版本冲突问题，并增加副本同步的时效性，减小不一致窗口。且副本同步操作是在存储节点间进行的，并不经过协调节点，协调节点只负责授权根据请求授权副本同步操作，可以有效的减轻协调节点的压力。所述步骤(I)中的四种分区状态按照有限状态机原理转换。通过有限状态机原理实现四种分区状态转换，能够限定四种分区状态相互转换的顺序。所述步骤(2)中的同步请求携带有当前存储分区的分区号、分区状态和版本号。同步请求中携带的信息便于协调节点进行处理。所述步骤(3)中的执行条件为当前存储分区无状态冲突和版本冲突。所述的状态冲突通过状态的转换原理确定，若当前存储分区不满足有限状态机的转换条件，则认为当前存储分区状态冲突。所述的版本冲突根据以下方法判定:若当前存储分区的副本版本不是所有副本中最新的，则认为当前存储分区版本冲突。状态冲突的判断先于本文档来自技高网...

【技术保护点】
一种基于分区状态表和协调节点的副本同步方法，其特征在于，所述的副本同步方法应用于对称架构的分布式文件存储系统，所述的分布式文件存储系统包括多个存储节点和一个协调节点，所述的副本同步方法包括：（1）初始化1?1）每个存储节点上建立分区状态表，所述的分区状态表实时记录相应存储节点的存储分区的分区号、分区状态和版本号，初始化后分区状态和版本号为空；所述的分区状态包括：“完全同步”，“最新”，“同步到远端”和“更新到本地”四种状态；1?2）所述的协调节点将所有分区状态表汇总并建立分区状态总表；（2）发送同步请求若某存储节点中某一存储分区的数据被修改，且该存储分区无状态冲突，则更新该存储分区的分区状态为“最新”，同时以该存储节点为源节点向所述的协调节点发送当前存储分区的同步请求；（3）请求返回指令协调节点接收所述的同步请求，并根据分区状态总表，判断当前存储分区是否满足副本同步操作的执行条件，并发送相应的返回指令，具体为：3?1）若不满足所述的执行条件，则协调节点维持当前存储分区的分区状态不变，并向源节点返回“申请失败”；3?2）若满足所述的执行条件，则协调节点更新前存储分区的分区状态为“同步到远端”，并向源节点返回“申请成功”；（4）执行同步操作源节点接收所述的返回指令，并做出如下操作：4?1）若返回指令为“申请失败”，则源节点保持当前存储分区的分区状态不变，并等待副本同步；4?2）若返回指令为“申请成功”，则源节点向当前存储分区的所有副本所在的存储节点执行副本同步操作，使当前存储分区的所有副本一致。...

【技术特征摘要】

【专利技术属性】
技术研发人员：尹建伟，刘柳，邓水光，李莹，吴健，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：