一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤：创建ZFS文件系统；Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；为Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在ZFS文件系统中。本发明专利技术还涉及一种全局一致性还原方法。
【技术实现步骤摘要】
本专利技术涉及一种分布式数据系统数据节点处理方法，由其是一种分布式数据系统数据节点的全局一致性备份方法，以及一种分布式数据系统数据节点的全局一致性还原方法。
技术介绍
分布式系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与存储资源的节点相连，一般的做法是，将多节点的数据库组合成一个大的数据库对外提供服务，其系统架构如图1所示，一般包括: 1、Load Balancer，负载均衡设备。2、Global Transact1n Manager，全局事务管理模块，负责全局事务号的管理，全局事务镜像的管理，以下简称GTM。3、Coordinators，协处理模块，负责接收客户端请求(SQL)，解析客户端SQL,重写SQL为分布式SQL,并提交给响应的数据节点(Data Nodes)执行，接收Data Nodes的返回结果，如果需要聚合操作的话，则在处理完聚合之后再将数据返回给客户端。在一个分布式系统中，协处理模块一般部署有多台，配合负载均衡设备，可以解决高可用和负载均衡的问题。4、Data Nodes,用户数据节点，负责存储真正的用户数据，接收来自Coordinators 的 SQL 请求，处理后返回给 Coordinators。现有技术中，分布式系统的数据节点备份方法需要不断的重复备份基础数据，操作频率较大，对备份容量的需求也随之增大。由于备份容量与还原事件成反比，要获得较快的还原事件，一般的做法是牺牲备份容量，从而对数据库产生大量的读请求。相反的，如果降低备份操作频率，一旦需要还原，则所需时间越长。
技术实现思路
本专利技术为了解决现有技术中存在的技术问题，提出了一种分布式数据系统数据节点的全局一致性备份方法、分布式数据系统数据节点的全局一致性还原方法。为了达到上述专利技术目的，本专利技术所采用的技术方案是: 一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤:创建ZFS文件系统；Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；为Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在ZFS文件系统中。上述技术方案还可以进一步完善: 作为优选，创建ZFS文件系统，具体包括:在备份机安装ZFS模块；在ZFS模块中创建ZFS文件系统。作为优选，Standby数据库与需备份的目标数据节点--对应。作为优选，仓ll建Standby数据库的步骤，具体包括:在备份机中创建目标数据节点的Standby数据库，Standby数据库的数据目录存放在ZFS文件系统中。作为优选，上述方法还包括如下步骤:设定ZFS快照的创建频率。作为优选，目标数据节点是Coordinator节点和datanode节点。为达到上述专利技术目的，本专利技术所采用的第二个技术方案是: 一种分布式数据系统数据节点的全局一致性还原方法，包括如下步骤:选择一个barrier作为恢复目标；选择与数据节点对应的Standby数据库中恢复目标的前一个ZFS快照，根据ZFS快照创建一个克隆镜像，在克隆镜像中创建恢复文件，并指定恢复文件到恢复目标；当对所有的数据节点执行上一步操作后，激活数据节点，还原完成。上述技术方案还可以进一步完善: 作为优选，创建barrier的步骤，具体包括:判断设定的判定条件是否满足，如满足则触发启动一次barrier创建；向数据节点提交堵塞未决事务请求，如果堵塞超时，则释放未决事务堵塞并结束此次barrier创建；如果堵塞未超时，则创建barrier，随后释放未决事务堵塞，结束此次barrier创建；循环执行上述步骤。作为优选，克隆镜像对应Standby数据库从需备份的目标数据节点中拷贝的增量数据。作为优选，数据节点是Coordinator节点和datanode节点。由于上述技术方案的采用，本专利技术与现有技术相比，具有以下优点: 本专利技术的技术方案，利用流复制方式创建数据节点的Standby数据库，Standby数据库中仅存储增量数据，结合运用ZFS文件系统创建ZFS快照，达到了备份Standby数据库与备份数据节点的主数据库相同的效果，但却无需大量的向主数据库发起读请求； 本专利技术的技术方案，通过创建ZFS快照克隆镜像的方式，仅还原数据节点的增量数据部分，如果还原完成后认为数据节点还原有误，则无需将全部备份集重新拷贝，只需上述克隆镜像重新还原即可，对于一个ITB的备份集来说，采用现有技术中的还原方法，通过IGB网络传输需要I万秒，而是用本专利技术的技术方案，还原事件在I秒之内。本专利技术的其他技术效果将在【具体实施方式】部分做详细的展开说明。【附图说明】图1为分布式系统的一种系统框架图； 图2是本专利技术备份方法的一种系统架构框图； 图3是本专利技术还原方法的一种系统架构框图； 图4是本专利技术的一种barrier创建方法的示意图。【具体实施方式】下面结合附图，对本专利技术的【具体实施方式】做进一步解释说明。实施例1 如图2所示的一种分布式数据系统数据节点的全局一致性备份方法，包括如下步骤: 1、创建ZFS文件系统，具体包括:在备份机安装ZFS模块；在ZFS模块中创建ZFS文件系统； 2、创建Standby数据库，Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据xlog数据得到Standby数据文件；standby数据文件即是需备份的目标数据节点的过去状态； 3、设定ZFS快照的创建频率； 4、为所述的Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在所述的ZFS文件系统中，创建快照即是达到备份目标数据节点数据目录的目的。上述备份方法可以应用于分布式数据系统的datanode节点，也可以应用在Coordinator节点上。一种实施例中，Coordinator节点应用上述方法进行备份。另一种实施例中，不对Coordinator单独创建备份机和Standby数据库。为了减少备份对数据库产生的大量读请求，利用数据库的流复制，创建Standby数据库，备份Standby数据库的效果和备份主数据库的效果一样，备份请求与主数据库无关。将流复制和ZFS快照结合，利用ZFS快照来迅速完成任意大小的数据库(datanode和coordinator节点)的增量备份。实施例2 分布式数据系统需要面对一致性还原问题，具体来说，所有数据节点必须还原到跨库事务一致的状态，一般来说，这需要对每个数据库提供一个还原点来实现。Barrier可以理解成一个隔离带，用来隔离一致性事务的提交交错状态，在一个barrier被创建后，事务的提交信息在xlog日志中的写入顺序是全局一致的，因此，当恢复到创建barrier的时间点时，即可确保全局状态一致性的还原(恢复)。如图4所示，创建barrier的步骤，具体包括:判断设定的判定条件是否满足，如满足则触发启动一次barrier创建；向数据节点提交堵塞未决事务请求，如果堵塞超时，则释放未决事务堵塞并结当前第1页1 2 本文档来自技高网...
【技术保护点】
一种分布式数据系统数据节点的全局一致性备份方法，其特征在于，包括如下步骤：创建ZFS文件系统；创建Standby数据库；所述的Standby数据库从需备份的目标数据节点中接收实时产生的xlog数据，根据所述的xlog数据得到Standby数据文件；为所述的Standby数据库的Standby数据文件所在的ZFS文件系统创建ZFS快照，并存放在所述的ZFS文件系统中。
【技术特征摘要】
【专利技术属性】
技术研发人员：周正中，
申请(专利权)人：杭州斯凯网络科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。