数据资源复制方法以及装置制造方法及图纸

本发明专利技术提供一种数据资源复制方法以及装置，其中该方法包括：在分别向多个存储节点发送具有数据资源的写入请求后，若判断多个存储节点中的任意存储节点进行数据资源写入失败，将数据资源写入失败的存储节点作为故障节点；向管理节点发送查询消息；在接收到管理节点回复的应答消息后，根据管理节点回复的应答消息确定所述故障节点的关机状态为正常关机状态时，则不向备份节点发送所述写入请求，当确定所述关机状态为非正常关机状态时，将所述具有数据资源的写入请求发送至备份节点。避免了因关机的存储节点开机时，将写入备份节点的数据资源大量转移到开机的存储节点的情况，进而提高swift云存储集群的可靠性以及可用性。

【技术实现步骤摘要】
数据资源复制方法以及装置
本专利技术涉及通信
，尤其涉及数据资源复制方法以及装置。
技术介绍
由于OpenstackObjectStorage(Swift)具有强大的扩展性、冗余性和持久性，目前多基于Swift来完成使用普通硬件构建冗余的、可扩展的分布式云存储集群架构。如图1所示，基于swift的云存储集群架构中包括管理节点(Manager)、接入节点(Proxy)以及存储节点(Storage)。由于Swift是采用多份(>＝3)复制机制来提高数据资源的可靠性的技术，因此在访问swift云存储时，客户端将具有数据资源的写入请求发送到管理节点后，由管理节点将该写入请求分发到接入节点上，接入节点将该数据资源按照指定的副本数量写入多个存储节点上，来完成数据资源的存储。现有技术中，在数据资源写入存储节点的过程中，如果对应的存储节点关机，接入节点会自动寻找handoff(后备)资源，即备份节点，来保证写入的数据资源按指定的副本数量写入，并向客户端返回写入成功。但是，在云存储集群系统的维护操作中通常需要重启或关机存储节点，例如升级存储节点软件或更换存储节点硬件时。这种情况的存储节点可以很快正常开机。因此，在数据资源写入存储节点时若检测到存储节点关机，且关机的存储节点正是因为上述原因造成的正常关机，那么该关机的存储节点将很快恢复正常。此时，若将数据资源写入备份节点后，根据swift机制的标准还要将写入备份节点上的数据资源转移到恢复正常的存储节点，这样一来，在具有大规模的存储节点组建的swift云存储集群架构中，若大量的进行数据资源复制、转移，则会大幅降低swift云存储集群架构的可用性以及可靠性。
技术实现思路
针对现有技术的缺陷，本专利技术提供了数据资源复制方法以及装置。本专利技术提供一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Proxy接入节点，所述存储集群还包括Manager管理节点、Storage存储节点，其中，该方法包括：在分别向多个存储节点发送具有数据资源的写入请求后，若判断多个存储节点中的任意存储节点进行数据资源写入失败，将数据资源写入失败的存储节点作为故障节点；向管理节点发送查询消息，以查询所述故障节点的关机状态；在接收到管理节点回复的应答消息后，根据管理节点回复的应答消息确定所述故障节点的关机状态为正常关机状态还是非正常关机状态，当确定所述关机状态为正常关机状态时，则不向备份节点发送所述写入请求，当确定所述关机状态为非正常关机状态时，将所述具有数据资源的写入请求发送至备份节点。本专利技术还提供一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Manager管理节点，所述存储集群还包括Proxy接入节点、Storage存储节点，所述方法包括：接收存储节点发送的关机消息，将所述存储节点的关机消息保存至全局关机信息中；在接收到查询存储节点关机状态的查询消息后，获取所述查询消息中携带的存储节点的节点标识；检查所述全局关机信息中是否有与所述存储节点的节点标识对应的存储节点的关机消息，并得到查询结果；根据所述查询结果回复应答消息，以使发送所述查询消息的节点根据所述查询结果判断所述存储节点的关机状态。本专利技术还提供一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Storage存储节点，所述存储集群还包括Proxy接入节点、Manager管理节点，所述方法包括：定期向存储有自身保存的数据资源的副本的其他存储节点发送审核消息，以检查本地存储的数据资源与保存至其他存储节点的副本内容是否一致；若在预设超时时间未接收到所述其他存储节点中任意存储节点回复的回应消息，将未回复回应消息的存储节点作为故障节点，并向管理节点发送查询消息，以查询所述故障节点的关机状态；接收管理节点回复的应答消息，若根据所述应答消息确定所述故障节点为非正常关机状态，将所述本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点，若根据所述应答消息确定所述故障节点为正常关机状态，则不会将所述本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点。本专利技术还提供一种数据资源复制装置，应用于基于OpenstackObjectStorage(swift)的云存储集群的Proxy接入节点，所述存储集群还包括Manager管理节点、Storage存储节点，所述装置包括：判断单元，用于在分别向多个存储节点发送具有数据资源的写入请求后，若判断多个存储节点中的任意存储节点进行数据资源写入失败，将数据资源写入失败的存储节点作为故障节点；发送单元，用于向管理节点发送查询消息，以查询所述故障节点的关机状态；确定单元，用于在接收到管理节点回复的应答消息后，根据管理节点回复的应答消息确定所述故障节点的关机状态为正常关机状态还是非正常关机状态，当确定所述关机状态为正常关机状态时，则不向备份节点发送所述写入请求，当确定所述关机状态为非正常关机状态时，将所述具有数据资源的写入请求发送至备份节点。本专利技术还提供一种数据资源复制装置，应用于基于OpenstackObjectStorage(swift)的云存储集群的Manager管理节点，所述存储集群还包括Proxy接入节点、Storage存储节点，所述装置包括：保存单元，用于接收存储节点发送的关机消息，将所述存储节点的关机消息保存至全局关机信息中；获取单元，用于在接收到查询存储节点关机状态的查询消息后，获取所述查询消息中携带的存储节点的节点标识；检查单元，用于检查预存的全局关机信息中是否有与所述存储节点的节点标识对应的存储节点的关机消息，并得到查询结果；发送单元，用于根据所述查询结果回复携带有节点状态标记的应答消息，以使发送所述查询消息的节点根据所述节点状态标记判断所述存储节点的关机状态。本专利技术还提供一种数据资源复制装置，应用于基于OpenstackObjectStorage(swift)的云存储集群的Storage存储节点，所述存储集群还包括Proxy接入节点、Manager管理节点，所述装置包括：审核单元，用于定期向存储有自身保存的数据资源的副本的其他存储节点发送审核消息，以检查本地存储的数据资源与保存至其他存储节点的副本内容是否一致；发送单元，用于在预设超时时间未接收到所述其他存储节点中任意存储节点回复的回应消息，将未回复回应消息的存储节点作为故障节点，并向管理节点发送具有所述故障节点的查询消息，以查询所述故障节点的关机状态；接收单元，用于接收管理节点回复的具有节点状态标记的应答消息，若根据所述节点状态标记确定所述故障节点为非正常关机状态，将本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点，若根据所述应答消息确定所述故障节点为正常关机状态，则不会将所述本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点。本专利技术提供的数据资源复制方法以及装置，在分别向多个存储节点发送写入请求后，若存在数据资源写入失败的故障节点，查询该故障节点的关机状态，并在确定该故障节点的关机状态为正常关机状态时，向管理节点发送与故障节点对应的数据更新标记，以本文档来自技高网...

【技术保护点】
一种数据资源复制方法，应用于基于Openstack Object Storage(swift)的云存储集群的Proxy接入节点，所述存储集群还包括Manager管理节点、Storage存储节点，其特征在于，所述方法包括：在分别向多个存储节点发送具有数据资源的写入请求后，若判断多个存储节点中的任意存储节点进行数据资源写入失败，将数据资源写入失败的存储节点作为故障节点；向管理节点发送查询消息，以查询所述故障节点的关机状态；在接收到管理节点回复的应答消息后，根据管理节点回复的应答消息确定所述故障节点的关机状态为正常关机状态还是非正常关机状态，当确定所述关机状态为正常关机状态时，则不向备份节点发送所述写入请求，当确定所述关机状态为非正常关机状态时，将所述具有数据资源的写入请求发送至备份节点。

【技术特征摘要】
1.一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Proxy接入节点，所述云存储集群还包括Manager管理节点、Storage存储节点，其特征在于，所述方法包括：在分别向多个存储节点发送具有数据资源的写入请求后，若判断多个存储节点中的任意存储节点进行数据资源写入失败，将数据资源写入失败的存储节点作为故障节点；向管理节点发送查询消息，以查询所述故障节点的关机状态；在接收到管理节点回复的应答消息后，根据管理节点回复的应答消息确定所述故障节点的关机状态为正常关机状态还是非正常关机状态，当确定所述关机状态为正常关机状态时，则不向备份节点发送所述写入请求，当确定所述关机状态为非正常关机状态时，将所述具有数据资源的写入请求发送至备份节点。2.如权利要求1所述的方法，其特征在于，在确定所述关机状态为正常关机状态后，所述方法还包括：向所述管理节点发送携带有与所述故障节点对应的数据更新标记的标记消息，以使所述故障节点在开机后获取所述数据资源，并使用所述数据资源同步更新其保存的数据资源。3.一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Manager管理节点，所述云存储集群还包括Proxy接入节点、Storage存储节点，其特征在于，所述方法包括：接收存储节点发送的关机消息，将所述存储节点的关机消息保存至全局关机信息中；在接收到查询存储节点关机状态的查询消息后，获取所述查询消息中携带的存储节点的节点标识；检查所述全局关机信息中是否有与所述存储节点的节点标识对应的存储节点的关机消息，并得到查询结果；根据所述查询结果回复应答消息，以使发送所述查询消息的节点根据所述查询结果判断所述存储节点的关机状态。4.如权利要求3所述的方法，其特征在于，接收存储节点发送的关机消息之后，所述方法还包括：记录接收到所述存储节点的关机消息的时间；当接收所述关机消息后的时间到达预设容忍时间之前，接收到所述存储节点的开机消息，确定所述存储节点已开机，将所述存储节点从所述全局关机信息中删除；当接收所述关机消息后的时间到达预设容忍时间时，未接收到所述存储节点的开机消息，确定所述存储节点为非正常关机状态，将所述存储节点从所述全局关机信息中删除。5.如权利要求3所述的方法，其特征在于，所述方法还包括：若接收到接入节点发送的标记消息，获取所述标记消息中的存储节点的节点标识以及数据更新标记；查找本地预存的全局关机信息中与所述存储节点的节点标识对应的关机消息；对所述对应的关机消息添加数据更新标记；在接收到具有数据更新标记的存储节点发送的开机消息时，回复具有所述数据更新标记的更新消息，以通知所述存储节点更新其存储的数据资源。6.一种数据资源复制方法，应用于基于OpenstackObjectStorage(swift)的云存储集群的Storage存储节点，所述云存储集群还包括Proxy接入节点、Manager管理节点，其特征在于，所述方法包括：定期向存储有自身保存的数据资源的副本的其他存储节点发送审核消息，以检查本地存储的数据资源与保存至其他存储节点的副本内容是否一致；若在预设超时时间未接收到所述其他存储节点中任意存储节点回复的回应消息，将未回复回应消息的存储节点作为故障节点，并向管理节点发送查询消息，以查询所述故障节点的关机状态；接收管理节点回复的应答消息，若根据所述应答消息确定所述故障节点为非正常关机状态，将所述本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点，若根据所述应答消息确定所述故障节点为正常关机状态，则不会将所述本地存储的数据资源中与所述故障节点对应的数据资源写入备份节点。7.如权利要求6所述的方法，其特征在于，所述方法还包括：存储节点正常关机时，向管理节点发送关机消息，所述关机消息携带所述存储节点的节点标识，以供所述管理节点存储所述关机消息；若所述存储节点为故障节点，在所述存储节点开机后，向管理节点发送开机消息；若接收到管理节点发送的具有数据更新标记的更新消息，根据所述数据更新标记更新所述存储节点存储的数据资源。8.一种数据资源复制装置，应用于基于OpenstackObjectStorage(swift)的云存储集群的Proxy接入节点，所述云存储集群还包括Manager管理...

【专利技术属性】
技术研发人员：张敏，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33