【技术实现步骤摘要】
本专利技术涉及分布式集群，特别是涉及一种分布式集群数据备份方法、装置、设备和存储介质。
技术介绍
1、目前的备份系统通常使用上层的文件系统接口、对象接口或块接口，通过分布式存储的上层业务网络进行访问。这样在备份过程中会产生两个问题：首先，在备份大量小文件时，上层文件、对象接口或块接口需要跟分布式系统通过网络进行交互，分布式系统内部需要通过内部网络进行与元数据服务器直接进行交互，之后再通过网络进行数据传输，这样多次的元数据和数据的传输会带来大量的tcp(transmission control protocol，传输控制协议)或ip(internet protocol，互联网协议)的小数据包，并且引入访问延迟，进而拉长备份窗口，甚至导致备份无法在非业务时间完成；其次，即使是进行大文件的备份，由于通过业务网络进行数据传输，大量备份数据会占用业务网络的大量带宽，给前端访问分布式系统的业务主机带来影响。
2、因此，针对现有技术方案的缺点，本专利技术提供一种分布式集群数据备份方法。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种分布式集群数据备份方法、装置、设备和存储介质。
2、一方面，提供一种分布式集群数据备份方法，应用于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，所述方法包括：所述客户端接收所述服务器发送的备份指令；所述客户端根据所述备份指令，查询待备份数据的元数据，其中所述
3、可选的，所述方法还包括：从所述分布式集群的多个节点中确定目标节点，将所述目标节点作为客户端；通过通用串行总线，连接所述客户端和所述服务器；通过通用串行总线协议，建立所述客户端和所述服务器之间的网络连接；所述客户端和所述服务端通过通用串行总线和通用串行总线协议进行数据传输。
4、可选的，所述从所述分布式集群的多个节点中确定目标节点，包括：依次检测所述分布式集群中的多个节点，判断多个节点中是否存在元数据管理单元；获取存在元数据管理单元的节点，根据所述节点的性能参数，确定目标节点。
5、可选的，在所述客户端接收所述服务器发送的备份指令之前，所述方法还包括：所述服务器发送元数据读取指令；所述客户端接收所述元数据读取指令，通过所述高速串行总线发送所述元数据给所述服务器；所述服务器读取所述元数据，检测到未备份的元数据，生成所述备份指令。
6、可选的，所述方法还包括：根据需求，确定所述客户端的第一传输速度和第二传输速度，其中所述第二传输速度大于所述第一传输速度；所述客户端根据所述第一传输速度，接收所述服务器发送的数据；所述客户端根据所述第二传输速度，将所述待备份数据发送给所述服务器。
7、可选的，所述分布式集群数据备份系统还包括处理服务器，所述处理服务器通过所述高速串行总线连接所述客户端，所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据，包括：所述客户端通过所述高速串行总线，将所述待备份数据发送给所述处理服务器；所述处理服务器将所述待备份数据分割成多个数据块，计算每个数据块的特征值，依次将每个数据块的特征值与所述服务器中的数据块的特征值进行比对；当所述处理服务器中的数据块的特征值和所述服务器中的数据块的特征值相同时，标记特征值相同的数据块；对标记的数据块进行检查，将符合删除标准的数据块进行删除；所述处理服务器获取删除后的多个数据块，对多个数据块进行压缩，得到压缩后的待备份数据；所述处理服务器将压缩后的待备份数据发送给所述服务器，所述服务器接收并存储所述压缩后的待备份数据。
8、可选的，所述方法还包括：所述服务器通过多个高速串行总线分别与多个客户端连接，其中，所述多个客户端为多个分布式集群中的节点；所述多个客户端通过多个高速串行总线，将多个分布式集群的待备份数据发送给所述服务器。
9、另一方面，提供了一种分布式集群数据备份装置，所述装置设置于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，所述装置包括：接收模块，用于所述客户端接收所述服务器发送的备份指令；查询模块，用于所述客户端根据所述备份指令，查询待备份数据的元数据，其中所述客户端中存储有元数据，所述元数据中包括所述待备份数据的位置信息；读取模块，用于所述客户端根据所述元数据，从分布式集群中读取所述待备份数据；备份模块，用于所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据。
10、再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：所述客户端接收所述服务器发送的备份指令；所述客户端根据所述备份指令，查询待备份数据的元数据，其中所述客户端中存储有元数据，所述元数据中包括所述待备份数据的位置信息；所述客户端根据所述元数据，从分布式集群中读取所述待备份数据；所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据。
11、又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：所述客户端接收所述服务器发送的备份指令；所述客户端根据所述备份指令，查询待备份数据的元数据，其中所述客户端中存储有元数据，所述元数据中包括所述待备份数据的位置信息；所述客户端根据所述元数据，从分布式集群中读取所述待备份数据；所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据。
12、上述分布式集群数据备份方法、装置、设备和存储介质，应用于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，所述方法包括：所述客户端接收所述服务器发送的备份指令；所述客户端根据所述备份指令，查询待备份数据的元数据，其中所述客户端中存储有元数据，所述元数据中包括所述待备份数据的位置信息；所述客户端根据所述元数据，从分布式集群中读取所述待备份数据；所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据；如此，通过客户端直接接收并查询元数据，避免元数据表示方式的转换和通过网络获取元数据的开销，从而加快元数据查询过程，提升查询效率，以及通过高速串行总线直连来传输数据，可以提升传输速率和更加有效降低成本，还可以将数据备份业务和其他业务解耦，提高备份效率；同时，在客户端中进行查询服务，而不进行处理操作，可以避免客户端的负载过重而影响本文档来自技高网...
【技术保护点】
1.一种分布式集群数据备份方法，应用于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，其特征在于，所述方法包括：
2.根据权利要求1所述的分布式集群数据备份方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的分布式集群数据备份方法，其特征在于，所述从所述分布式集群的多个节点中确定目标节点，包括：
4.根据权利要求1所述的分布式集群数据备份方法，其特征在于，在所述客户端接收所述服务器发送的备份指令之前，所述方法还包括：
5.根据权利要求2所述的分布式集群数据备份方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的分布式集群数据备份方法，所述分布式集群数据备份系统还包括处理服务器，所述处理服务器通过所述高速串行总线连接所述客户端，其特征在于，所述客户端通过高速串行总线，将所述待备份数据发送给所述服务器，所述服务器接收并存储所述待备份数据，包括：
7.根据权利要求1所述的分布式集群数据备份方法，其特征在于，所述方法还包括：p>
8.一种分布式集群数据备份装置，其特征在于，所述装置设置于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，所述装置包括：
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种分布式集群数据备份方法，应用于分布式集群数据备份系统，所述分布式集群数据备份系统包括分布式集群、客户端和服务器，所述客户端为所述分布式集群中的一个节点，其特征在于，所述方法包括：
2.根据权利要求1所述的分布式集群数据备份方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的分布式集群数据备份方法，其特征在于，所述从所述分布式集群的多个节点中确定目标节点，包括：
4.根据权利要求1所述的分布式集群数据备份方法，其特征在于，在所述客户端接收所述服务器发送的备份指令之前，所述方法还包括：
5.根据权利要求2所述的分布式集群数据备份方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的分布式集群数据备份方法，所述分布式集群数据备份系统还包括处理服务器，所述处理服务器通过所述高速串行总...
【专利技术属性】
技术研发人员：王辉，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。