一种降低集群回父带宽的方法及装置制造方法及图纸

本发明专利技术提供了一种降低集群回父带宽的方法及装置，该方法包括：确定集群内每一服务器的备服务器的数量，作为互备数量；针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器；针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器。应用本发明专利技术实施例提供的方案，能够节省集群回父成本。

A method and device to reduce the bandwidth of cluster back to parent

【技术实现步骤摘要】
一种降低集群回父带宽的方法及装置
本专利技术涉及计算机应用
，特别涉及一种降低集群回父带宽的方法及装置。
技术介绍
在CDN系统中，集群也就是指用于提供同一类服务的多个服务器的集合，如图1是CDN系统中一种用于提供点播业务集群的架构，在该集群提供点播业务的过程中，LVS(LinuxVirtualServer，Linux虚拟服务器)会提供一个对外的IP地址，当用户需要访问集群内文件时，则需要先连接LVS，LVS则会通过四层负载均衡，将请求转发到某一服务器的haproxy上，再由该服务器的haproxy通过负载均衡算法，将请求转发到某一服务器上的各个squid中，相应的，该服务器的squid在接收到请求之后则会进行回父，也就是squid在接收到请求之后需要从该集群的父集群上获取用户需要访问的文件。相关技术中，为了降低回父带宽，集群内各个服务器会存储用于向用户提供服务的文件，并且一个特定的文件只会由固定的一台服务器上的squid来提供服务。然而，当集群内某一台服务器故障时，之前由该服务器提供服务的请求，都会相对随机的分散到其它非故障服务器上，相应地，当非故障服务器在处理故障服务器提供服务的请求时，非故障服务器则需要进行回父，导致增加回父成本，并且非故障机器进行回父导致负载过高时，容易引发服务器故障。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种降低集群回父带宽的方法及装置。技术方案如下：第一方面，提供了一种降低集群回父带宽的方法，所述方法包括：<br>确定集群内每一服务器的备服务器的数量，作为互备数量；针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器；针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器，其中，所述主服务器为所述集群内的服务器中需要利用该备服务器进行文件备份的服务器。可选的，所述确定集群内每一服务器的备服务器的数量，作为互备数量的步骤，包括：获取预先设定的待节省回父带宽比例；利用所述待节省回父带宽比例和以下表达式计算所述互备数量：P＝(1-(N-1-X)/(N-1))*100％其中，P表示所述待节省回父带宽比例，N表示所述集群中服务器的数量，X表示所述互备数量。可选的，所述针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器的步骤，包括：依次为所述集群中每一服务器分配编号；针对所述集群内每一服务器，将编号后所述互备数量个服务器作为该服务器的备服务器。可选的，所述针对所述集群内每一服务器，将编号位于该服务器之后的所述互备数量个服务器作为该服务器的备服务器的步骤，包括：针对所述集群内每一服务器，判断编号位于该服务器之后的服务器的数量是否不小于所述互备数量；如果是，将编号位于该服务器之后的所述互备数量个服务器作为该服务器的备服务器；如果否，将编号位于该服务器之后的第一数量个服务器和由起始编号开始的第二数量个服务器作为该服务器的备服务器，其中，所述第一数量与所述第二数量之和为所述互备数量。可选的，所述针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器的步骤，包括：针对所述集群内服务器的每一备服务器，该备服务器利用一致性hash算法确定主服务器存储的文件中需要备份到该备服务器的目标文件的URI，并根据所确定的URI访问主服务器，拉取所确定的URI对应的目标文件，并将所述目标文件进行备份。可选的，所述方法还包括：监测所述集群中每一服务器的工作状态，确定所述集群中是否出现故障服务器；在出现故障服务器的情况下，将故障服务器中所备份的目标文件备份到处于正常工作状态的服务器。可选的，所述方法还包括：接收访问请求，其中，所述访问请求包含待访问文件的URI；在检测到存储所述待访问文件的主服务器发生故障的情况下，根据所述待访问文件的URI，利用一致性hash算法确定存储所述待访问文件的备服务器；将所述访问请求转发至所述备服务器。第二方面，提供了一种降低集群回父带宽的装置，包括：确定模块，用于确定集群内每一服务器的备服务器的数量，作为互备数量；选择模块，用于针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器；计算模块，用于针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器，其中，所述主服务器为所述集群内的服务器中需要利用该备服务器进行文件备份的服务器。可选的，所述确定模块，还用于获取预先设定的待节省回父带宽比例；利用所述待节省回父带宽比例和以下表达式计算所述互备数量：P＝(1-(N-1-X)/(N-1))*100％其中，P表示所述待节省回父带宽比例，N表示所述集群中服务器的数量，X表示所述互备数量。可选的，所述选择模块，包括：分配子模块，用于依次为所述集群中每一服务器分配编号；作为子模块，用于针对所述集群内每一服务器，将编号后所述互备数量个服务器作为该服务器的备服务器。可选的，所述作为子模块，还用于针对所述集群内每一服务器，判断编号位于该服务器之后的服务器的数量是否不小于所述互备数量；如果是，将编号位于该服务器之后的所述互备数量个服务器作为该服务器的备服务器；如果否，将编号位于该服务器之后的第一数量个服务器和由起始编号开始的第二数量个服务器作为该服务器的备服务器，其中，所述第一数量与所述第二数量之和为所述互备数量。可选的，所述计算模块，还用于针对所述集群内服务器的每一备服务器，该备服务器利用一致性hash算法确定主服务器存储的文件中需要备份到该备服务器的目标文件的URI，并根据所确定的URI访问主服务器，拉取所确定的URI对应的目标文件，并将所述目标文件进行备份。可选的，所述装置还包括：监测模块，用于监测所述集群中每一服务器的工作状态，确定所述集群中是否出现故障服务器；在出现故障服务器的情况下，将故障服务器中所备份的目标文件备份到处于正常工作状态的服务器。可选的，所述装置还包括：接收模块，用于接收访问请求，其中，所述访问请求包含待访问文件的URI；在检测到存储所述待访问文件的主服务器发生故障的情况下，根据所述待访问文件的URI，利用一致性hash算法确定存储所述待访问文件的备服务器；将所述访问请求转发至所述备服务器。本专利技术实施例提供的降低集群回父带宽的方法及装置，能够分别将集群中各个服务器存储的文件备份到多个备服务器上，因此，当集群中某一个服务器发生故障本文档来自技高网...

【技术保护点】
1.一种降低集群回父带宽的方法，其特征在于，所述方法包括：/n确定集群内每一服务器的备服务器的数量，作为互备数量；/n针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器；/n针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器，其中，所述主服务器为所述集群内的服务器中需要利用该备服务器进行文件备份的服务器。/n

【技术特征摘要】
1.一种降低集群回父带宽的方法，其特征在于，所述方法包括：
确定集群内每一服务器的备服务器的数量，作为互备数量；
针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器；
针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备份到该备服务器，其中，所述主服务器为所述集群内的服务器中需要利用该备服务器进行文件备份的服务器。


2.如权利要求1所述的方法，其特征在于，所述确定集群内每一服务器的备服务器的数量，作为互备数量的步骤，包括：
获取预先设定的待节省回父带宽比例；
利用所述待节省回父带宽比例和以下表达式计算所述互备数量：
P＝(1-(N-1-X)/(N-1))*100％
其中，P表示所述待节省回父带宽比例，N表示所述集群中服务器的数量，X表示所述互备数量。


3.如权利要求1或2所述的方法，其特征在于，所述针对所述集群内每一服务器，在所述集群中选择所述互备数量个服务器作为该服务器的备服务器的步骤，包括：
依次为所述集群中每一服务器分配编号；
针对所述集群内每一服务器，将编号后所述互备数量个服务器作为该服务器的备服务器。


4.如权利要求3所述的方法，其特征在于，所述针对所述集群内每一服务器，将编号位于该服务器之后的所述互备数量个服务器作为该服务器的备服务器的步骤，包括：
针对所述集群内每一服务器，判断编号位于该服务器之后的服务器的数量是否不小于所述互备数量；
如果是，将编号位于该服务器之后的所述互备数量个服务器作为该服务器的备服务器；
如果否，将编号位于该服务器之后的第一数量个服务器和由起始编号开始的第二数量个服务器作为该服务器的备服务器，其中，所述第一数量与所述第二数量之和为所述互备数量。


5.如权利要求1所述的方法，其特征在于，所述针对所述集群内服务器的每一备服务器，利用一致性hash算法查找主服务器存储的文件中需要备份到该备服务器的目标文件，将所述目标文件备...

【专利技术属性】
技术研发人员：向校民，姜澎，王金土，张虹，陈义伟，唐国明，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海;31