网络带宽限制方法、系统、电子设备及可读存储介质技术方案

本发明专利技术实施例提供了网络带宽限制方法、系统、电子设备及可读存储介质，所述方法包括：通过至少一个对象存储服务器接收客户端发送的业务请求；通过各个流量监控计数装置根据业务请求实时检测流量数据，并向集中缓存计数中心发送流量数据；集中缓存计数中心用于基于所请求业务的业务等级实时配置限流阈值，以及对流量数据的流量总和进行计数；通过各个流量监控计数装置根据限流阈值和流量总和，对所请求业务的网络带宽进行限制。通过在每个对象存储服务器里加入流量监控计数装置以实时检测流量大小，以及通过增加集中缓存计数中心对整体访问带宽进行阈值配置，以实现对分布式中存储业务的有效限制。务的有效限制。务的有效限制。

【技术实现步骤摘要】
网络带宽限制方法、系统、电子设备及可读存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种网络带宽限制方法、一种网络带宽限制系统、一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]目前，随着互联网业务的不断增加以及大数据的发展，需要存储的数据文件的数量逐渐增大，对象存储服务(Object Storage Service，简称OSS)成为互联网存储服务的业界标准。OSS作为一个共用的、重带宽的基础设施服务，其可用于承载某个企业/公司的所有存储业务，但由于其带宽能力有限，需要要求对上层各个业务进行相关限制和熔断措施，否则很大可能将会影响到整个企业/公司的业务。
[0003]现有的带宽限制能力基本上都是QPS(Query Per Second，每秒请求数)限制，连接数限制等，这些带宽限制方式需要通过对单机进行网络限制实现，难以适应多种不同能力的机器。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种网络带宽限制方法、相应的一种网络带宽限制装置、相应的一种网络带宽的限制系统、一种电子设备和一种计算机可读存储介质，以实现对分布式的存储业务进行有效的带宽限制。具体技术方案如下：
[0005]在本专利技术实施的第一方面，首先提供了一种网络带宽限制方法，应用于分布式系统，所述分布式系统包括一个集中缓存计数中心和至少一个对象存储服务器，所述方法包括：
[0006]通过至少一个对象存储服务器接收客户端发送的业务请求；其中，每个对象存储服务器部署有流量监控计数装置；
[0007]通过各个流量监控计数装置根据所述业务请求实时检测流量数据，并向所述集中缓存计数中心发送所述流量数据；所述集中缓存计数中心用于基于所请求业务的业务等级实时配置限流阈值，以及对所述流量数据的流量总和进行计数；
[0008]通过各个流量监控计数装置根据所述限流阈值和所述流量总和，对所请求业务的网络带宽进行限制。
[0009]在本专利技术实施的第二方面，还提供了一种网络带宽限制系统，所述网络带宽限制系统部署有分布式系统，所述分布式系统包括一个集中缓存计数中心和至少一个对象存储服务器，其中，每个对象存储服务器部署有流量监控计数装置；
[0010]所述至少一个对象存储服务器用于接收客户端发送的业务请求；各个流量监控计数装置用于根据所述业务请求实时检测流量数据，并向所述集中缓存计数中心发送所述流量数据；
[0011]所述集中缓存计数中心用于基于所请求业务的业务等级实时配置限流阈值，以及对所述流量数据的流量总和进行计数；
[0012]各个流量监控计数装置还用于根据所述限流阈值和所述流量总和，对所请求业务的网络带宽进行限制。
[0013]在本专利技术实施例的又一方面，还提供了一种网络带宽限制装置，应用于分布式系统，所述分布式系统包括一个集中缓存计数中心和至少一个对象存储服务器，所述装置包括：
[0014]业务请求接收模块，位于所述对象存储服务器，用于接收客户端发送的业务请求；其中，每个对象存储服务器部署有流量监控计数装置；
[0015]流量数据监控模块，位于所述流量监控计数装置，用于根据所述业务请求实时检测流量数据，并向所述集中缓存计数中心发送所述流量数据；所述集中缓存计数中心用于基于所请求业务的业务等级实时配置限流阈值，以及对所述流量数据的流量总和进行计数；
[0016]带宽限制模块，位于所述流量监控计数装置，用于根据所述限流阈值和所述流量总和，对所请求业务的网络带宽进行限制。
[0017]在本专利技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述网络带宽限制方法的步骤。
[0018]在本专利技术实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述网络带宽限制方法的步骤。
[0019]本专利技术实施例提供的网络带宽限制方法及网络带宽限制系统，通过在分布式系统的存储业务中，在每个对象存储服务器中加入流量监控计数装置对业务请求所请求业务的流量大小进行监控，以及增加集中缓存计数中心对分布式系统中各个对象存储服务器的流量总和进行计数，并能够基于请求业务的业务等级实时配置限流阈值，以对所请求业务可能同时访问到的多台机器进行流量统计的基础上，对共享型机器实现业务需求的带宽阈值确定，能够高效地处理分布式存储业务带宽限制问题，实现对分布式系统中所请求业务的网络带宽进行限制，以及基于所实时配置的限流阈值，对所请求业务需要访问的不同能力的机器进行带宽限制，实现对存储业务的有效限制。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0021]图1为本专利技术实施例中所提供的网络带宽限制系统的框架示意图；
[0022]图2为本专利技术实施例中所提供的网络带宽限制方法的步骤流程图；
[0023]图3为本专利技术实施例中所提供的网络带宽限制方法的另一种步骤流程图；
[0024]图4为本专利技术实施例中所提供的网络带宽限制的应用场景图；
[0025]图5为本专利技术实施例中所提供的网络带宽限制装置的结构示意图；
[0026]图6为本专利技术实施例中的一种电子设备实施例的结构示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行描述。
[0028]在对象存储服务OSS中需要对网络带宽进行限制，现有的带宽限制能力基本上都是QPS限制，连接数限制等，这些带宽限制方式都是将整体能力限制目标下发到单机进行网络限制，即需要通过对单机进行网络限制实现，其一般都是在服务启动前预设置阈值，这种方式难以适应多种不同能力的机器，对于一些共享型机器将会难以确定阈值；此外，某个业务的进行可能会同时需要访问多台机器，由于难以适应多种不同能力的机器，单机限制无法按照业务需求限制带宽。即重存储、重带宽的对象存储服务单机限制效率低且不准确，也无法按业务进行网络带宽的限制。
[0029]本专利技术实施例的核心思想之一在于通过在每个对象存储服务器里加入流量监控计数装置以实时检测流量大小，以及通过增加集中缓存计数中心对全局业务或某个业务对象承载的整体访问带宽进行阈值配置，实现对分布式中存储业务的有效限制。
[0030]参照图1，示出了本专利技术实施例中所提供的网络带宽限制系统的框架示意图，网络带宽限制系统包括客户端101以及所部署的分布式系统，分布式系统可以包括一个集中缓存计数中心102和至少一个对象存储服务器103。其中，在每个对象存储服务器103中均可分别部署有流量监控计数装置104，集中缓存计数中心102可以为独立于服务器的数据计数服务。
[0031]客户端101在针对存储对象进行请求时，可与对象存储服务器103进行通信连接，此时所请求读写的业务可能需要访问多台机器，客户端101所直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络带宽限制方法，其特征在于，应用于分布式系统，所述分布式系统包括一个集中缓存计数中心和至少一个对象存储服务器，所述方法包括：通过至少一个对象存储服务器接收客户端发送的业务请求；其中，每个对象存储服务器部署有流量监控计数装置；通过各个流量监控计数装置根据所述业务请求实时检测流量数据，并向所述集中缓存计数中心发送所述流量数据；所述集中缓存计数中心用于基于所请求业务的业务级别实时配置限流阈值，以及对所述流量数据的流量总和进行计数；通过各个流量监控计数装置根据所述限流阈值和所述流量总和，对所请求业务的网络带宽进行限制。2.根据权利要求1所述的方法，其特征在于，所述业务请求包括针对所请求业务的读写请求；所述通过各个流量监控计数装置根据所述读写请求实时检测流量数据，并向所述集中缓存计数中心发送所述流量数据，包括：通过各个流量监控计数装置分别按照预设时间周期对相应读写请求所请求业务的流量进行统计，并分别将所统计的流量数据按照预设时间间隔推送给所述集中缓存计数中心。3.根据权利要求1或2所述的方法，其特征在于，所述集中缓存计数中心基于Redis构建，还包括：通过所述集中缓存计数中心对各个流量监控计数装置发送的流量数据进行流量总和的计数；所述通过所述集中缓存计数中心对各个流量监控计数装置发送的流量数据进行流量总和的计数，包括：获取所发送流量数据的各个流量监控计数装置所在的对象存储服务器，确定各个流量数据相应请求业务的业务对象载体；其中，所述业务对象载体包括所请求业务需要访问的单机、用于承载业务的Bucket以及系统全局；通过所述集中缓存计数中心基于与各个业务对象载体相应的流量数据计算在预设时间段内各个单机的流量总和，以及通过对各个单机在预设时间段内的流量总和计算得到在预设时间段内业务全局以及业务Bucket的流量总和；其中，所述业务对象载体与其在预设时间段内的流量总和分别作为键值对存储至所述集中缓存计数中心。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过所述集中缓存计数中心向各个流量监控计数装置下发限流阈值，所述限流阈值包括与所请求业务的业务等级不同进行配置的不同可承受带宽阈值；其中，针对每个级别的请求业务所配置的可承受带宽阈值包括单机可承受带宽阈值、Bucket级别可承受带宽阈值以及系统全局可承受带宽阈值。5.根据权利要求4所述的方法，其特征在于，所述流量总和包括各个单机在预设时间段内的流量总和、在预设时间段内的业务Bucket的流量总和、以及在预设时间段内的业务全局的流量总和；所述通过所述量监控计数装置根据所...

【专利技术属性】
技术研发人员：陈永旺，吉毅，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：