【技术实现步骤摘要】
本申请属基于大数据，特别涉及一种高可靠性数据服务系统与方法。
技术介绍
1、通常qos(quality of service)提供以下三种服务模型：
2、l.best-effort service--尽力而为服务模型，是一个单一的服务模型，也是最简单的服务模型。此模型对时延、可靠性等性能不提供任何保证。
3、2.integrated service--综合服务模型，它可以满足多种qos需求。这种体系能够明确区分并保证每一个业务流的服务质量，为网络提供最细粒度化的服务质量区分。
4、3.differentiated service--区分服务模型，它可以满足不同的qos需求。与int-serv不同，它不需要通知网络为每个业务预留资源。区分服务实现简单，扩展性较好。
5、qos技术在网络中的位置，流分类：采用一定的规则识别符合某类特征的报文，它是对网络业务进行区分服务的前提和基础。
6、流量监管：对进入或流出设备的特定流量进行监管。当流量超出设定值时，可以采取限制或惩罚措施，以保护网络资源不受损害。可以作用在接口入方向和出方向。
7、流量整形：一种主动调整流的输出速率的流量控制措施，用来使流量适配下游设备可供给的网络资源，避免不必要的报文丢弃，通常作用在接口处方向。
8、拥塞管理：就是当拥塞发生时如何制定一个资源的调度策略，以决定报文转发的处理次序，通常作用在接口处方向。
9、拥塞避免：监督网络资源的使用情况，当发现拥塞有加剧的趋势时采取
10、但是传统的qos没有评估节点qos性能的衡量标准，更加没有评估网络整体qos性能的技术手段。单节点的流量监管，并不能评估节点qos性能，当出现流量拥塞的时候，只能抛弃报文，没有调节改善的技术手段。
11、令牌桶管理单元算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。当桶满时，新添加的令牌被丢弃或拒绝。
12、令牌桶管理单元算法是一个存放固定容量令牌(token)的桶，按照固定速率往桶里添加令牌。令牌桶管理单元算法基本可以用下面的几个概念来描述：令牌将按照固定的速率被放入令牌桶管理单元中。比如每秒放100个。桶中最多存放b个令牌，当桶满时，新添加的令牌被丢弃或拒绝。
13、令牌桶有几个重要参数：
14、令牌生成速率:表示每秒钟生成的令牌数，即单位时间内产生的令牌数量。这个参数影响到系统最大吞吐量，也是限流的核心参数。
15、令牌桶管理单元容量:表示令牌桶管理单元中最多存放多少个令牌。当请求到来时，如果桶中的令牌数量不足，则请求被拒绝。
16、预热时间:表示系统启动后的一段时间内，令牌桶管理单元会逐渐增加令牌生成速率，直到达到设定的最大速率。这个参数可以避免系统启动时大量。
17、在分布式网络中，有很多平等网络位置的节点，比如分布式存储网络中，有很多网关节点，这些网关节点上可以运行令牌桶进行qos管理，但是单独网关节点的qos对网络整体改善无能为力。令牌桶技术，能够防止后续网络因为流量过载而崩溃，实质上是一种限流技术手段，并不能提升节点的qos能力，也不能改善整体网络的流量平衡与整体网络qos。
18、缩略语和关键术语定义
19、qos quality of service，服务质量
20、id identity document身份标识
21、tps transactions per second每秒传输的请求个数
技术实现思路
1、一种高可靠性数据服务系统，包括两个以上的令牌消耗节点组，令牌消耗节点组包括令牌消耗节点组a和令牌消耗节点组b、高可靠性服务质量管理集群、两个以上存储节点；令牌消耗节点组与高可靠性服务质量管理集群信号连接；令牌消耗节点组包括令牌生成节点，至少一个令牌消耗节点；令牌生成节点包括令牌生成模块、总令牌桶；令牌消耗节点包括本地令牌桶；令牌消耗节点周期性从总令牌桶中领取令牌，存储在本地令牌桶；令牌消耗节点在本地令牌桶领取令牌；高可靠性服务质量管理集群用于配置令牌生成模块生成令牌的速度；令牌生成节点、令牌消耗节点向高可靠性服务质量管理集群报告自己或其他节点的状态报告，高可靠性服务质量管理集群根据状态报告，建立节点状态表；高可靠性服务质量管理集群在节点状态出现变更后重新发布更新的节点状态表。
2、根据上述高可靠性数据服务系统，状态报告包括剩余令牌容量占比；剩余令牌容量占比等于令牌桶当前令牌数量与令牌桶管理单元容量的比值。
3、根据上述高可靠性数据服务系统，高可靠性服务质量管理集群收集令牌消耗节点组中的令牌消耗节点的运行参数或运行状态，高可靠服务质量管理集群根据令牌消耗节点的运行状态，在节点状态表中设置流量权重，各令牌消耗节点组中的令牌消耗节点基于节点状态表以及流量权重，通过hash计算能获知本令牌消耗组的令牌生成节点；业务接入端基于节点状态表和各令牌消耗节点组以及流量权重，选择对应的令牌消耗节点处理请求。
4、根据上述高可靠性数据服务系统，运行参数包括网络带宽、cpu类型；运行状态包括传输时延、cpu利用率、网络带宽占比。
5、根据上述高可靠性数据服务系统，令牌消耗节点组a用于处理业务a，令牌消耗节点组b用于处理业务b。
6、根据上述高可靠性数据服务系统，高可靠性服务质量管理集群输出可视化运行状态图，可视化运行状态图包括令牌生成节点的运行状态，令牌生成节点的状态报告包括剩余令牌容量占比。
7、根据上述高可靠性数据服务系统，令牌生成节点的运行状态包括令牌生成速率、剩余令牌容量占比。
8、根据上述高可靠性数据服务系统，令牌消耗节点组中的令牌消耗节点或令牌生成节点包括心跳管理模块；高可靠性服务质量管理集群包括节点状态模块；心跳管理模块监控其他节点的心跳状态，将没有心跳消息的节点标识为故障节点，将故障节点向高可靠性服务质量管理集群报告。
9、根据上述高可靠性数据服务系统，令牌消耗节点组a和令牌消耗节点组b的剩余令牌容量占比差距大于设定值，令牌消耗节点组a的剩余令牌容量占比高于令牌消耗节点组b的剩余令牌容量占比，高可靠性服务质量管理集群将令牌消耗节点组a的至少一个令牌消耗节点调配到令牌消耗节点组b中；调配后高可靠性服务质量管理集群修改或不修改令牌生成节点的令牌生成速度。
10、根据上述高可靠性数据服务系统，结合令牌消耗节点的负载状态以及令牌消耗节点组的剩余令牌容量占比，高可靠性服务质量管理集群可以动态调整各令牌消耗节点的流量权重，生成并发布新版本的节点状态表。
11、根据上述高可靠性数据服务系统，总令牌桶的剩余令牌容量占比大于设定值，高可靠性服务质量管理集群本文档来自技高网...
【技术保护点】
1.一种高可靠性数据服务系统，其特征在于：包括两个以上的令牌消耗节点组，令牌消耗节点组包括令牌消耗节点组A和令牌消耗节点组B、高可靠性服务质量管理集群、两个以上存储节点；
2.根据权利要求1所述的高可靠性数据服务系统，其特征在于，所述状态报告包括剩余令牌容量占比；所述剩余令牌容量占比等于令牌桶当前令牌数量与令牌桶管理单元容量的比值。
3.根据权利要求2所述的高可靠性数据服务系统，其特征在于，高可靠性服务质量管理集群收集所述令牌消耗节点组中的令牌消耗节点的运行参数或运行状态，高可靠服务质量管理集群根据所述令牌消耗节点的运行状态，在所述节点状态表中设置流量权重，各令牌消耗节点组中的令牌消耗节点基于节点状态表以及流量权重，通过HASH计算能获知本令牌消耗组的令牌生成节点；业务接入端基于节点状态表和各令牌消耗节点组以及流量权重，选择对应的令牌消耗节点处理请求。
4.根据权利要求3所述的高可靠性数据服务系统，其特征在于，所述运行参数包括网络带宽、CPU类型；运行状态包括传输时延、CPU利用率、网络带宽占比；
5.根据权利要求4所述的高可靠性数
6.根据权利要求4所述的高可靠性数据服务系统，其特征在于，还包括如下任意一项或多项特征：
7.一种高可靠性数据服务方法，其特征在于：用于管理高可靠性服务质量管理集群、令牌生成节点、至少两个令牌消耗节点；
8.根据权利要求7所述的高可靠性数据服务方法，其特征在于，所述令牌生成节点发生故障时，所述令牌消耗节点基于更新的节点状态表，在令牌消耗节点中，选出一个节点作为新的令牌生成节点，高可靠性服务质量管理集群通过广播信道发布更新的节点状态表。
9.根据权利要求8所述的高可靠性数据服务方法，其特征在于，所述状态报告包括剩余令牌容量占比；所述剩余令牌容量占比等于令牌桶当前令牌数量与令牌桶管理单元容量的比值。
10.根据权利要求9所述的高可靠性数据服务方法，其特征在于，还包括如下任意一项或多项特征：
...【技术特征摘要】
1.一种高可靠性数据服务系统，其特征在于：包括两个以上的令牌消耗节点组，令牌消耗节点组包括令牌消耗节点组a和令牌消耗节点组b、高可靠性服务质量管理集群、两个以上存储节点；
2.根据权利要求1所述的高可靠性数据服务系统，其特征在于，所述状态报告包括剩余令牌容量占比；所述剩余令牌容量占比等于令牌桶当前令牌数量与令牌桶管理单元容量的比值。
3.根据权利要求2所述的高可靠性数据服务系统，其特征在于，高可靠性服务质量管理集群收集所述令牌消耗节点组中的令牌消耗节点的运行参数或运行状态，高可靠服务质量管理集群根据所述令牌消耗节点的运行状态，在所述节点状态表中设置流量权重，各令牌消耗节点组中的令牌消耗节点基于节点状态表以及流量权重，通过hash计算能获知本令牌消耗组的令牌生成节点；业务接入端基于节点状态表和各令牌消耗节点组以及流量权重，选择对应的令牌消耗节点处理请求。
4.根据权利要求3所述的高可靠性数据服务系统，其特征在于，所述运行参数包括网络带宽、cpu类型；运行状...
【专利技术属性】
技术研发人员：文刘飞，傅金地，陈坚，
申请(专利权)人：深圳市杉岩数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。