分布式存储系统中服务质量保障方法、控制节点及系统技术方案

本发明专利技术实施例公开了分布式存储系统中服务质量保障方法、控制节点及系统，用于降低网络通信开销。控制节点根据目标存储节点在单位时间内剩余的I/O请求个数、存储资源在单位时间内距离达成下限保障所需的I/O请求个数以及存储资源在单位时间内需要目标存储节点处理的I/O请求个数计算目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数，根据目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数为存储资源分配在目标存储节点上且在单位时间内的下限令牌数，将下限令牌数发送给目标存储节点。目标存储节点获取I/O请求队列中第一存储资源的第一I/O请求，若第一存储资源在目标存储节点上的下限令牌数大于0，则处理第一I/O请求。

Quality of Service Guarantee Method, Control Node and System in Distributed Storage System

The embodiment of the invention discloses a quality of service assurance method, a control node and a system in a distributed storage system for reducing network communication overhead. The control node calculates the number of lower limit I/O requests that the target storage node can process for the storage resource in unit time according to the number of remaining I/O requests per unit time, the number of I/O requests that the storage resource needs to reach the lower limit in unit time, and the number of I/O requests that the storage resource needs to process in unit time. The number of lower limit I/O requests that the target storage node can process for the storage resource in unit time is calculated according to the item. The number of lower limit I/O requests that the label storage node can process for storage resources per unit time is the number of lower limit tokens allocated by storage resources on the target storage node and per unit time. The number of lower limit tokens is sent to the target storage node. The target storage node obtains the first I/O request of the first storage resource in the I/O request queue, and processes the first I/O request if the lower limit token number of the first storage resource on the target storage node is greater than 0.

【技术实现步骤摘要】
分布式存储系统中服务质量保障方法、控制节点及系统
本专利技术涉及分布式数据存储
，尤其涉及分布式存储系统中服务质量保障方法、控制节点及系统。
技术介绍
服务质量(qualityofservice，QoS)，顾名思义，是为用户提供的“服务质量”，有时也称为服务等级(servicelevelagreement，SLA)。存储系统在将I/O请求下发到存储节点前需要进行调度或流控的处理，从而保证不同应用I/O的服务质量不同，QoS现在流行的主要衡量指标有上限流控(limit)、下限保障(reservation)、比例保障(share)等。简而言之，QoS就是保障应用的性能，将有限的存储系统处理能力供用户进行合理的分配。dmClock算法是一种细粒度的QoS控制算法，能够支持下限保障、上限流控和比例保障三种特性。然而dmClock算法为在分布式存储系统中针对每个请求的tag计算，都需要获取其他存储节点上处理请求个数，存储节点之间通信的开销大。
技术实现思路
本专利技术实施例提供了一种分布式存储系统中服务质量保障方法、控制节点及系统，能够降低网络通信开销。第一方面，本专利技术实施例提供了一种分布式存储系统中服务质量保障方法，应用于控制节点侧，该方法包括：控制节点根据目标存储节点在单位时间内剩余的输入输出I/O请求个数、存储资源在单位时间内距离达成下限保障所需的I/O请求个数以及存储资源在单位时间内需要目标存储节点处理的I/O请求个数获得目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数。其中，分布式存储系统包含提供存储资源的N个存储节点。目标存储节点为N个存储节点中的一个，其中，N为正整数。控制节点根据目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数为存储资源分配在目标存储节点上且在单位时间内的下限令牌数。控制节点将下限令牌数发送给目标存储节点。实施第一方面所描述的方法，对分布式存储系统中每一个存储节点，可以由控制节点为该存储节点分配存储资源在该存储节点上的令牌，因此该存储节点只需要按照控制节点分配的令牌相应调度并处理具有令牌的I/O请求，不具有令牌的I/O请求则该存储节点对其暂不处理。与现有技术中针对每个请求的tag计算，都需要获取其他节点上处理请求个数的信息不同，本专利技术实施例在计算存储资源在目标存储节点上的令牌数时，只需要关注目标存储节点的能力以及存储资源对目标存储节点的需求即可，无需关注其他存储节点的能力，因此可以降低网络通信开销，在存储节点规模较大的情况下，通信开销的降低会更加显著；同时也会降低计算的复杂度。可选的，控制节点根据目标存储节点在单位时间内剩余的I/O请求个数、存储资源在单位时间内距离达成上限流控所需的I/O请求个数、存储资源在单位时间内需要目标存储节点处理的I/O请求个数以及目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数获得目标存储节点在单位时间内能够为存储资源处理的上限I/O请求个数。控制节点根据目标存储节点在单位时间内能够为存储资源处理的上限I/O请求个数为存储资源分配在目标存储节点上且在单位时间内的上限令牌数。控制节点将上限令牌数依次发送给目标存储节点。可选的，控制节点根据目标存储节点在单位时间内剩余的输入输出I/O请求个数、存储资源在单位时间内距离达成下限保障所需的I/O请求个数以及存储资源在单位时间内需要目标存储节点处理的I/O请求个数获得目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数，包括：控制节点根据最大流算法、目标存储节点在单位时间内剩余的输入输出I/O请求个数、存储资源在单位时间内距离达成下限保障所需的I/O请求个数以及需要目标存储节点在单位时间内处理的I/O请求个数计算目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数。可选的，控制节点根据目标存储节点在单位时间内剩余的I/O请求个数、存储资源在单位时间内距离达成上限流控所需的I/O请求个数、存储资源在单位时间内需要目标存储节点处理的I/O请求个数以及目标存储节点在单位时间内能够为存储资源处理的下限I/O请求个数获得目标存储节点在单位时间内能够为存储资源处理的上限I/O请求个数，包括：控制节点计算第一数值，第一数值为第二数值与第三数值之差，第二数值为所述存储资源在单位时间内距离达成上限流控所需的I/O请求个数，所述第三数值为所述N个存储节点在单位时间内能够为所述存储资源处理的下限I/O请求个数之和；控制节点计算第四数值，第四数值为第五数值与第三数值之差，第五数值为所述目标存储节点在单位时间内剩余的I/O请求个数；控制节点计算第六数值，第六数值为第七数值与第三数值之差，第七数值为所述存储资源在单位时间内需要目标存储节点处理的I/O请求个数；控制节点根据第一数值、第四数值和第六数值获得目标存储节点在单位时间内能够为存储资源处理的上限I/O请求个数。可选的，控制节点根据目标存储节点在单位时间内能够为存储资源处理的上限I/O请求个数为存储资源分配在目标存储节点上且在单位时间内的上限令牌数，包括：控制节点根据如下公式为存储资源分配在目标存储节点上且在单位时间内的超额分配值；存储资源在目标存储节点上且在单位时间内的其中，所述第八数值为所述目标存储节点在单位时间内能够为所述存储资源处理的上限I/O请求个数，所述第九数值为所述N个存储节点在单位时间内能够为所述存储资源处理的上限I/O请求个数之和，所述第十数值为所述存储资源在单位时间内需要所述N个存储节点处理的I/O请求个数之和；所述控制节点根据如下公式为所述存储资源分配所述存储资源在所述目标存储节点上且在单位时间内的上限令牌数：所述存储资源在所述目标存储节点上且在单位时间内的上限令牌数为所述存储资源在所述目标存储节点上且在单位时间内的超额分配值与所述存储资源在所述目标存储节点上且在单位时间内的下限令牌数之和。可选的，控制节点根据所述第一数值、所述第四数值和所述第六数值获得所述目标存储节点在单位时间内能够为所述存储资源处理的上限I/O请求个数，包括：所述控制节点根据最大流算法、所述第一数值、所述第四数值和所述第六数值计算所述目标存储节点在单位时间内能够为所述存储资源处理的上限I/O请求个数。可选的，上述方法还包括：控制节点从目标存储节点接收目标存储节点在单位时间内剩余的I/O请求个数以及存储资源在单位时间内需要目标存储节点处理的I/O请求个数。第二方面，本专利技术实施例提供了一种分布式存储系统中服务质量保障方法，应用于目标存储节点侧，分布式存储系统包含提供存储资源的N个存储节点。N个存储节点包括目标存储节点，N为正整数，该方法包括：目标存储节点从控制节点接收第一存储资源在目标存储节点上且在单位时间内的下限令牌数。目标存储节点获取I/O请求队列中的第一I/O请求，第一I/O请求为第一存储资源需要目标存储节点处理的I/O请求。若第一存储资源在目标存储节点上的下限令牌数大于0，则目标存储节点处理第一I/O请求。实施第二方面所描述的方法，可以由控制节点为各个目标存储节点分配存储资源在各个目标存储节点上的令牌，因此目标存储节点只需要按照控制节点分配的令牌相应调度并处理具有令牌的I/O请求，不具有令牌的I/O请求则目标存储节点对其暂本文档来自技高网...

【技术保护点】
1.一种分布式存储系统中服务质量保障方法，其特征在于，包括：控制节点根据目标存储节点单位时间内剩余的输入输出I/O请求个数、存储资源在所述单位时间内距离达成下限保障所需的I/O请求个数以及所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数；其中，所述分布式存储系统包含提供所述存储资源的N个存储节点；所述目标存储节点为所述N个存储节点中的一个，其中，N为正整数；所述控制节点根据所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数为所述存储资源分配在所述目标存储节点上且在所述单位时间内的下限令牌数；所述控制节点将所述下限令牌数发送给所述目标存储节点。

【技术特征摘要】
1.一种分布式存储系统中服务质量保障方法，其特征在于，包括：控制节点根据目标存储节点单位时间内剩余的输入输出I/O请求个数、存储资源在所述单位时间内距离达成下限保障所需的I/O请求个数以及所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数；其中，所述分布式存储系统包含提供所述存储资源的N个存储节点；所述目标存储节点为所述N个存储节点中的一个，其中，N为正整数；所述控制节点根据所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数为所述存储资源分配在所述目标存储节点上且在所述单位时间内的下限令牌数；所述控制节点将所述下限令牌数发送给所述目标存储节点。2.根据权利要求1所述的方法，其特征在于，还包括：所述控制节点根据所述目标存储节点在所述单位时间内剩余的I/O请求个数、所述存储资源在所述单位时间内距离达成上限流控所需的I/O请求个数、所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数以及所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数；所述控制节点根据所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数为所述存储资源分配在所述目标存储节点上且在所述单位时间内的上限令牌数；所述控制节点将所述上限令牌数依次发送给所述目标存储节点。3.根据权利要求1所述的方法，其特征在于，所述控制节点根据目标存储节点在单位时间内剩余的输入输出I/O请求个数、存储资源在所述单位时间内距离达成下限保障所需的I/O请求个数以及所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数，包括：所述控制节点根据最大流算法、所述目标存储节点在所述单位时间内剩余的输入输出I/O请求个数、所述存储资源在所述单位时间内距离达成下限保障所需的I/O请求个数以及所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数计算所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数。4.根据权利要求2所述的方法，其特征在于，所述控制节点根据所述目标存储节点在所述单位时间内剩余的I/O请求个数、所述存储资源在所述单位时间内距离达成上限流控所需的I/O请求个数、所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数以及所述目标存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数，包括：所述控制节点计算第一数值，所述第一数值为第二数值与第三数值之差，所述第二数值为所述存储资源在所述单位时间内距离达成上限流控所需的I/O请求个数，所述第三数值为所述N个存储节点在所述单位时间内能够为所述存储资源处理的下限I/O请求个数之和；所述控制节点计算第四数值，所述第四数值为第五数值与所述第三数值之差，所述第五数值为所述目标存储节点在所述单位时间内剩余的I/O请求个数；所述控制节点计算第六数值，所述第六数值为第七数值与所述第三数值之差，所述第七数值为所述存储资源在所述单位时间内需要所述目标存储节点处理的I/O请求个数；所述控制节点根据所述第一数值、所述第四数值和所述第六数值获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数。5.根据权利要求4所述的方法，其特征在于，所述控制节点根据所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数为所述存储资源分配所述存储资源在所述目标存储节点上且在所述单位时间内的上限令牌数，包括：所述控制节点根据如下公式为所述存储资源分配在所述目标存储节点上且在所述单位时间内的超额分配值：其中，所述第八数值为所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数，所述第九数值为所述N个存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数之和，所述第十数值为所述存储资源在所述单位时间内需要所述N个存储节点处理的I/O请求个数之和；所述控制节点根据如下公式为所述存储资源分配所述存储资源在所述目标存储节点上且在所述单位时间内的上限令牌数：所述存储资源在所述目标存储节点上且在所述单位时间内的上限令牌数为所述存储资源在所述目标存储节点上且在所述单位时间内的超额分配值与所述存储资源在所述目标存储节点上且在所述单位时间内的下限令牌数之和。6.根据权利要求4或5所述的方法，其特征在于，所述控制节点根据所述第一数值、所述第四数值和所述第六数值获得所述目标存储节点在所述单位时间内能够为所述存储资源处理的上限I/O请求个数，包括：所述控制节点根据最大流算法...

【专利技术属性】
技术研发人员：余思，龚骏辉，彼得瓦曼，彭禹涵，
申请(专利权)人：华为技术有限公司，威廉马什莱斯大学，
类型：发明
国别省市：广东,44