System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于cgroup的IO控制优化方法技术_技高网

一种基于cgroup的IO控制优化方法技术

技术编号:44779117 阅读:4 留言:0更新日期:2025-03-26 12:58
本发明专利技术公开了一种基于cgroup的IO控制优化方法,属于服务器存储技术领域,通过中央控制服务器和远程服务器组成的系统实现,包括以下步骤:S1、数据收集;S2、QoS参数计算;S3、配置cgroup;S4、动态调整:根据中央控制服务器持续监测得到各个远程服务器的时延和带宽变化,更新α和β并循环迭代步骤S1~S3,动态调整cgroup的资源分配,确保系统始终在最佳状态下运行。本发明专利技术提供了一种根据远程服务器特性和网络状况进行资源优化的方案,根据不同地区存储引擎服务的实际情况,通过统一的中央控制服务器进行配置和管理,符合性能优化标准,同时还根据需求不断调整和优化参数及公式,具备良好的健壮性和可扩展性。

【技术实现步骤摘要】

本专利技术涉及服务器存储,尤其是涉及一种基于cgroup的io控制优化方法。


技术介绍

1、在linux系统中,目前存在多种i/o优先级策略。其中,对于cfq(完全公平排队i/o调度器)来说,其试图为每个进程公平分配i/o资源的方式可能在某些情况下导致对关键任务的响应不够迅速。因为在高负载环境下,所有进程都按照时间片轮转进行i/o操作,即使是紧急的关键任务也可能需要等待其他进程的时间片结束才能获得i/o资源。而且调整队列长度和时间片大小等参数需要对系统有深入的了解和经验,否则可能会导致性能下降而非优化。

2、blkiocgroups(块设备i/o控制组)在使用过程中可能会带来一定的复杂性。配置和管理cgroups需要对系统架构和底层技术有较好的理解,对于普通用户或管理员来说可能具有一定的学习曲线。而且不同版本的cgroups可能存在兼容性问题,在升级或迁移系统时可能需要进行大量的调整和测试。

3、linux内核自动提升i/o优先级的机制可能不够精确和可控。内核根据特定条件自动提升优先级的判断标准可能并不完全符合实际应用的需求,而且这种自动提升可能会影响其他任务的性能。此外,自动提升优先级可能会导致一些不可预测的行为,增加系统的复杂性和维护难度。

4、文件系统级别的优先级控制往往具有局限性。不同的文件系统提供的优先级控制选项和功能各不相同,而且可能与其他系统组件的优先级策略不兼容。同时,文件系统级别的优先级控制通常只能针对特定的文件或目录进行设置,对于复杂的多任务系统来说可能不够灵活和全面。p>

5、针对上述linux系统中的i/o限流措施的缺点,如何提供一种配置简便、使用灵活、合理分配资源、有效优化控制的i/o限流调度措施是本领域技术人员亟需解决的问题。


技术实现思路

1、本专利技术的目的是提供一种基于cgroup的io控制优化方法,以解决
技术介绍
中的问题。

2、为实现上述目的,本专利技术提供了一种基于cgroup的io控制优化方法,通过中央控制服务器和远程服务器组成的系统实现,具体包括以下步骤:

3、s1、数据收集:利用中央控制服务器对各个远程服务器进行持续监测,并定期向各个远程服务器发送测试数据包,待远程服务器回传响应数据包后,对时延和带宽进行计算;

4、s2、qos参数计算:依据s1得到的数据,对基础设定的qos参数值进行调整,计算每个远程服务器对应的cgroup的参数值,qos参数包括iops、bps和latency;

5、s3、配置cgroup:针对每个远程服务器创建对应的cgroup,将s2得到的参数值准确写入相应cgroup的控制文件中;

6、s4、动态调整:根据中央控制服务器持续监测得到各个远程服务器的时延和带宽变化,更新α和β并循环迭代步骤s1~s3,动态调整cgroup的资源分配,确保系统始终在最佳状态下运行。

7、优选的,所述s2的具体步骤如下:

8、s21、为系统设定基础的iops、bps和latency值,并设定时延阈值与带宽阈值;

9、s22、依据s1收集到的时延和带宽分别与设定的时延阈值和带宽阈值进行比较,确定系统中iops、bps和latency值的调整方案;

10、s23、针对远程服务器对应cgroup的iops,设定调整系数为α,针对远程服务器对应cgroup的bps,设定调整系数为β,分别计算每个远程服务器对应cgroup的iops的值iopscgroup和bps的值bpscgroup。

11、优选的,所述s22中,iops的调整公式为:

12、iopsa=iopsb×(1-(u/lmax))×(w/bmin);

13、式中,iopsa和iopsb分别为调整后的iops和基础iops,u为时延,w为带宽,lmax为最大时延阈值,bmin为最小带宽阈值;

14、bps的调整公式为:

15、bpsa=bpsb×(1-(u/lmax))×(w/bmin);

16、式中,bpsa和bpsb分别为调整后的bps和基础bps;

17、latency的调整公式为:

18、latencya=latencyb+k×u;

19、式中,latencya和latencyb分别为调整后的latency和基础latency,k为调整系数。

20、优选的,所述s23中,iopscgroup的计算公式为:

21、

22、bpscgroup的计算公式为:

23、

24、式中,n为所有远程服务器的总量,itotal和btotal分别为系统中总的iops和bps资源量。

25、优选的,所述s3中,将s2中得到iopscgroup值,转换为合适的格式写入相应cgroup的控制文件中,针对s2得到的bpscgroup值,确定合适的字节数和单位,写入相应cgroup的控制文件中。

26、优选的,所述s4中更新α和β的具体步骤为:

27、1)依据中央控制服务器获得的新的时延和带宽数据,进行s23操作,得到远程服务器的预期iops和预期bps值;

28、2)将得到的预期iops和预期bps值与之前一次步骤s23中得到的远程服务器的实际iops和实际bps值进行偏差比例计算,调整α和β。

29、优选的,对于iops的调整系数α的调整规则为:

30、当diffiops>0时,αu=αi-γ×diffiops;

31、当diffiops<0时,αu=αi+γ×diffiops;

32、式中,diffiops表示iops的偏差比例,αu和αi分别为更新后的α和初始α,γ为步长。

33、优选的,对于bps的调整系数β的调整规则为:

34、当diffbps>0时,βu=βi-γ×diffbps;

35、当diffbps<0时,βu=βi+γ×diffbps;

36、式中,diffbps表示bps的偏差比例,βu和βi分别为更新后的β和初始β。

37、体现在服务器端的步骤为:

38、1)数据收集请求到达中央控制服务器,开始对远程服务器的关键参数进行测量;

39、2)中央控制服务器将收集到的数据进行分析处理,并将具体的资源调整配置转发到远程服务器的cgroup管理模块;

40、3)cgroup管理模块生成一份资源配置列表:包含了根据实际时延和带宽的不足或超出进行动态调整cgroupi/o参数的配置信息;

41、4)中央控制服务器和远程服务器调用cgroup管理模块设置api,根据资源配置列表设置cgroup参数,实现对数据传输等资源的流量控制。

42、因此,本专利技术一种基于cgroup的io控制优化本文档来自技高网...

【技术保护点】

1.一种基于cgroup的IO控制优化方法,通过中央控制服务器和远程服务器组成的系统实现,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于cgroup的IO控制优化方法,其特征在于,所述S2的具体步骤如下:

3.根据权利要求2所述的一种基于cgroup的IO控制优化方法,其特征在于,所述S22中,IOPS的调整公式为:

4.根据权利要求2所述的一种基于cgroup的IO控制优化方法,其特征在于,所述S23中,IOPScgroup的计算公式为:

5.根据权利要求4所述的一种基于cgroup的IO控制优化方法,其特征在于:所述S3中,将S2中得到IOPScgroup值,转换为合适的格式写入相应cgroup的控制文件中,针对S2得到的BPScgroup值,确定合适的字节数和单位,写入相应cgroup的控制文件中。

6.根据权利要求5所述的一种基于cgroup的IO控制优化方法,其特征在于,所述S4中更新α和β的具体步骤为:

7.根据权利要求6所述的一种基于cgroup的IO控制优化方法,其特征在于,对于IOPS的调整系数α的调整规则为:

8.根据权利要求6所述的一种基于cgroup的IO控制优化方法,其特征在于,对于BPS的调整系数β的调整规则为:

...

【技术特征摘要】

1.一种基于cgroup的io控制优化方法,通过中央控制服务器和远程服务器组成的系统实现,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于cgroup的io控制优化方法,其特征在于,所述s2的具体步骤如下:

3.根据权利要求2所述的一种基于cgroup的io控制优化方法,其特征在于,所述s22中,iops的调整公式为:

4.根据权利要求2所述的一种基于cgroup的io控制优化方法,其特征在于,所述s23中,iopscgroup的计算公式为:

5.根据权利要求4所述的一种基于cgroup的io控制优化方法,其特征...

【专利技术属性】
技术研发人员:辛阳宁豪杰朱洪亮张春勇姚良威
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1