System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种TCP用户态协议栈支持双网卡支持多样化负载的方法、系统及装置制造方法及图纸_技高网

一种TCP用户态协议栈支持双网卡支持多样化负载的方法、系统及装置制造方法及图纸

技术编号:40934585 阅读:2 留言:0更新日期:2024-04-18 14:54
本发明专利技术涉及系统通信技术领域,具体涉及一种TCP用户态协议栈支持双网卡支持多样化负载的方法、系统及装置,包括:SPDK传输层添加与TCP用户态协议栈改造:对SPDK进行添加新的传输层以支持TCP协议;对TCP用户态协议栈进行改造,将网卡收包处理函数放到SPDK的poller中,用于实现支持双网卡;配置与优化:通过网卡排序交替发送数据包,用于实现存储带宽和IOPS的线性增长;异常处理与故障切换:当某个网卡长时间发包失败时,将其判定为异常,并在超时后触发回调函数重新下发IO请求到另一可用网卡;与监控与维护。本发明专利技术的用户态协议栈双网卡性能可线性增加,性能实现线性增长。

【技术实现步骤摘要】

本专利技术涉及系统通信,具体而言,涉及一种tcp用户态协议栈支持双网卡支持多样化负载的方法。


技术介绍

1、计算、存储和网络是云计算三个重要的组成部分,随着cpu算力的不断提升,网络的性能随之提高,存储对高性能的需求也越来越迫切。很多老机型有多张25gb/s的网卡,随着机型的不断迭代,老机型将越来越多。为了解决硬件的瓶颈,nvme协议应运而生。但是在云计算中高性能云盘是一个需求量大,覆盖面广的需求,只有nvme硬盘无法满足实际的用户需求。

2、为了解决网络传输性能低的问题,nvme over rdma是一个不错的选择。它主要是通过rdma的高性能和零拷贝技术来实现io的高性能传输,实现超高云盘性能。但是rdma有自身的技术局限性,那就是在云计算中跨az访问的话,网络性能将变的较小,无法满足实际的生产环境。而内核协议栈中适合进行存储传输的是tcp协议,但是性能较差。

3、因此,云计算存储场景迫切需要一个高性能,同时具备很好兼容性网络传输协议。


技术实现思路

1、为了实现上述目的,本专利技术提供了一种tcp用户态协议栈支持双网卡支持多样化负载的方法,以解决在存储集群、虚拟化、gpu ai等场景下对网络进行加速,难以实现低延迟、高并发、高性能的问题。

2、本专利技术提出了一种tcp用户态协议栈支持双网卡支持多样化负载的方法,包括:

3、spdk传输层添加与tcp用户态协议栈改造:对spdk进行添加新的传输层以支持tcp协议;对tcp用户态协议栈进行改造,将网卡收包处理函数放到spdk的poller中,用于实现支持双网卡;

4、配置与优化:通过网卡排序交替发送数据包,用于实现存储带宽和iops的线性增长;

5、异常处理与故障切换:当某个网卡长时间发包失败时,将其判定为异常,并在超时后触发回调函数重新下发io请求到另一可用网卡;

6、监控与维护:监控网络状态,所述网络状态包括网卡的收发包情况与网络带宽使用率;定期对系统进行维护和优化,确保系统的稳定性和性能。

7、进一步地,对于需要自主选择网卡进行io处理的需求时,双网卡中选取一个作为主网卡,另一个作为备用网卡,主网卡进行网络数据包的收发,当主网卡发生故障时,切换到备用网卡进行数据包下发。

8、进一步地,当某个网卡长时间发包失败时,将其判定为异常后,

9、异常网卡的retry list中的tcp flow将在超时时,通过调用回调函数触发io的重新下发。

10、进一步地,当某个网卡长时间发包失败时,将其判定为异常后,io将尝试从非异常网卡发送。

11、本专利技术实施例一种基于数据驱动的前端资源加载优化方法,与现有技术相比,其有益效果在于:

12、本专利技术的用户态协议栈是目前唯一支持双网卡的协议栈,并且网卡性能线性增加;在实际生产环境中测试验证,单张25gb/s单网卡的带宽是约3gb/s,iops只有70w iops,2x25gb/s模式存储带宽可达到6gb/s,iops可达到139.5w,实验证明双网卡模式下性能实现线性增长;tcp用户态协议栈不仅与rdma性能接近,而且在支持自身的同时,还支持kerneltcp,具有非常好的兼容性,可以很好的满足云计算中网络传输的需求;云计算场景下,有很多老机型有多张25gb/s的网卡。随着机型的不断迭代,老机型将越来越多。为了能很好的利用这些机型,降低企业成本,tcp用户态协议栈需要支持多张网卡来实现性能的线性增长,从而可以实现这些老机型发挥更大的价值,实现资源利旧。

13、另一方面,本专利技术提出了一种tcp用户态协议栈支持双网卡支持多样化负载的系统,应用于上述tcp用户态协议栈支持双网卡支持多样化负载的方法,该系统包括:存储集群,

14、所述存储集群包括:存储服务与若干存储节点,所述存储服务包括:文件服务、对象服务与块服务,所述文件服务、所述对象服务与所述块服务分别设置有传输层,并且所述文件服务、所述对象服务与所述块服务分别与所述存储节点电连接。

15、进一步地,还包括:文件服务器,所述文件服务器与所述存储集群电连接,所述文件服务器包括:用于实现网络连接和数据传输功能的tcp用户态协议栈与若干以太网接口。

16、进一步地,所述文件服务器分别与所述文件服务、所述对象服务与所述块服务电连接。

17、进一步地,若干所述以太网接口同时工作。

18、另一方面,本专利技术还提出了一种tcp用户态协议栈支持双网卡支持多样化负载的装置,当其在运行时,执行上述tcp用户态协议栈支持双网卡支持多样化负载的方法。

19、另一方面,本专利技术还提供了tcp用户态协议栈支持双网卡支持多样化负载的方法在云主机虚拟化场景、容器场景、gpu ai场景与分布式存储场景中的应用。

20、可以理解的是,上述tcp用户态协议栈支持双网卡支持多样化负载的方法、系统及装置具备相同的有益效果,在此不再赘述。

本文档来自技高网...

【技术保护点】

1.一种TCP用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,包括:

2.根据权利要求1所述的TCP用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,对于需要自主选择网卡进行IO处理的需求时,双网卡中选取一个作为主网卡,另一个作为备用网卡,主网卡进行网络数据包的收发,当主网卡发生故障时,切换到备用网卡进行数据包下发。

3.根据权利要求1所述的TCP用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,当某个网卡长时间发包失败时,将其判定为异常后,

4.根据权利要求1所述的TCP用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,当某个网卡长时间发包失败时,将其判定为异常后,

5.一种TCP用户态协议栈支持双网卡支持多样化负载的系统,应用于如权利要求1-4任一项所述的TCP用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,包括:存储集群,

6.根据权利要求5所述的TCP用户态协议栈支持双网卡支持多样化负载的系统,其特征在于,还包括:文件服务器,所述文件服务器与所述存储集群电连接,所述文件服务器包括:用于实现网络连接和数据传输功能的TCP用户态协议栈与若干以太网接口。

7.根据权利要求6所述的TCP用户态协议栈支持双网卡支持多样化负载的系统,其特征在于,所述文件服务器分别与所述文件服务、所述对象服务与所述块服务电连接。

8.根据权利要求6所述的TCP用户态协议栈支持双网卡支持多样化负载的系统,其特征在于,若干所述以太网接口同时工作。

9.一种TCP用户态协议栈支持双网卡支持多样化负载的装置,其特征在于,当其在运行时,执行如权利要求1-4任一项所述的TCP用户态协议栈支持双网卡支持多样化负载的方法。

10.一种如权利要求1-4任一项所述的TCP用户态协议栈支持双网卡支持多样化负载的方法在云主机虚拟化场景、容器场景、GPU AI场景与分布式存储场景中的应用。

...

【技术特征摘要】

1.一种tcp用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,包括:

2.根据权利要求1所述的tcp用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,对于需要自主选择网卡进行io处理的需求时,双网卡中选取一个作为主网卡,另一个作为备用网卡,主网卡进行网络数据包的收发,当主网卡发生故障时,切换到备用网卡进行数据包下发。

3.根据权利要求1所述的tcp用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,当某个网卡长时间发包失败时,将其判定为异常后,

4.根据权利要求1所述的tcp用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,当某个网卡长时间发包失败时,将其判定为异常后,

5.一种tcp用户态协议栈支持双网卡支持多样化负载的系统,应用于如权利要求1-4任一项所述的tcp用户态协议栈支持双网卡支持多样化负载的方法,其特征在于,包括:存储集群,

6.根据权利要求5所述...

【专利技术属性】
技术研发人员:王雷孙政
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1