多路径拥塞控制方法及装置制造方法及图纸

本申请提供一种多路径拥塞控制方法及装置，方法包括：实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。本申请能够实现强化学习模型DRL在基于多路径传输控制协议MPTCP的网络拥塞控制中的应用，能够有效提高多路径拥塞控制的及时性及可靠性；并能够有效避免阻塞对目标网络中数据传输性能带来的影响，提高拥塞控制的智能化程度，进而能够有效保证基于多路径传输控制协议的目标网络的运行稳定性，更适用于高速网络。络。络。

【技术实现步骤摘要】
多路径拥塞控制方法及装置


[0001]本申请涉及拥塞控制CC
，尤其涉及多路径拥塞控制方法及装置。

技术介绍

[0002]拥塞控制CC(Congestion Control)一直是网络中基石问题。从多路径传输控制协议MPTCP(Multipath TCP)出现以来，就诞生了很多MPTCP的拥塞控制CC算法。这些算法大多数是基于TCP CC协议扩展而来，但这些变体算法也都或多或少继承了TCPCC协议的缺点，即根据环境信号调节拥塞窗口，若出现错误信号则会造成严重的性能下降。而为了解决这一问题，随着机器学习ML的快速发展，深度强化学习DRL(DeepReinforcement Learning)模型也逐渐被广泛应用于网络拥塞控制CC中。
[0003]然而，现有的多路径拥塞控制方式中，由于现实应用状态下，每个MPTCP的子流数目是不确定的，因此子流数目限制了基于深度强化学习的拥塞控制算法的应用；以及，另一类基于学习的拥塞控制方案采用在线最优化求解理论，将其扩展到多路径使得每条子流使用在线学习框架决策发送速率，因此会导致基于在线学习理论的强化学习算法收敛较慢的问题；另外，深度强化学习DRL决策的间隔时间无法确定，不同的设备和操作系统决策时间将会不同，使得DRL决策可能会阻塞数据包，这导致其无法应用于高速网络。

技术实现思路

[0004]鉴于此，本申请实施例提供了多路径拥塞控制方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。
[0005]本申请的一个方面提供了一种多路径拥塞控制方法，包括：
[0006]实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；
[0007]若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。
[0008]在本申请的一些实施例中，还包括：
[0009]若所述目标网络当前未处于非阻塞状态，则将所述目标网络的拥塞控制模式切换至并存模式，以基于该并存模式对所述目标网络的数据传输进行拥塞控制；
[0010]其中，所述并存模式包括：作为主模式的启发式MPTCP决策方式和作为辅助模式的DRL决策方式，该DRL决策方式包括：使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。
[0011]在本申请的一些实施例中，所述基于所述MPTCP的各个子流各自对应的单子流强化学习模型对所述目标网络的数据传输进行拥塞控制，包括：
[0012]各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息；
[0013]各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对所述目标网络的数据传输进行符合公平性原则的拥塞控制。
[0014]在本申请的一些实施例中，所述单子流强化学习模型的输入包括当前的环境信息，所述单子流强化学习模型的输出包括子流对窗口的独立调整参数；
[0015]所述环境信息包括：根据各个所述子流的状态加权平均数据获取的带宽、滑动窗口、往返时间RTT和该往返时间RTT的平均偏差。
[0016]在本申请的一些实施例中，还包括：
[0017]在所述MPTCP的各个子流中择一作为目标子流；
[0018]应用除所述目标子流之前的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使所述目标子流基于所述多子流奖励训练深度强化学习模型；
[0019]将所述单子流强化学习模型复制至其他子流以进行迭代训练，直至所述强化学习模型收敛，得到用于在多路径中进行单子流的公平性拥塞控制的单子流强化学习模型。
[0020]在本申请的一些实施例中，所述实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态，包括：
[0021]实时监测当前的包速与模型决策延迟阈值之间的数值比较结果，其中，所述包速包括：数据包的到达拥塞管理器的时间间隔；
[0022]若所述数值比较结果显示所述包速等于或大于所述模型决策延迟阈值，则判定所述目标网络当前处于非阻塞状态；
[0023]若所述数值比较结果显示所述包速小于所述模型决策延迟阈值，则判定所述目标网络当前未处于所述非阻塞状态。
[0024]在本申请的一些实施例中，还包括：
[0025]在所述目标网络的拥塞控制模式切换至所述并存模式后，实时监测到所述包速是否在预设时间段内连续小于所述模型决策延迟阈值；
[0026]若是，则将所述目标网络的拥塞控制模式从所述并存模式切换至非阻塞模式，以使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。
[0027]本申请的另一个方面提供了一种多路径拥塞控制装置，包括：
[0028]非阻塞状态监测模块，用于实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；
[0029]DRL拥塞控制模块，用于若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。
[0030]本申请的另一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的多路径拥塞控制方法。
[0031]本申请的另一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的多路径拥塞控制方法。
[0032]本申请提供的多路径拥塞控制方法，实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制；通过单子流强化学习模型实现对基于多路径传输控制协议MPTCP的目标网络
的拥塞控制，跳出在多路径中使用多子流强化学习的思维模型，在多路径拥塞控制问题中使用单子流模型并解决了公平性问题，在子流数量发生变化时也不需要重新训练模型，打破了强化学习模型DRL在MPTCP CC中的壁垒，实现强化学习模型针对多路径传输控制协议MPTCP的拥塞控制，能够解决多子流模型不能适应子流数目变化的问题，并能够有效提高基于单子流强化学习模型进行多路径拥塞控制的及时性及可靠性；同时，通过添加了非阻塞模式状态监测，在检测到无阻塞发生时才采用单子流强化学习模型对应的决策模式，能够有效避免阻塞对目标网络中数据传输性能带来的影响，有效提高拥塞控制的智能化程度，进而能够有效保证基于多路径传输控制协议MPTCP的目标网络的运行稳定性，更适用于高速网络。
[0033]本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多路径拥塞控制方法，其特征在于，包括：实时监测基于多路径传输控制协议MPTCP的目标网络当前是否处于非阻塞状态；若所述目标网络当前处于非阻塞状态，则使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。2.根据权利要求1所述的多路径拥塞控制方法，其特征在于，还包括：若所述目标网络当前未处于非阻塞状态，则将所述目标网络的拥塞控制模式切换至并存模式，以基于该并存模式对所述目标网络的数据传输进行拥塞控制；其中，所述并存模式包括：作为主模式的启发式MPTCP决策方式和作为辅助模式的DRL决策方式，该DRL决策方式包括：使用一个单子流强化学习模型应用于MPTCP的各个子流，对目标网络的数据传输进行符合公平性原则的拥塞控制。3.根据权利要求1或2所述的多路径拥塞控制方法，其特征在于，所述基于所述MPTCP的各个子流各自对应的单子流强化学习模型对所述目标网络的数据传输进行拥塞控制，包括：各个子流分别异步查询自身的动作，并收集除自身外的其他子流的信息；各个子流分别根据除自身外的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使各个所述子流分别基于各自获取的多子流奖励和所述单子流强化学习模型对所述目标网络的数据传输进行符合公平性原则的拥塞控制。4.根据权利要求1所述的多路径拥塞控制方法，其特征在于，所述单子流强化学习模型的输入包括当前的环境信息，所述单子流强化学习模型的输出包括子流对窗口的独立调整参数；所述环境信息包括：根据各个所述子流的状态加权平均数据获取的带宽、滑动窗口、往返时间RTT和该往返时间RTT的平均偏差。5.根据权利要求1所述的多路径拥塞控制方法，其特征在于，还包括：在所述MPTCP的各个子流中择一作为目标子流；应用除所述目标子流之前的其他子流的信息及预设的权重数据生成当前的多子流奖励，以使所述目标子流基于所述多子流奖励训练深度强...

【专利技术属性】
技术研发人员：张娇，魏德惠，李浩哲，刘远捷，张轩，潘恬，黄韬，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：