一种拥塞控制方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种拥塞控制方法、装置、电子设备及存储介质，方法包括：当到达预设采集周期时，获取当前采集周期的网络状态数据，作为第一网络状态数据；基于第一网络状态数据，计算当前采集周期的奖励值，作为第一奖励值；将第一网络状态数据和第一奖励值，输入至预先训练的调整策略预测网络模型，得到目标调整策略；按照目标调整策略，对当前的拥塞窗口进行调整。针对不同的网络环境，无需分辨拥塞信号是否为网络拥塞所致，基于第一网络状态数据即可计算奖励值，进而实现对拥塞窗口进行调整。因此，本申请的拥塞控制方法能够适用于复杂的网络环境，能够提高拥塞控制的有效性。能够提高拥塞控制的有效性。能够提高拥塞控制的有效性。

【技术实现步骤摘要】
一种拥塞控制方法、装置、电子设备及存储介质


[0001]本申请涉及计算机网络
，特别是涉及一种拥塞控制方法、装置、电子设备及存储介质。

技术介绍

[0002]随着网络技术的发展，目前网络环境越来越复杂，影响网络传输效率的因素众多。为了避免网络拥塞，保证网络稳定和数据的高效传输，可以通过拥塞控制的方式调整数据发送端的数据发送速率。
[0003]例如，相关技术中，基于启发式的拥塞控制方法使用丢包率和延迟作为拥塞信号，并动态地控制发送速率或者拥塞窗口，以避免网络拥塞。但随着网络环境的日渐复杂，基于该方式，无法有效地分辨拥塞信号是否为网络拥塞所致，难以适应当前复杂的网络环境，导致拥塞控制的有效性不高。

技术实现思路

[0004]本申请实施例的目的在于提供一种拥塞控制方法、装置、电子设备及存储介质，以适用于复杂的网络环境，提高拥塞控制的有效性。具体技术方案如下：
[0005]根据本申请实施例的第一个方面，提供了一种拥塞控制方法，所述方法包括：
[0006]当到达预设采集周期时，获取当前采集周期的网络状态数据，作为第一网络状态数据；
[0007]其中，所述第一网络状态数据包括当前采集周期的发送速率和接收速率；当前采集周期的发送速率为基于当前采集周期内各指定时刻采集的发送速率确定的；当前采集周期的接收速率为基于当前采集周期内各指定时刻采集的接收速率确定的；所述指定时刻包括接收到ACK消息的第一时刻；每一第一时刻的接收速率表示：在发送该第一时刻对应的数据包之前最后接收到的ACK消息的时刻与该第一时刻之间接收数据的速率；该第一时刻对应的数据包表示该第一时刻接收到的ACK消息所响应的数据包；每一第一时刻的发送速率表示：所述最后接收到的ACK消息所响应的数据包的发送时刻，与该第一时刻对应的数据包的发送时刻之间发送数据的速率；
[0008]基于所述第一网络状态数据，计算当前采集周期的奖励值，作为第一奖励值；
[0009]将所述第一网络状态数据和所述第一奖励值，输入至预先训练的调整策略预测网络模型，得到目标调整策略；其中，所述调整策略预测网络模型为基于强化学习算法进行训练得到的；
[0010]按照所述目标调整策略，对当前的拥塞窗口进行调整。
[0011]可选的，所述第一奖励值与当前采集周期的接收速率呈正相关，且与当前采集周期的速率差值呈负相关；所述当前采集周期的速率差值表示当前采集周期的发送速率与当前采集周期的接收速率的差值。
[0012]可选的，所述第一网络状态数据还包括以下至少一项：
[0013]当前采集周期的最小往返时间，表示：在当前采集周期内，当达到每一指定时刻时已采集的各指定时刻的往返时间中的最小值；
[0014]当前采集周期的平均往返时间，表示：当前采集周期内各指定时刻采集的往返时间的平均值；
[0015]当前采集周期的平均时延，表示：当前采集周期内各指定时刻采集的时延的平均值；
[0016]当前采集周期的平均拥塞窗口大小，表示：当前采集周期内各指定时刻采集的拥塞窗口大小的平均值；
[0017]当前采集周期的平均在飞数据大小，表示：当前采集周期内各指定时刻采集的在飞数据大小的平均值；一个指定时刻采集的在飞数据大小表示：在该指定时刻已发送，且还未接收到对应的ACK消息的数据包的大小；
[0018]当前采集周期内发送数据的大小；
[0019]当前采集周期内接收到的ACK消息所响应的数据包的大小；
[0020]当前采集周期内丢失的数据包的大小；
[0021]当前采集周期内接收到的ACK消息中的显示拥塞信号的数目。
[0022]可选的，所述指定时刻还包括检测到丢包事件的第二时刻；
[0023]每一第二时刻采集的往返时间表示：该第二时刻之前最后接收到的ACK消息时采集到的往返时间；
[0024]每一第二时刻采集的时延表示：该第二时刻之前最后接收到的ACK消息时采集到的时延；
[0025]每一第二时刻采集的发送速率表示：该第二时刻之前最后接收到的ACK消息时采集到的发送速率；
[0026]每一第二时刻采集的接收速率表示：该第二时刻之前最后接收到的ACK消息时采集到的接收速率。
[0027]可选的，所述第一奖励值与当前采集周期的平均时延呈负相关。
[0028]可选的，所述基于所述第一网络状态数据，计算当前采集周期的奖励值，作为第一奖励值，包括：
[0029]判断当前采集周期的平均时延是否小于第一阈值；
[0030]如果是，则将当前采集周期的第一奖励值确定为当前采集周期的接收速率；
[0031]如果否，则基于当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的平均时延，以及当前采集周期的最小往返时间，计算当前采集周期的奖励值，作为第一奖励值。
[0032]可选的，所述第一阈值与当前采集周期的最小往返时间呈正相关。
[0033]可选的，所述第一阈值为基于第一公式计算得到的；
[0034]所述第一公式为：
[0035]S＝εMinRtt+ρ
[0036]其中，S表示第一阈值，MinRtt表示当前采集周期的最小往返时间，ε表示第一预设参数，ρ表示第二预设参数；
[0037]所述基于当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的
平均时延，以及当前采集周期的最小往返时间，计算当前采集周期的奖励值，作为第一奖励值，包括：
[0038]基于当前采集周期的发送速率、当前采集周期的当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的平均时延，以及当前采集周期的最小往返时间，按照第二公式，计算当前采集周期的奖励值，作为第一奖励值；其中，所述第二公式为：
[0039][0040]其中，reward表示第一奖励值，AR表示当前采集周期的接收速率，D表示当前采集周期的平均时延，MinRtt表示当前采集周期的最小往返时间，SR表示当前采集周期的发送速率，δ表示第三预设参数。
[0041]可选的，所述当前采集周期的发送速率为当前采集周期内最后一个指定时刻采集的发送速率；所述当前采集周期的接收速率为当前采集周期内最后一个指定时刻采集的接收速率。
[0042]可选的，所述目标调整策略包括两个以上大于1的第一指定调整倍数、与该两个以上第一指定调整倍数互为倒数的两个以上第二指定调整倍数以及每一指定调整倍数对应的概率；
[0043]所述按照所述目标调整策略，对当前的拥塞窗口进行调整，包括：
[0044]按照对应的概率最大的指定调整倍数对当前的拥塞窗口进行调整。
[0045]可选的，所述方法还包括：
[0046]当达到预设调整周期时，在第一时长内按照小于当前的接收速率的速率发送数据包。
[0047]可选的，在将所述第一网络状态数据和所述第一奖励值，输入至预先训练的调整策略预测网络模型，得到目标调整策略之前，所述方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种拥塞控制方法，其特征在于，所述方法包括：当到达预设采集周期时，获取当前采集周期的网络状态数据，作为第一网络状态数据；其中，所述第一网络状态数据包括当前采集周期的发送速率和接收速率；当前采集周期的发送速率为基于当前采集周期内各指定时刻采集的发送速率确定的；当前采集周期的接收速率为基于当前采集周期内各指定时刻采集的接收速率确定的；所述指定时刻包括接收到ACK消息的第一时刻；每一第一时刻的接收速率表示：在发送该第一时刻对应的数据包之前最后接收到的ACK消息的时刻与该第一时刻之间接收数据的速率；该第一时刻对应的数据包表示该第一时刻接收到的ACK消息所响应的数据包；每一第一时刻的发送速率表示：所述最后接收到的ACK消息所响应的数据包的发送时刻，与该第一时刻对应的数据包的发送时刻之间发送数据的速率；基于所述第一网络状态数据，计算当前采集周期的奖励值，作为第一奖励值；将所述第一网络状态数据和所述第一奖励值，输入至预先训练的调整策略预测网络模型，得到目标调整策略；其中，所述调整策略预测网络模型为基于强化学习算法进行训练得到的；按照所述目标调整策略，对当前的拥塞窗口进行调整。2.根据权利要求1所述的方法，其特征在于，所述第一奖励值与当前采集周期的接收速率呈正相关，且与当前采集周期的速率差值呈负相关；所述当前采集周期的速率差值表示当前采集周期的发送速率与当前采集周期的接收速率的差值。3.根据权利要求1所述的方法，其特征在于，所述第一网络状态数据还包括以下至少一项：当前采集周期的最小往返时间，表示：在当前采集周期内，当达到每一指定时刻时已采集的各指定时刻的往返时间中的最小值；当前采集周期的平均往返时间，表示：当前采集周期内各指定时刻采集的往返时间的平均值；当前采集周期的平均时延，表示：当前采集周期内各指定时刻采集的时延的平均值；当前采集周期的平均拥塞窗口大小，表示：当前采集周期内各指定时刻采集的拥塞窗口大小的平均值；当前采集周期的平均在飞数据大小，表示：当前采集周期内各指定时刻采集的在飞数据大小的平均值；一个指定时刻采集的在飞数据大小表示：在该指定时刻已发送，且还未接收到对应的ACK消息的数据包的大小；当前采集周期内发送数据的大小；当前采集周期内接收到的ACK消息所响应的数据包的大小；当前采集周期内丢失的数据包的大小；当前采集周期内接收到的ACK消息中的显示拥塞信号的数目。4.根据权利要求3所述的方法，其特征在于，所述指定时刻还包括检测到丢包事件的第二时刻；每一第二时刻采集的往返时间表示：该第二时刻之前最后接收到的ACK消息时采集到的往返时间；每一第二时刻采集的时延表示：该第二时刻之前最后接收到的ACK消息时采集到的时
延；每一第二时刻采集的发送速率表示：该第二时刻之前最后接收到的ACK消息时采集到的发送速率；每一第二时刻采集的接收速率表示：该第二时刻之前最后接收到的ACK消息时采集到的接收速率。5.根据权利要求3所述的方法，其特征在于，所述第一奖励值与当前采集周期的平均时延呈负相关。6.根据权利要求3所述的方法，其特征在于，所述基于所述第一网络状态数据，计算当前采集周期的奖励值，作为第一奖励值，包括：判断当前采集周期的平均时延是否小于第一阈值；如果是，则将当前采集周期的第一奖励值确定为当前采集周期的接收速率；如果否，则基于当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的平均时延，以及当前采集周期的最小往返时间，计算当前采集周期的奖励值，作为第一奖励值。7.根据权利要求6所述的方法，其特征在于，所述第一阈值与当前采集周期的最小往返时间呈正相关。8.根据权利要求7所述的方法，其特征在于，所述第一阈值为基于第一公式计算得到的；所述第一公式为：S＝εMinRtt+ρ其中，S表示第一阈值，MinRtt表示当前采集周期的最小往返时间，ε表示第一预设参数，ρ表示第二预设参数；所述基于当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的平均时延，以及当前采集周期的最小往返时间，计算当前采集周期的奖励值，作为第一奖励值，包括：基于当前采集周期的发送速率、当前采集周期的当前采集周期的发送速率、当前采集周期的接收速率、当前采集周期的平均时延，以及当前采集周期的最小往返时间，按照第二公式，计算当前采集周期的奖励值，作为第一奖励值；其中，所述第二公式为：其中，reward表示第一奖励值，AR表示当前采集周期的接收速率，D表示当前采集周期的平均时延，MinRtt表示当前采集周期的最小往返时间，SR表示当前采集周期的发送速率，δ表示第三预设参数。9.根据权利要求1所述的方法，其特征在于，所述目标调整策略包括两个以上大于1的第一指定调整倍数、与该两个以上第一指定调整倍数互为倒数的两个以上第二指定调整倍数以及每一指定调整倍数对应的概率；所述按照所述目标调整策略，对当前的拥塞窗口进行调整，包括：按照对应的概率最大的指定调整倍数对当前的拥塞窗口进行调整。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当达到预设调整周期时，在第一时长内按照小于当前的接收速率的速率发送数据包。11.根据权利要求1所述的方法，所述调整策略预测网络模型的训练过程包括以下步骤：获取样本周期的网络状态数据，作为样本网络状态数据；其中，所述样本网络状态数据包括：样本周期的发送速率和接收速率；样本周期的发送速率为基于样本周期内各指定时刻采集的发送速率确定的；样本周期的接收速率为基于样本周期内各指定时刻采集的接收速率确定的；所述指定时刻包括接收到ACK消息的第一时刻；每一第一时刻的接收速率表示：在发送该第一时刻对应的数据包之前最后接收到的ACK消息的时刻与该第一时刻之间接收数据的速率；该第一时刻对应的数据包表示该第一时刻接收到的ACK消息所响应的数据包；每一第一时刻的发送速率表示：所述最后接收到的ACK消息所响应的数据包的发送时刻，与该第一时刻对应的数据包的发送时刻之间发送数据的速率；基于所述样本网络状态数据，计算样本周期的第二奖励值；其中，所述第二奖励值与样本周期的接收速率呈正相关，且与样本周期的速率差值呈负相关；所述速率差值表示样本周期的发送速率与样本周期的接收速率的差值；将所述样本网络状态数据和所述第二奖励值，输入至初始参数的调整策略预测网络模型，得到样本调整策略和策略评分值；按照所述样本调整策略对当前的拥塞窗口进行调整；基于所述策略评分值和所述第二奖励值，对初始参数的调整策略预测网络模型的模型参数进行调整，直至达到收敛条件。12.一种拥塞控制装置，其特征在于，所述装置包括：第一网络状态采集模块，用于当到达预设采集周期时，获取当前采集周期的网络状态数据，作为第一网络状态数据；其中，所述第一网络状态数据包括当前采集周期的发送速率和接收速率；当前采集周期的发送速率为基于当前采集周期内各指定时刻采集...

【专利技术属性】
技术研发人员：王玲，吕磊，程诚，程博锋，
申请(专利权)人：新华三技术有限公司，
类型：发明
国别省市：