【技术实现步骤摘要】
本专利技术属于计算机网络领域，具体涉及一种动态学习控制tcp网络拥塞控制优化的方法。
技术介绍
1、随着我国网络技术的发展，通信需求日益增多，信息交互需求越来越多。在目前的网络环境中，拥塞控制算法主要是即定的，并不会实时根据网络环境进行动态调整，现在动态学习算法日益增多，通过对tcp网络中加入动态学习，以便能够更好地适应不同的网络环境，将拥塞控制算法发挥到最高效的状态。
技术实现思路
1、(一)要解决的技术问题
2、本专利技术要解决的技术问题是如何提供一种动态学习控制tcp网络拥塞控制优化的方法，以解决拥塞控制算法不会实时根据网络环境进行动态调整的问题。
3、(二)技术方案
4、为了解决上述技术问题，本专利技术提出一种动态学习控制tcp网络拥塞控制优化的方法，该方法基于动态学习系统，动态学习系统包括三个模块，分别是人工控制模块、测量模块和自动控制模块；
5、人工控制模块：用于实现人工强制发送策略和人工控制模式，通过选择开关将需要发送的数据流导向人工控制模块，并且用户把任务希望达到的目标传输速率和信道容量添加到人工控制模块中，测量模块获得丢失率，根据提供的算法提示用户按照目前的目标速率发送是否可能导致实际发送速率超过信道容量；然后数据输出时按照目标速率发送数据，每一个丢失的分组都将重新发送；
6、测量模块：数据到达接收端后，接收端将向发送端反馈确认分组，确认分组将输入到测量模块，测量模块把时间分为离散时隙，根据每个时隙内到达
7、自动控制模块：测量模块将信道测量值和信道特征向量发送到自动控制模块，自动控制模块通过报酬函数对信道测量值进行处理后，与信道特征向量一起输入actor网络和critic网络这两个深度神经网络自动提取特征，动态判断拥塞程度，最终输出α调节底层拥塞控制逻辑的拥塞窗口，确定与当前路径可用带宽相匹配的发送速度、拥塞恢复机制，并准确及时的进行丢包判断及恢复。
8、(三)有益效果
9、本专利技术提出一种动态学习控制tcp网络拥塞控制优化的方法，与现有的技术相比，本专利技术提出的技术方案能够通过动态学习实时分析与调整网络中拥塞控制的各种参数，包括传输窗口大小、rtt时延、吞吐量等等，通过加入动态学习的方式能够让拥塞控制算法在各种网络环境中发挥更好的效果。
本文档来自技高网...【技术保护点】
1.一种动态学习控制TCP网络拥塞控制优化的方法，其特征在于，该方法基于动态学习系统，动态学习系统包括三个模块，分别是人工控制模块、测量模块和自动控制模块；
2.如权利要求1所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，当网络之间一个重要的数据传输任务要必须要完成时，采用人工控制模块。
3.如权利要求1所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，人工控制模块用于用户想要单独发送数据，不通过动态学习的方式进行传输数据，仅通过控制本次传输速率在不通过修改拥塞控制算法，即使用原拥塞控制算法时进行传输。
4.如权利要求1所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，信道测量值还包括：平均RTT，确认分组间隔、发送分组间隔的最大值、最小值、平均值，丢失率，到目前为止的最小RTT、最大吞吐量throughput，当前拥塞窗口、数据包逆序程度及梯度。
5.如权利要求1所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，测量模块设置有测量缓冲区，记录一个窗口内的历史信道测量值。
6.如
7.如权利要求6所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，Actor网络包括：两个全连接层、ReLU层的组合体串联后，连接2个GRU模块，然后连接一个全连接层、ReLU层的组合体，最后通过一个全连接层和Tanh函数的组合体输出；Critic网络包括：两个全连接层、ReLU层的组合体串联后，连接2个GRU模块，然后连接一个全连接层、ReLU层的组合体，最后连接一个全连接层。
8.如权利要求6所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，建立网络通信环境模型，采用ns3进行离线仿真，数据分组发送到ns3仿真网络中，接收的确认分组也来自仿真网络；训练得到的经验值(st,αt,st+1,reward,type)，其中，st代表当前时隙的测量模块汇报的统计向量、αt代表当前时隙输出层的值，写入到测量模块中的重放缓冲区，reward为奖励，type表示这个经验来自于仿真还是真实网络场景；同时人工控制模式的经验值也将写入到重放缓冲区。
9.如权利要求8所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，使用近端策略优化PPO和Adam优化算法更新模型参数。
10.如权利要求6所述的动态学习控制TCP网络拥塞控制优化的方法，其特征在于，动态学习系统不但通过自动控制模块支持在传输过程中动态感知网络环境和学习最优的决策策略，还支持关键时刻使用人工强制发送策略，确保关键数据的及时可靠传输，并人工控制模式产生的经验数据同时用于对针对化功能的动态学习和训练。
...【技术特征摘要】
1.一种动态学习控制tcp网络拥塞控制优化的方法，其特征在于，该方法基于动态学习系统，动态学习系统包括三个模块，分别是人工控制模块、测量模块和自动控制模块；
2.如权利要求1所述的动态学习控制tcp网络拥塞控制优化的方法，其特征在于，当网络之间一个重要的数据传输任务要必须要完成时，采用人工控制模块。
3.如权利要求1所述的动态学习控制tcp网络拥塞控制优化的方法，其特征在于，人工控制模块用于用户想要单独发送数据，不通过动态学习的方式进行传输数据，仅通过控制本次传输速率在不通过修改拥塞控制算法，即使用原拥塞控制算法时进行传输。
4.如权利要求1所述的动态学习控制tcp网络拥塞控制优化的方法，其特征在于，信道测量值还包括：平均rtt，确认分组间隔、发送分组间隔的最大值、最小值、平均值，丢失率，到目前为止的最小rtt、最大吞吐量throughput，当前拥塞窗口、数据包逆序程度及梯度。
5.如权利要求1所述的动态学习控制tcp网络拥塞控制优化的方法，其特征在于，测量模块设置有测量缓冲区，记录一个窗口内的历史信道测量值。
6.如权利要求1-5任一项所述的动态学习控制tcp网络拥塞控制优化的方法，其特征在于，自动控制模块包括：报酬函数子模块、深度学习智能体、底层拥塞控制逻辑和流量整形子模块，其中，深度学习智能体采用a2c算法，包括：actor网络和critic网络；
7.如权利要求6所述的动态学习控制tcp...
【专利技术属性】
技术研发人员：杜文杰，王欣，史婷婷，郭成旺，石国良，李宗垚，孙丽婷，王骥，陈娜，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。