一种芯粒间通信动态带宽调整方法及系统技术方案

本发明专利技术公开了一种芯粒间通信动态带宽调整方法及系统，涉及芯粒带宽调整通信领域，包括步骤：

【技术实现步骤摘要】
一种芯粒间通信动态带宽调整方法及系统


[0001]本专利技术涉及芯粒带宽调整通信领域，具体涉及一种芯粒间通信动态带宽调整方法及系统
。

技术介绍

[0002]由于通信环境的复杂多变性以及多芯粒结构内部通信复杂性，如何根据实时的数据传输需求动态调整各个芯粒的通信带宽成为了一个亟待解决的技术难题
。
传统的带宽调整方法通常基于预先设定的规则或策略，例如静态的带宽分配或按需分配，这些方法往往不能很好地适应动态变化的通信需求和复杂的通信环境
。
同时，在实际的通信过程中，由于芯粒间存在着复杂的依赖关系，单一的调整某一芯粒的带宽可能会影响到其他芯粒的通信效果
。
因此，如何在保证整体通信质量的前提下，智能化地实现芯粒间带宽的动态调整，也是目前研究的一个重要方向
。
[0003]但目前通信带宽调整仍然是一个挑战
。
首先，通信网络的状态可能包括大量的参数，如数据传输量
、
通信模式
、
数据流量
、
延迟和工作负载等，这使得状态空间非常大
。
其次，如何为每个芯粒合理地计算奖励值也是一个需要解决的问题
。
最后，由于通信网络的动态性和复杂性，如何有效地训练和更新
PPO
模型也是一个重要的问题
。
[0004]综上所述，如何利用
PPO
算法有效地进行通信的动态带宽调整，仍然是一个亟待解决的问题
。

技术实现思路

[0005]针对现有技术中提到的上述问题，为解决上述技术问题，本专利技术提供了一种芯粒间通信动态带宽调整方法及系统，该方法采用改进的强化学习
PPO
算法模型进行芯粒间带宽
、
通信协议的动态调整，卷积神经网络模型输出概率分布，选择概率最大的配置策略为每个芯粒分配带宽
、
选择通信协议，同时使用梯度下降算法对神经网络模型中的参数进行更新，以最小化
PPO
损失函数，实现了芯粒通信动态带宽
、
协议的动态调整
。
[0006]一种芯粒间通信动态带宽调整方法，包括步骤：
S1
：系统启动初始化通信模块，并设置芯粒默认带宽
、
通信协议；
S2
：实时采集
N
个芯粒的数据传输量
、
通信模式
、
延迟
、
工作负载
、
通信协议，形成矩阵向量；
S3
：采用改进的强化学习
PPO
算法模型进行芯粒间带宽
、
通信协议的动态调整；具体包括：
S31
：将矩阵向量输入至卷积神经网络模型，卷积神经网络模型根据当前的参数输出芯粒分配带宽
、
通信协议选择的概率分布；为神经网络可训练参数组成的向量；
S32
：根据输出的概率分布，选择概率最大的配置策略为每个芯粒分配带宽
、
选择通信协议：
S33
：根据为每个芯粒分配的带宽和预期芯粒带宽计算奖励值，差异越小则奖励值越高；；其中，表示实际的传输速率对应第
i
个芯粒的带宽，表示第
i
个芯粒的预期带宽；将芯粒矩阵向量和对应的奖励值存储到经验回放缓冲区，
N 代表芯粒的数量，
D 代表每个芯粒的特征数量；
S34
：在经验回放缓冲区中随机抽取经验样本计算
PPO
算法损失函数：；是将芯粒矩阵向量输入至更新前的神经网络与输入至当前神经网络后输出的最大概率之比，是优势函数，是设定的超参数在
0.1
到
0.3
之间，为求解期望值，为裁剪函数，确保在，区间内；
t
表示时间步；
S35
：使用梯度下降算法对神经网络模型中的参数进行更新，以最小化
PPO
损失函数；
S4
：重复
S2
‑
S34
步骤，不断扩大经验回放缓冲区数据量并更新神经网络直到满足停止条件或达到指定迭代次数
。
[0007]优选地，所述芯粒芯粒支持通信协议包括
InfiniBand、Ethernet、Fibre Channel、OTN。
[0008]优选地，所述为裁剪函数，为：当的值大于时，则将取值区间的边界值；当的值小于时，则将取值区间的边界值
。
[0009]优选地，所述是优势函数，
。
[0010]优选地，所述
S35
：使用梯度下降算法对神经网络模型中的参数进行更新，以最小化
PPO
损失函数包括：步骤
S351
：使用反向传播计算
PPO
损失函数关于每个网络参数的梯度；步骤
S352
：根据所计算的梯度和预设的学习率，对每个网络参数进行更新；步骤
S353
：重复上述步骤，直到
PPO
损失函数值收敛或满足其他预定的停止条件；所述神经网络模型中的参数包括：全连接层
、
卷积层
、
循环层中的权重以及每个神经元或卷积核对应的偏置参数
。
[0011]本申请还提供一种芯粒间通信动态带宽调整系统，包括：初始化通信模块，系统启动并设置芯粒默认带宽
、
通信协议；信息采集模块，实时采集
N
个芯粒的数据传输量
、
通信模式
、
延迟
、
工作负载
、
通信协议，形成矩阵向量；动态调制模块，采用改进的强化学习
PPO
算法模型进行芯粒间带宽
、
通信协议的动态调整；卷积神经网络预测模块，将矩阵向量输入至卷积神经网络模型，卷积神经网络模型根据当前的参数输出芯粒分配带宽
、
通信协议选择的概率分布；为卷积神经网络可训
练参数组成的向量；调节选择模块，根据输出的概率分布，选择概率最大的配置策略为每个芯粒分配带宽
、
选择通信协议：奖励值计算模块，根据为每个芯粒分配的带宽和预期芯粒带宽计算奖励值，差异越小则奖励值越高； ；其中，表示实际的传输速率对应第
i
个芯粒的带宽，表示第
i
个芯粒的预期带宽；将芯粒矩阵向量和对应的奖励值存储到经验回放缓冲区；损失函数计算模块，在经验回放缓冲区中随机抽取经验样本计算
PPO
算法损失函数：；是将芯粒矩阵向量输入至更新前的神经网络与输入至当前神经网络后输出的最大概率之比，是优势函数，是设定的超参数在
0.1
到
0.3
之间，为求解期望值，为裁剪函数，确保在，区间内；
t...

【技术保护点】

【技术特征摘要】
1.
一种芯粒间通信动态带宽调整方法，其特征在于，包括步骤：
S1
：系统启动初始化通信模块，并设置芯粒默认带宽
、
通信协议；
S2
：实时采集
N
个芯粒的数据传输量
、
通信模式
、
延迟
、
工作负载
、
通信协议，形成矩阵向量；
S3
：采用改进的强化学习
PPO
算法模型进行芯粒间带宽
、
通信协议的动态调整；具体包括：
S31
：将矩阵向量输入至卷积神经网络模型，卷积神经网络模型根据当前的参数输出芯粒分配带宽
、
通信协议选择的概率分布；为神经网络可训练参数组成的向量；
S32
：根据输出的概率分布，选择概率最大的配置策略为每个芯粒分配带宽
、
选择通信协议：
S33
：根据为每个芯粒分配的带宽和预期芯粒带宽计算奖励值，差异越小则奖励值越高；；其中，表示实际的传输速率对应第
i
个芯粒的带宽，表示第
i
个芯粒的预期带宽；将芯粒矩阵向量和对应的奖励值存储到经验回放缓冲区，
N 代表芯粒的数量，
D 代表每个芯粒的特征数量；
S34
：在经验回放缓冲区中随机抽取经验样本计算
PPO
算法损失函数：；是将芯粒矩阵向量输入至更新前的神经网络与输入至当前神经网络后输出的最大概率之比，是优势函数，是设定的超参数在
0.1
到
0.3
之间，为求解期望值，为裁剪函数，确保在区间内；
t
表示时间步；
S35
：使用梯度下降算法对神经网络模型中的参数进行更新，以最小化
PPO
损失函数；
S4
：重复所述
S2
‑
S35
，不断扩大经验回放缓冲区数据量并更新神经网络直到满足停止条件或达到指定迭代次数
。2.
如权利要求1所述的一种芯粒间通信动态带宽调整方法，其特征在于，所述芯粒支持通信协议包括
InfiniBand、Ethernet、Fibre Channel、OTN 。3.
如权利要求1所述的一种芯粒间通信动态带宽调整方法，其特征在于，所述为裁剪函数，为：当的值大于时，则将取值区间的边界值；当的值小于时，则将取值区间的边界值
。4.
如权利要求1所述的一种芯粒间通信动态带宽调整方法，其特征在于，所述是优势函数，公式如下：
。5.
如权利要求1所述的一种芯粒间通信动态带宽调整方法，其特征在于，所述
S35
中：使
用梯度下降算法对神经网络模型中的参数进行更新，以最小化
PPO
损失函数，还包括： 步骤
S351
：使用反向传播计算
PPO
损失函数关于每个网络参数的梯度； 步骤
S352
：根据所计算的梯度和预设的学习率，对每个网络参数进行更新； 步骤
S353
：重复上述步骤，直到
PPO
...

【专利技术属性】
技术研发人员：王嘉诚，张少仲，
申请(专利权)人：中诚华隆计算机技术有限公司，
类型：发明
国别省市：