一种基于深度学习和跨域协作的负载均衡方法及装置制造方法及图纸

本发明专利技术属于计算机网络领域，具体涉及一种基于深度学习和跨域协作的负载均衡方法及装置，包括：获取流表参数和端口参数计算各链路带宽占用率；根据参数构建各链路的特征向量矩阵和邻接矩阵；构建关联时空的链路负载状态预测模型，根据特征向量矩阵和邻接矩阵预测下一周期的当前链路负载状态值；将当前链路负载状态值与对应链路带宽占用率融合，得到当前链路的最终可选度；结合各个链路的最终可选度建立流量调度数学模型，采用改进人工蜂群算法来计算流量的传输路径并下发流表到各交换机；构建控制平面资源管理模块控制流量跨域实现负载均衡；本发明专利技术通过跨域协作方式降低控制平面资源消耗，提高数据平面传输性能，达到网络整体的负载均衡。的负载均衡。的负载均衡。

【技术实现步骤摘要】
一种基于深度学习和跨域协作的负载均衡方法及装置


[0001]本专利技术属于计算机网络领域，具体涉及一种基于深度学习和跨域协作的负载均衡方法及装置。

技术介绍

[0002]当今数据中心网络的带宽需求日益提升，为了应对需求数据中心开始横向扩展，但硬件资源堆叠到一定程度后获取的收益并不理想，数据中心网络依然会出现传输时延增大、丢包率增大，链路出现拥塞等问题，因此数据中心的网络资源如何实现合理的分配是当前面临的一大挑战。
[0003]目前数据中心网络负载均衡的主要研究方法有：(1)传统式的负载均衡算法包括轮询算法、贪婪算法、哈希算法。采用较多的是基于哈希算法的等价多路径方案。它部署简单，可以在一定程度实现网络的负载均衡。但是随着网络的带宽增大，业务多变性增加，它可能产生哈希冲突，无法实现数据中心网络负载最优。(2)基于端的负载均衡方案，在终端中添加相应的硬件或者安装软件用于获取出入站的流量，用于平衡路径的利用率。但是由于是位于终端的测量，将无法获取网络链路准确的拥塞情况。(3)基于交换机的负载均衡方案，交换机在路由协议的规则下，为每个流随机的选择输出端口，每个流能够根据其路径上实时负载状况来自适应的改变传输包的粒度大小，在拥塞路径上流被切分的概率更大，在空闲路径上被切分的概率更小。这样可以实现持续的、高效的传输，也可以实现粒度的弹性调整，提高空闲链路的利用率。(4)集中式的复杂均衡方案，Hedera是采用集中式、动态的流量管理方案。它将超过链路带宽的10％的流量定义为大流。通过集中的控制器来采集边缘交换机的流量信息，进而计算整个网络的负载状况，再利用估计算法实现网络大流的检测，对检测到的大流进行评估，然后求出此流的最优转发路径。但没有考虑到从测量到下发流表的时滞性，最终得到的路由方案并不能是当前时刻的最优解。

技术实现思路

[0004]由于数据中心网络流量特有的高动态性,使得对网络拥塞的感知具有时滞性,即当前感知到的拥塞信息为过时的状态。而控制平面的资源消耗主要来自于流量流表请求，在分布式控制器的情况下，跨域流会产生冗余的请求消息。为在保障数据平面负载均衡的同时，兼顾控制平面的资源消耗，针对以上网络特点和存在的问题，本专利技术提供了一种基于深度学习和跨域协作的负载均衡方法及装置，实现网络负载均衡。
[0005]一种基于深度学习和跨域协作的负载均衡方法，包括以下步骤：
[0006]S1.获取数据中心网络数据层的流表参数和端口参数，并计算各链路带宽占用率；
[0007]S2.根据流表参数和端口参数，构建数据中心网络链路的特征向量矩阵和邻接矩阵；
[0008]S3.构建关联时空的链路负载状态预测模型，将特征向量矩阵和归一化的邻接矩阵作为输入预测下一周期的当前链路负载状态值；
[0009]S4.将步骤S3预测的当前链路负载状态值与步骤S1得到的对应链路带宽占用率融合，得到当前链路的最终可选度；
[0010]S5.结合步骤S4中得到的各个链路的最终可选度建立流量调度数学模型，流量调度数学模型采用改进人工蜂群算法来计算流量的传输路径并下发流表到各交换机；
[0011]S6.构建控制平面资源管理模块，通过控制平面资源管理模块控制流量跨域实现负载均衡。
[0012]进一步的，关联时空的链路负载状态预测模型包括两个图卷积层和一个循环层，通过该模型预测下一周期的当前链路负载状态值，包括：
[0013]S11.将特征向量矩阵和归一化的邻接矩阵输入第一图卷积层，第一图卷积层的输出输入第二图卷积层得到输出特征，其表示为：
[0014][0015]S12.将第二图卷积层的输出特征送入循环层得到结果矩阵，其表示为Z＝[z
11
,...,z
ij
]T
，行向量表示链路l
ij
的五种概率，为链路l
ij
的链路空闲概率，为链路l
ij
的正常负载概率，为链路l
ij
的可能拥塞概率，链路l
ij
的一般拥塞概率，为链路l
ij
的重度拥塞概率；
[0016]S13.选取链路l
ij
五种概率中的最大概率，将最大概率对应的链路状态值作为下一周期的当前链路负载状态值；
[0017]其中，ξ～Benoulli(p)表示伯努利分布作为Dropout中间层表达式，H2表示第二图卷积层的输出特征,W0、W1分别表示第一图卷积层的线性变换矩阵和第二图卷积层的线性变换矩阵,表示归一化的邻接矩阵，E表示特征向量矩阵，ReLu表示激活函数。
[0018]进一步的，循环层包括两层堆叠的LSTM结构，在两层堆叠的LSTM结构之间应用Dropout进行正则化，循环层得到结果矩阵的过程为：
[0019]将图卷积层的输出特征按时间顺序分段后输入到第一层堆叠的LSTM结构，根据分段的输出特征计算初始重要度值表示为：
[0020][0021]将初始重要度值经过softmax处理得到时间重要度表示为：
[0022][0023]将时间重要度与分段的输出特征相乘得到图卷积层历史输出的重要度c
t'
：
[0024][0025]将第一层堆叠的LSTM结构得到的图卷积层历史输出的重要度c
t'
输入到第二层堆叠的LSTM结构进行计算，得到结果矩阵；
[0026]其中，U
d
、W
d
是需要学习的参数，d
t'
‑1、s'
t'
‑1在第一层堆叠的LSTM结构中采用
初始值，第二层堆叠的LSTM结构中采用第一层堆叠的LSTM结构的输出值和隐藏状态。
[0027]进一步的，链路的最终可选度表示为：
[0028]q
ij
(t+T)＝μS
ij
(t+T)+(1
‑
μ)S
ij
(t)+αT
ij
(t)+βι
ij
(t)；
[0029][0030]其中，S
ij
(t+T)为链路l
ij
在t+T时刻的预测状态值，S
ij
(t)为链路l
ij
在t时刻的测量状态值，T
ij
(t)为链路l
ij
在t时刻的时延，ι
ij
(t)为链路l
ij
在t时刻的丢包率，max(p
ij
)和min(p
ij
)分别表示链路l
ij
的最大带宽占有率和最小带宽占用率，μ表示链路预测状态值的权重，α表示传输时延的权重，β表示网络丢包率的权重。
[0031]进一步的，改进人工蜂群算法实现步骤包括：
[0032]S21.在D维空间，给定蜜蜂总数S，蜜源最大开采次数gen
max
，观察蜂数量size
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和跨域协作的负载均衡方法，其特征在于，包括以下步骤：S1.获取数据中心网络数据层的流表参数和端口参数，并计算各链路带宽占用率；S2.根据流表参数和端口参数，构建数据中心网络链路的特征向量矩阵和邻接矩阵；S3.构建关联时空的链路负载状态预测模型，将特征向量矩阵和归一化的邻接矩阵作为输入预测下一周期的当前链路负载状态值；S4.将步骤S3预测的当前链路负载状态值与步骤S1得到的对应链路带宽占用率融合，得到当前链路的最终可选度；S5.结合步骤S4中得到的各个链路的最终可选度建立流量调度数学模型，流量调度数学模型采用改进人工蜂群算法来计算流量的传输路径并下发流表到各交换机；S6.构建控制平面资源管理模块，通过控制平面资源管理模块控制流量跨域实现负载均衡。2.根据权利要求1所述的一种基于深度学习和跨域协作的负载均衡方法，其特征在于，关联时空的链路负载状态预测模型包括两个图卷积层和一个循环层，通过该模型预测下一周期的当前链路负载状态值，包括：S11.将特征向量矩阵和归一化的邻接矩阵输入第一图卷积层，第一图卷积层的输出输入第二图卷积层得到输出特征，其表示为：S12.将第二图卷积层的输出特征送入循环层得到结果矩阵，其表示为Z＝[z
11
,...,z
ij
]
T
，行向量表示链路l
ij
的五种概率，为链路l
ij
的链路空闲概率，为链路l
ij
的正常负载概率，为链路l
ij
的可能拥塞概率，链路l
ij
的一般拥塞概率，为链路l
ij
的重度拥塞概率；S13.选取链路l
ij
五种概率中的最大概率，将最大概率对应的链路状态值作为下一周期的当前链路负载状态值；其中，ξ～Benoulli(p)表示伯努利分布作为Dropout中间层表达式，H2表示第二图卷积层的输出特征,W0、W1分别表示第一图卷积层的线性变换矩阵和第二图卷积层的线性变换矩阵,表示归一化的邻接矩阵，E表示特征向量矩阵，ReLu表示激活函数。3.根据权利要求2所述的一种基于深度学习和跨域协作的负载均衡方法，其特征在于，循环层包括两层堆叠的LSTM结构，在两层堆叠的LSTM结构之间应用Dropout进行正则化，循环层得到结果矩阵的过程为：将图卷积层的输出特征按时间顺序进行分段后输入到第一层堆叠的LSTM结构，根据分段的输出特征计算初始重要度值表示为：将初始重要度值经过softmax处理得到时间重要度表示为：将时间重要度与分段的输出特征相乘得到图卷积层历史输出的重要度c
t'
：
将第一层堆叠的LSTM结构得到的图卷积层历史输出的重要度c
t'
输入到第二层堆叠的LSTM结构进行计算，得到结果矩阵；其中，U
d
、W
d
是需要学习的参数，d
t'
‑1、s'
t'
‑1在第一层堆叠的LSTM结构中采用初始值，第二层堆叠的LSTM结构中采用第一层堆叠的LSTM结构的输出值和隐藏状态。4.根据权利要求1所述的一种基于深度学习和跨域协作的负载均衡方法，其特征在于，链路的最终可选度表示为：q
ij
(t+T)＝μS
ij
(t+T)+(1
‑
μ)S
ij
(t)+αT
ij
(t)+βι
ij
(t)；其中，S
ij
(t+T)为链路l
ij
在t+T时刻的预测状态值，S
ij
(t)为链路l
ij
在t时刻的测量状态值，T
ij
(t)为链路l
ij
在t时刻的时延，ι
ij
(t)为链路l
ij
在t时刻的丢包率，max(p
ij
)和min(p
ij
)分别表示链路l
ij
的最大带宽占有率和最小带宽占用率，μ表示链路预测状态值的权重，α表示传输时延的权重，β表示网络丢包率的权重。5.根据...

【专利技术属性】
技术研发人员：尚凤军，蒋延国，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：