基于深度ESN的多尺度网络流量预测方法技术

基于深度回声状态网络（Echo State Network,ESN）的多尺度网络流量预测方法，首先基于网络流量的多尺度性、非线性和尺度依赖性，构造了基于深度ESN的多尺度网络流量预测模型。其次利用岭回归方法和深度贝叶斯方法训练模型的权重参数。然后使用Q学习算法选择模型的最优尺度层组合。最后使用训练好的基于深度ESN的多尺度网络流量预测模型进行网络流量预测。该方法充分考虑了网络流量的性质，可以有效提高预测精度，并实现在保证预测模型预测精度的同时尽可能降低模型规模，减轻计算代价。价。价。

【技术实现步骤摘要】
基于深度ESN的多尺度网络流量预测方法


[0001]本专利技术属于计算机应用
，具体涉及一种基于深度ESN的多尺度网络流量预测方法。

技术介绍

[0002]网络管理者需要获取及时、准确的网络流量来进行管理决策。准确的网络流量预测能够帮助网络管理者观察网络未来趋势，合理分配网络资源，全面改善服务质量。网络流量作为一种特殊的时间序列，受到多种复杂因素的影响，具有多尺度性、非线性和尺度依赖性。然而传统网络流量预测方法没有充分考虑网络流量复杂性质对预测结果的影响，因而难以获得优秀的预测性能。

技术实现思路

[0003]本专利技术提出了基于深度ESN的多尺度网络流量预测方法，基于Q学习算法训练所提出的模型，具有较高的预测精度，并实现在保证预测模型预测精度的同时尽可能降低模型规模，减轻计算代价。
[0004]基于深度ESN的多尺度网络流量预测方法，包括如下步骤：
[0005]步骤1，构造基于深度ESN的多尺度网络流量预测模型并设置模型的参数；
[0006]步骤2，采集网络流量数据并划分为多尺度网络流量数据，应用多尺度网络流量数据训练步骤1构造的基于深度ESN的多尺度网络流量预测模型的输出权重和集成权重；并应用Q学习算法选择基于深度ESN的多尺度网络流量预测模型的最优尺度层组合；
[0007]步骤3，采集新的网络流量并使用步骤2中训练的基于深度ESN的多尺度网络流量预测模型预测未来时刻网络流量。
[0008]进一步地，所述步骤1中，构造基于深度ESN的多尺度网络流量预测模型并设置模型参数的具体步骤如下：
[0009]步骤1
‑
1，构造基于深度ESN的多尺度网络流量预测模型，包括M个尺度层和一个集成输出层；每个尺度层为一个尺度预测子模型，每个尺度预测子模型包括一个输入层、H个特征提取储备池、一个融合神经元、一个预测储备池和一个尺度输出层；每个尺度预测子模型提取网络流量特征，并预测未来网络流量，即该尺度的输出；集成输出层集成每个尺度预测子模型的输出；
[0010]步骤1
‑
2，设置每个尺度预测子模型的输入层的神经元个数为K；设置每个特征提取储备池和预测储备池的神经元个数分别为N，并且特征提取储备池和预测储备池的神经元都采用随机稀疏连接；设置每个尺度预测子模型的输出层的神经元数为L；设置集成输出层的神经元数为F；从均匀分布[
‑
λ，λ]中随机初始化第i个尺度预测子模型的输入层到特征提取储备池的连接权重大小为N
×
K，λ为输入缩放因子；从均匀分布[
‑
0.5，0.5]中随机初始化第i个尺度预测子模型的第j个特征提取储备池的连接权重大小为N
×
N；从均
匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的第j
‑
1个特征提取储备池到第j个特征提取储备池的连接权重大小为N
×
N；设置第i个尺度预测子模型的第j个特征提取储备池到融合神经元的融合系数为a
j
，大小为从均匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的融合神经元到预测储备池的连接权重大小为N
×
N；从均匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的预测储备池的权重大小为N
×
N；初始化第i个尺度预测子模型的输出权重为单位矩阵，大小为L
×
N；特征提取储备池的激活函数和预测储备池的激活函数均采用tanh函数；输出激活函数采用恒等函数；从标准正态分布N(0，1)中随机初始化集成权重W
inte
的先验分布p(W
inte
)，大小为F
×
M。
[0011]进一步地，所述步骤2中，采集并按照实际时间划分多尺度网络流量数据，采用岭回归方法训练基于深度ESN的多尺度网络流量模型的输出权重采用深度贝叶斯方法训练基于深度ESN的多尺度网络流量模型的集成权重W
inte
、采用Q学习算法选择基于深度ESN的多尺度网络流量模型的最优尺度层组合，具体步骤如下：
[0012]步骤2
‑
1，采集网络流量数据并构造多尺度网络流量训练集；采集的网络流量序列描述为Tr＝{tr(1)，tr(2)，...，tr(T)}，T为采集的网络流量序列大小；根据实际时间，划分原始网络流量序列为M个尺度，第i个尺度网络流量序列表示为：
[0013]Tr
i
＝{tr
i
(1)，tr
i
(2)，...，tr
i
(t)，...，tr
i
(S
i
)}
[0014]式中，S
i
＝T
‑
Z
i
+1，表示第i个尺度的网络流量序列的大小，Z
i
为第i个尺度的划分粒度；
[0015]根据第i个尺度网络流量序列Tr
i
构造第i个尺度的训练集：D
i
＝{u
i
(t)，y
i
(t+1)}，t＝K，K+1，
…
，T1‑1[0016]式中，T1为S
i
的最小值，i＝1，2，...，M，M为尺度层数；u
i
(t)＝{tr
i
(t
‑
K+1)，tr
i
(t
‑
K+2)，...，tr
i
(t)}，K为滑动窗口，y
i
(t+1)＝tr
i
(t+1)；采集的网络流量序列Tr的尺度作为第一个尺度，有y1(t+1)＝tr1(t+1)＝tr(t+1)；
[0017]步骤2
‑
2，训练第i个尺度预测子模型的输出权重将u
i
(t)输入到第i个尺度预测子模型，根据储备池状态更新公式更新特征提取储备池的状态，将特征提取储备池的状态作为特征，对H个特征进行融合，得到融合特征，并将该融合特征同时输入到第i+1个尺度预测子模型和第i个尺度预测子模型；在训练过程中收集第i个尺度预测子模型的预测储备池的状态，得到状态矩阵X
i
；根据真实网络流量tr
i
(t+1)构造真实输出矩阵Y
i
；采用岭回归方法计算第i个尺度预测子模型的输出权重计算公式如下：
[0018][0019]其中，(X
i
)
T
表示状态矩阵X
i
的转置，β表示正则化系数，设置为0.01，I表示单位矩阵；
[0020]通过遍历i，实现训练所有尺度预测子模型的输出权重；
[0021]步骤2
‑
3，训练集成权重W
inte
；将u
i
(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度ESN的多尺度网络流量预测方法，其特征在于：所述方法包括如下步骤：步骤1，构造基于深度ESN的多尺度网络流量预测模型并设置模型的参数；步骤2，采集网络流量数据并划分为多尺度网络流量数据，应用多尺度网络流量数据训练步骤1构造的基于深度ESN的多尺度网络流量预测模型的输出权重和集成权重；并应用Q学习算法选择基于深度ESN的多尺度网络流量预测模型的最优尺度层组合；步骤3，采集新的网络流量并使用步骤2中训练的基于深度ESN的多尺度网络流量预测模型预测未来时刻网络流量。2.根据权利要求1所述的基于深度ESN的多尺度网络流量预测方法，其特征在于：所述步骤1中，构造基于深度ESN的多尺度网络流量预测模型并设置模型参数的具体步骤如下：步骤1
‑
1，构造基于深度ESN的多尺度网络流量预测模型，包括M个尺度层和一个集成输出层；每个尺度层为一个尺度预测子模型，每个尺度预测子模型包括一个输入层、H个特征提取储备池、一个融合神经元、一个预测储备池和一个尺度输出层；每个尺度预测子模型提取网络流量特征，并预测未来网络流量，即该尺度的输出；集成输出层集成每个尺度预测子模型的输出；步骤1
‑
2，设置每个尺度预测子模型的输入层的神经元个数为K；设置每个特征提取储备池和预测储备池的神经元个数分别为N，并且特征提取储备池和预测储备池的神经元都采用随机稀疏连接；设置每个尺度预测子模型的输出层的神经元数为L；设置集成输出层的神经元数为F；从均匀分布[
‑
λ，λ]中随机初始化第i个尺度预测子模型的输入层到特征提取储备池的连接权重大小为N
×
K，λ为输入缩放因子；从均匀分布[
‑
0.5，0.5]中随机初始化第i个尺度预测子模型的第j个特征提取储备池的连接权重大小为N
×
N；从均匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的第j
‑
1个特征提取储备池到第j个特征提取储备池的连接权重大小为N
×
N；设置第i个尺度预测子模型的第j个特征提取储备池到融合神经元的融合系数为a
j
，大小为从均匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的融合神经元到预测储备池的连接权重大小为N
×
N；从均匀分布[
‑
1，1]中随机初始化第i个尺度预测子模型的预测储备池的权重大小为N
×
N；初始化第i个尺度预测子模型的输出权重为单位矩阵，大小为L
×
N；特征提取储备池的激活函数和预测储备池的激活函数均采用tanh函数；输出激活函数采用恒等函数；从标准正态分布N(0，1)中随机初始化集成权重W
inte
的先验分布p(W
inte
)，大小为F
×
M。3.根据权利要求1所述的基于深度ESN的多尺度网络流量预测方法，其特征在于：所述步骤2中，采集并按照实际时间划分多尺度网络流量数据，采用岭回归方法训练基于深度ESN的多尺度网络流量模型的输出权重采用深度贝叶斯方法训练基于深度ESN的多尺度网络流量模型的集成权重W
inte
、采用Q学习算法选择基于深度ESN的多尺度网络流量模型的最优尺度层组合，具体步骤如下：步骤2
‑
1，采集网络流量数据并构造多尺度网络流量训练集；采集的网络流量序列描述为Tr＝{tr(1)，tr(2)，...，tr(T)}，T为采集的网络流量序列大小；根据实际时间，划分原始网络流量序列为M个尺度，第i个尺度网络流量序列表示为：
Tr
i
＝{tr
i
(1)，tr
i
(2)，...，tr
i
(t)，...，tr
i
(S
i
)}式中，S
i
＝T
‑
Z
i
+1，表示第i个尺度的网络流量序列的大小，Z
i
为第i个尺度的划分粒度；根据第i个尺度网络流量序列Tr
i
构造第i个尺度的训练集：D
i
＝{u
i
(t)，y
i
(t+1)}，t＝K，K+1，...，T1‑
1式中，T1为S
i
的最小值，i＝1，2，...，M，M为尺度层数；u
i
(t)＝{tr
i
(t
‑
K+1)，tr
i
(t
‑
K+2)，...，tr
i
(t)}，K为滑动窗口，y
i
(t+1)＝tr
i
(t+1)；采集的网络流量序列Tr的尺度作为第一个尺度，有y1(t+1)＝tr1(t+1)＝tr(t+1)；步骤2
‑
2，训练第i个尺度预测子模型的输出权重将u
i
(t)输入到第i个尺度预测子模型，根据储备池状态更新公式更新特征提取储备池的状态，将特征提取储备池的状态作为特征，对H个特征进行融合，得到融合特征，并将该融合特征同时输入到第i+1个尺度预测子模型和第i个尺度预测子模型；在训练过程中收集第i个尺度预测子模型的预测储备池的状态，得到状态矩阵X
i
；根据真实网络流量tr
i
(t+1)构造真实输出矩阵Y
i
；采用岭回归方法计算第i个尺度预测子模型的输出权重计算公式如下：其中，(X
i
)
T
表示状态矩阵X
i
的转置，β表示正则化系数，设置为0.01，I表示单位矩阵；通过遍历i，实现训练所有尺度预测子模型的输出权重；步骤2
‑
3，训练集成权重W
inte
；将u
i
(t)再次输入到各个尺度预测子模型，得到各个尺度预测子模型的输出集合y
′
(t+1)＝{y
′1(t+1)，y
′2(t+1)，...，y
′
M
(t+1)}；构造新的训练集D
new
＝(y
′
(t+1)，tr(t+1))，t＝K，K+1，...，T1‑
1；采用深度贝叶斯方法计算W
inte
的近似后验分布，计算过程如下：利用KL散度公式计算W
inte
的后验分布与W
inte
的近似后验分布的差值：其中，q(W
inte
|θ)为近似后验分布，θ为需要计算的近似后验分布的参数；p(W
inte
|D
new
)为W
inte
的后验分布，p(W
inte
)为W
inte
的先验分布；计算无偏估计，y
′
(t+1)表示t+1时刻各个尺度预测子模型输出的集合，表示从近似后验分布q(W
inte
|θ)的取样；训练时使用梯度下降法训练W
inte
的近似后验分布的参数θ，对KL的值求导，更新近似后验分布参数θ，直至θ收敛，得到W
inte
的近似后验分布；然后从近似后验分布q(W
inte
|θ)中取样得到W
inte
，即训练好的集成权重；步骤2
‑
4，原始的基于深度ESN的多尺度网络流量预测模型通过步骤2
‑
2和步骤2
‑
3训练输出权重和集成权重，将训练好输出权重和集成权重的模型记...

【专利技术属性】
技术研发人员：周剑，韩涛涛，李鑫，谢勇，张伯雷，肖甫，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：