【技术实现步骤摘要】
本专利技术涉及流量预测领域，更具体地，涉及基于transformer和扩散模型的网络业务流量预测方法及系统。
技术介绍
1、网络业务流量是指在一段时间内网络中传输的数据量，通常以比特或字节为单位进行衡量。它反映了网络负载的情况，是衡量网络性能、优化网络设计、保障网络安全以及提高用户体验的关键因素。随着互联网应用的广泛普及，网络流量呈指数级增长，网络规模不断扩大，网络架构日益复杂。这种趋势使得网络管理和优化面临巨大的挑战。为了更好地满足用户需求，提高网络性能，防止网络拥堵和崩溃，需要对未来的网络流量进行准确的预测。传统的流量预测方法通常为支持向量机和k-mean聚类。但网络业务流量数据通常随着时间的推移呈现出一定的依赖关系，这些传统方法却难以有效地处理流量数据中时间序列间长期的依赖关系。从而影响最终的预测结果。
2、现有技术公开一种基于transformer模型的流量预测方法，该方法不需要循环结构的设计来处理时间序列，而是通过自注意力层来捕获时间序列间长期的依赖关系。然而该方法通常只利用了数据中的单个模态的数据，使得模型的预测性能还不够高。以及在面对小样本数据时，无法训练出高效且准确的预测模型。
技术实现思路
1、本专利技术的目的在于公开一种预测效果更好的基于transformer和扩散模型的网络业务流量预测方法及系统。
2、为了实现上述目的，本专利技术提供基于transformer和扩散模型的网络业务流量预测方法，包括：
3、s1：获取输入数据，
4、s2：对真实数据集进行相关性分析，得到相关系数值；
5、s3：将真实数据集通过扩散模型，得到对应高斯噪声数据集；随机生成随机高斯噪声数据集，根据随机高斯噪声数据集以及对应高斯噪声数据集得到生成数据集；根据真实数据集和生成数据集得到的融合数据集；
6、s4：根据相关系数值，对融合数据集内的数据进行分组，得到相关性编码矩阵；
7、s5：构建多模态transformer模型；
8、s6：将融合数据集以及相关性编码矩阵输入到多模态transformer模型，得到多个特征；
9、s7：将多个特征融合得到融合特征，根据融合特征，得到网络业务流量的预测结果。
10、进一步地，在步骤s1中，输入数据为d＝{x1,x2,…,xt,…,xt}，其中t表示数据采样的最大时间跨度，通过min-max方法对输入数据进行归一化处理得到真实数据集，真数据集为d′＝{x′1,x′2,…,x′t,…,x′t}，其中
11、进一步地，在步骤s2中，包括：利用pearson相关系数分析法，对真实数据集进行相关性分析，通过下列公式得到相关系数值：
12、
13、其中，表示变量i和变量j在第t个采样时刻的观测值，表示变量i和j所有观测值的平均值；
14、其中所有相关系数值的范围在[-1,1]之间，0表示线性无关，正数表示正相关，负数表示负相关。
15、进一步地，在步骤s3中，将真实数据集通过扩散模型，得到对应高斯噪声数据集包括：根据马尔科夫链扩散过程，对真实数据集中的每一条样本数据进行扩散，扩散过程记为q(x′t(i)|x′t(i-1))，其中x′t表示样本数据，i为随机变量，在扩散过程中每一步通过向x′t(i-1)添加高斯噪声得到x′t(i)，前向过程共有n步，通过下列公式得到对应高斯噪声数据集；
16、
17、其中，x′t(n)表示经过n步得到的随机高斯噪声数据。
18、进一步地，在步骤s3中，随机生成随机高斯噪声数据集，根据随机高斯噪声数据集以及对应高斯噪声数据集得到生成数据集包括：将(x′t(i),x′t(i+1))作为输入进行模型训练，通过拟合每一步中的噪声，得到扩散模型中可以预测噪声的encoder；随机生成随机高斯噪声数据集，随机高斯噪声数据集为并对随机高斯噪声数据集执行逆扩散，逆扩散过程记为q(gt(i-1)|gt(i))，表示在逆扩散过程中每一步将数据点gt(i)去除由除由encoder预测的随机噪声得到gt(i-1)，最终得到生成数据集，生成数据集为
19、进一步地，在步骤s4中，包括：根据相关系数值，对融合数据集中的样本数据进行分组，将彼此间相关性强的样本数据归为一组，接着对组内的变量逐一编号得到相关性编码矩阵，每条样本数据包含两个编码值，第一个值表示记录序号，第二个编码值表示组编号。
20、进一步地，在步骤s5中，多模态transformer模型包括三部分transformer网络，分别为transformer1、transformer2和transformer3。
21、进一步地，在步骤s6中，包括：将融合数据集输入到transformer1学习得到时间模态特征；将分组后数据集进行傅里叶转换得到频域数据集，将频域数据集输入到transformer2学习得到频域模态特征；将相关性编码矩阵输入到transformer3学习得到相关性模态特征。
22、进一步地，transformer1、transformer2和transformer3采用相同结构，均包含编码模块和解码模块，编码模块由六个相同的encoder堆叠构成，解码模块由六个相同的decoder堆叠构成；
23、每个encoder包含两个子结构：多头注意力机制子结构和前馈神经网络子结构，多头注意力机制子结构基于输入序列通过多重线性转换映射成q，k和v矩阵，然后，通过矩阵点积计算得到单层attention的输出，如下列公式：
24、
25、最后，拼接多重attention结果得到多头注意力机制子结构的输出mha，如下列公式所示：
26、mha(q,k,v)＝concat(h1,h2,…,hh),
27、where hi＝attention(qi,ki,vi)
28、其中，softmax表示激活函数，dk表示向量k的维度，concat(·)表示连接操作，h表示多头注意力层的头数；
29、前馈神经网络子结构是一个全连接层，包含两个线性转换，以relu函数为激活函数，通过下列公式得到其输出结果；
30、ffn(mha)＝max(0,mha*w1+b1)*w2+b2
31、其中，w1和w2表示权重参数，b1和b2表示偏置项；
32、每个子结构之间都采用了残差连接结构，并通过层归一化来规范输出，如下列公式所示：
33、o＝layernorm(x+sublayer(x))
34、其中，layernorm表示层归一化，sublayer(·)表示子结构的计算结果，x表示当前子结构的输入；
35、decoder结构包含三个子结构：多头注意力子结构、decoder-encoder注意力子结构和前馈神经网络子本文档来自技高网...
【技术保护点】
1.基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S1中，输入数据为D＝{x1,x2,…,xt,…,xT}，其中T表示数据采样的最大时间跨度，通过min-max方法对输入数据进行归一化处理得到真实数据集，真数据集为D′＝{x′1,x′2,…,x′t,…,x′T}，其中
3.根据权利要求1所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S2中，包括：利用Pearson相关系数分析法，对真实数据集进行相关性分析，通过下列公式得到相关系数值：
4.根据权利要求1所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S3中，将真实数据集通过扩散模型，得到对应高斯噪声数据集包括：根据马尔科夫链扩散过程，对真实数据集中的每一条样本数据进行扩散，扩散过程记为q(x′t(i)|x′t(i-1))，其中x′t表示样本数据，i为随机变量，在扩散过程中每一步通
5.根据权利要求4所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S3中，随机生成随机高斯噪声数据集，根据随机高斯噪声数据集以及对应高斯噪声数据集得到生成数据集包括：将(x′t(i),x′t(i+1))作为输入进行模型训练，通过拟合每一步中的噪声，得到扩散模型中可以预测噪声的Encoder；随机生成随机高斯噪声数据集，随机高斯噪声数据集为并对随机高斯噪声数据集执行逆扩散，逆扩散过程记为q(gt(i-1)|gt(i))，表示在逆扩散过程中每一步将数据点gt(i)去除由除由Encoder预测的随机噪声得到gt(i-1)，最终得到生成数据集，生成数据集为
6.根据权利要求1所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S4中，包括：根据相关系数值，对融合数据集中的样本数据进行分组，将彼此间相关性强的样本数据归为一组，接着对组内的变量逐一编号得到相关性编码矩阵，每条样本数据包含两个编码值，第一个值表示记录序号，第二个编码值表示组编号。
7.根据权利要求1所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S5中，多模态Transformer模型包括三部分Transformer网络，分别为Transformer1、Transformer2和Transformer3。
8.根据权利要求7所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤S6中，包括：将融合数据集输入到Transformer1学习得到时间模态特征；将分组后数据集进行傅里叶转换得到频域数据集，将频域数据集输入到Transformer2学习得到频域模态特征；将相关性编码矩阵输入到Transformer3学习得到相关性模态特征。
9.根据权利要求7所述的基于Transformer和扩散模型的网络业务流量预测方法，其特征在于，Transformer1、Transformer2和Transformer3采用相同结构，均包含编码模块和解码模块，编码模块由六个相同的Encoder堆叠构成，解码模块由六个相同的Decoder堆叠构成；
10.基于Transformer和扩散模型的网络业务流量预测方法系统，其特征在于，包括：
...【技术特征摘要】
1.基于transformer和扩散模型的网络业务流量预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤s1中，输入数据为d＝{x1,x2,…,xt,…,xt}，其中t表示数据采样的最大时间跨度，通过min-max方法对输入数据进行归一化处理得到真实数据集，真数据集为d′＝{x′1,x′2,…,x′t,…,x′t}，其中
3.根据权利要求1所述的基于transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤s2中，包括：利用pearson相关系数分析法，对真实数据集进行相关性分析，通过下列公式得到相关系数值：
4.根据权利要求1所述的基于transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤s3中，将真实数据集通过扩散模型，得到对应高斯噪声数据集包括：根据马尔科夫链扩散过程，对真实数据集中的每一条样本数据进行扩散，扩散过程记为q(x′t(i)|x′t(i-1))，其中x′t表示样本数据，i为随机变量，在扩散过程中每一步通过向x′t(i-1)添加高斯噪声得到x′t(i)，前向过程共有n步，通过下列公式得到对应高斯噪声数据集；
5.根据权利要求4所述的基于transformer和扩散模型的网络业务流量预测方法，其特征在于，在步骤s3中，随机生成随机高斯噪声数据集，根据随机高斯噪声数据集以及对应高斯噪声数据集得到生成数据集包括：将(x′t(i),x′t(i+1))作为输入进行模型训练，通过拟合每一步中的噪声，得到扩散模型中可以预测噪声的encoder；随机生成随机高斯噪声数据集，随机高斯噪声数据集为并对随机高斯噪声数据集执行逆扩散，逆扩散过程记为q(gt(i-1...
【专利技术属性】
技术研发人员：郭水平，郑墨泓，倪庆千，
申请(专利权)人：中国电子科技集团公司第七研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。