一种OD流量的分析方法及分析装置制造方法及图纸

本发明专利技术提供了一种OD流量的分析方法及分析装置，涉及网络技术领域，解决了现有技术中对诸如异常流量、突发流量和测量噪声等表现为随机值的冲击噪声的OD流量的分析效果不理想的问题。一种OD流量的分析方法，周期性采样获取全网OD流量，并将全网OD流量转换成流量矩阵；采用鲁棒主成分分析模型对流量矩阵进行建模，得到流量矩阵的鲁棒主成分分析模型；对流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到鲁棒主成分分析的凸优化模型；采用增广拉格朗日乘子法对鲁棒主成分分析的凸优化模型求解，将流量矩阵分解为低秩矩阵和稀疏矩阵；将得到的低秩矩阵和稀疏矩阵输出。本发明专利技术实施例用于对OD流量的分析。

【技术实现步骤摘要】

本专利技术涉及网络
，尤其涉及一种OD流量的分析方法及分析装置。
技术介绍
随着网络规模的日渐扩大，网络中用到的各种技术，参数的变化也愈发复杂。对于网络运营商而言，需要清楚的了解网络流量如何经过自身的网络，在此基础上才可以对网络进行设计和规划，开展诸如流量工程、网络流量异常检测、拥塞控制等工作。然而许多网络流量分析的工作还仅仅局限于隔离的单链路上，在全网链路上进行全局流量的统计和分析仍具有很强的挑战性。为了能以全网的观点来观察网络流量的特性和流向情况，需要使用起讫点(英文全称：origindestination，简称：OD)流对网络流量进行统计和描述。OD流反应网络中每对节点间的实际流量，是所有进入同一入节点并离开同一出节点的所有流量的集合。与局部的链路流量相比，OD流能够更加直观的反映出网络的基础性质，是全局流量分析的基础，也是流量工程的主要输入参数。因此，对OD流的统计和分析成为国内外网络领域的一个研究热点，具有重要的现实意义。虽然OD流量能够从本质上反映出网络的实际状况，但是对OD流的处理和分析存在着较多难点。最主要的问题在于OD流的高维多元结构。例如，即使一个中等规模的网络都可能包含数百条OD流，而对OD流的分析还需要在时间维度上进行展开，进一步增大了所要分析数据的维数。高维度的信息一方面包含了丰富的信息供挖掘利用，另一方面，大规模的数据量极大的增加了分析和处理这些数据的难度，带来所谓的维度灾难。因此，OD流的高维性质是全网流量分析问题的难点所在。处理高维数据的通常做法是寻找一个低维的交替投影的线性子空间，该子空间保留原数据的重要性质从而对高维数据进行近似逼近。这类降维技术能够较好的发掘高维数据自身的信息冗余和数据间的相关性，成为理解原始数据结构的一种有效工具。处理高维数据最常用的方法是主成分分析PCA(PrincipalComponentAnalysis)，给定一组高维数据，PCA能够寻找一个新的低维子空间，原始数据在该坐标空间的投影具有最小的误差，从而达到降维的目的。当一个高维数据能够通过低维子空间来进行近似逼近时，我们将低维空间的维数称为特征维数。PCA对原始数据中所包含的噪声类型是十分敏感的，当面对加性高斯噪声时，PCA能够取得较好的估计效果，而面对诸如随机值的冲击噪声时，其估计效果将受到很大影响。而在网络环境中，时常会出现短时异常流量、突发流量及网络异常情况，即表现为随机值的冲击噪声，此时再利用PCA对OD流进行降维和分析效果很不理想。综上所述，现有技术中存在对诸如异常流量、突发流量和测量噪声等表现为随机值的冲击噪声的OD流量的分析效果不理想的问题。
技术实现思路
本专利技术的实施例提供一种OD流量的分析方法及分析装置，解决了现有技术中在对诸如异常流量、突发流量和测量噪声等表现为随机值的冲击噪声的OD流量的分析效果不理想的问题。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面、本专利技术实施例提供一种OD流量的分析方法，包括：周期性采样获取全网OD流量，并将全网OD流量转换成流量矩阵；采用鲁棒主成分分析模型对流量矩阵进行建模，得到流量矩阵的鲁棒主成分分析模型；对流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到鲁棒主成分分析的凸优化模型；采用增广拉格朗日乘子法对鲁棒主成分分析的凸优化模型求解，将流量矩阵分解为低秩矩阵和稀疏矩阵；其中，低秩矩阵为不含有随机值的冲击噪声的OD流量对应的低秩矩阵，代表流量矩阵固有的低秩结构；稀疏矩阵为含有随机值的冲击噪声的OD流量对应的稀疏矩阵；将得到的低秩矩阵和稀疏矩阵输出。具体的，采用鲁棒主成分分析模型对流量矩阵进行建模，得到流量矩阵的鲁棒主成分分析模型包括：采用鲁棒主成分分析模型对流量矩阵进行建模，得到流量矩阵的鲁棒主成分分析模型：minA,Erank(A)+γ||E||0,s.t.D=A+E;]]>其中，为表示对目标矩阵A与矩阵E的最小化，A为低秩矩阵，D为流量矩阵，E为稀疏矩阵，rank(A)表示矩阵A的秩，‖E‖0是矩阵E中非零元素的个数，γ为折中因子并且γ大于0，s.t.为约束条件。具体的，对流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到鲁棒主成分分析的凸优化模型包括：对流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到鲁棒主成分分析的凸优化模型：minA,E||A||*+λ||E||1,s.t.D=A+E;]]>其中，为表示对目标矩阵A与矩阵E的最小化A为低秩矩阵，D为流量矩阵，E为稀疏矩阵，‖A‖*表示矩阵A中所有奇异值之和，‖E‖1是矩阵E中所有元素绝对值之和，λ为松弛因子,s.t.为约束条件。具体的，采用增广拉格朗日乘子法对鲁棒主成分分析的凸优化模型求解，将流量矩阵分解为低秩矩阵和稀疏矩阵，包括：构建凸优化模型的增广拉格朗日函数：‖A‖*表示所述低秩矩阵A中所有奇异值之和，‖E‖1是所述稀疏矩阵E中所有元素绝对值之和，λ为松弛因子，Y是拉格朗日乘子矩阵，为增广拉格朗日函数的惩罚项，D-A-E为约束条件，<Y,D-A-E>为拉格朗日乘子矩阵Y与约束条件D-A-E的内积，μ为一个正的参数，F为矩阵的弗罗贝尼乌斯范数；预先设置一个软阈值收缩算子与一个奇异值软阈值算子，其中软阈值收缩算子为：其中，当x>ε时，Sε(x)等于x-ε；当x<ε时，Sε(x)等于x+ε；当x＝ε时，Sε(x)等于零；奇异值软阈值算子为：Dτ(X)＝USτ(∑)VT式三；其中，X＝U∑VT为矩阵的奇异值分解；利用增广拉格朗日乘子算法进行求解：设置初始参数Y0＝0、E0＝0、μ0大于0、ρ0大于0、k＝0；其中，Y0指的是拉格朗日乘子矩阵、E0指的是稀疏矩阵、k为迭代次数且k为大于或等于0的整数、μ0是收缩因子的初始值，ρ是一个大于1的参数，用于更新收缩因子μ；利用式四进行奇异值分解；其中，svd表示奇异值分解；这里是将初始化的参数k＝0、Y0＝0、E0＝0、μ0、ρ带入式四中，通过奇异值分解，得到矩阵U，矩阵S和矩阵V；利用式五求解Ak+1；其中，将k＝0带入式五中，并将式四中得到的矩阵S带入式三中的奇异值软阈值算子，求得A1；利用式六求解Ek+1；其中，将k＝0带入式六中，并将式五中得到的矩阵A1带入式二中的软阈值收缩算子，求得E1；利用Yk+1＝Yk+μk(D-Ak+1-Ek+1)式七求解Yk+1；其中，将k＝0带入式七中，根据残差值D-A-E更新拉格朗日乘子矩阵Y，求得Y1；至此完成算法的首次迭代，更新收缩因子，μk+1＝ρμk；并且k＝k+1；通过迭代计算使得增广拉格朗日乘子算法收敛至最优解，获得将流量矩阵分解为低秩矩阵A和稀疏矩阵E。第二方面、本专利技术实施例提供一种OD流量的分析装置，包括：数据获取单元，用于周期性采样获取全网OD流量，并将全网OD流量转换成流量矩阵；建模单元，用于采用鲁棒主成分分析模型对所述数据获取单元转换的流量矩阵进行建模，得到所述流量矩阵的鲁棒主成分分析模型；优化单元，用于对所述建模单元得到的流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到所述鲁棒主成分分析的凸优化模型；求解单元，用于采用非精确的增广拉格朗日乘子法对所述优化单元得到的鲁棒主成分分析的凸优化模型求解，得到所述流量本文档来自技高网...

【技术保护点】
一种OD流量的分析方法，其特征在于：周期性采样获取全网OD流量，并将全网OD流量转换成流量矩阵；采用鲁棒主成分分析模型对所述流量矩阵进行建模，得到所述流量矩阵的鲁棒主成分分析模型；对所述流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到所述鲁棒主成分分析的凸优化模型；采用增广拉格朗日乘子法对所述鲁棒主成分分析的凸优化模型求解，将所述流量矩阵分解为低秩矩阵和稀疏矩阵；其中，所述低秩矩阵不含有随机值的冲击噪声的OD流量，代表流量矩阵固有的低秩结构；所述稀疏矩阵含有随机值的冲击噪声的OD流量；将得到的所述低秩矩阵和所述稀疏矩阵输出。

【技术特征摘要】
1.一种OD流量的分析方法，其特征在于：周期性采样获取全网OD流量，并将全网OD流量转换成流量矩阵；采用鲁棒主成分分析模型对所述流量矩阵进行建模，得到所述流量矩阵的鲁棒主成分分析模型；对所述流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到所述鲁棒主成分分析的凸优化模型；采用增广拉格朗日乘子法对所述鲁棒主成分分析的凸优化模型求解，将所述流量矩阵分解为低秩矩阵和稀疏矩阵；其中，所述低秩矩阵不含有随机值的冲击噪声的OD流量，代表流量矩阵固有的低秩结构；所述稀疏矩阵含有随机值的冲击噪声的OD流量；将得到的所述低秩矩阵和所述稀疏矩阵输出。2.根据权利要求1所述的分析方法，其特征在于，所述采用鲁棒主成分分析模型对所述流量矩阵进行建模，得到所述流量矩阵的鲁棒主成分分析模型包括：采用鲁棒主成分分析模型对所述流量矩阵进行建模，得到所述流量矩阵的鲁棒主成分分析模型：minA,Erank(A)+γ||E||0,s.t.D=A+E;]]>其中，为表示对目标矩阵A与矩阵E的最小化，A为所述低秩矩阵，D为所述流量矩阵，E为所述稀疏矩阵，rank(A)表示所述矩阵A的秩，‖E‖0是所述矩阵E中非零元素的个数，γ为折中因子并且γ大于0，s.t.为约束条件。3.根据权利要求1所述的分析方法，其特征在于，所述对所述流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到所述鲁棒主成分分析的凸优化模型包括：对所述流量矩阵的鲁棒主成分分析模型进行凸优化松弛，得到所述鲁棒主成分分析的凸优化模型：minA,E||A||*+λ||E||1,s.t.D=A+E;]]>其中，为表示对目标矩阵A与矩阵E的最小化，A为所述低秩矩阵，D为所述流量矩阵，E为所述稀疏矩阵，‖A‖*表示所述矩阵A中所有奇异值之和，‖E‖1是所述矩阵E中所有元素绝对值之和，λ为松弛因子，s.t.为约束条件。4.根据权利要求1所述的分析方法，其特征在于，所述采用增广拉格朗日乘子法对所述鲁棒主成分分析的凸优化模型求解，将所述流量矩阵分解为低秩矩阵和稀疏矩阵，包括：构建凸优化模型的增广拉格朗日函数：‖A‖*表示所述低秩矩阵A中所有奇异值之和，‖E‖1是所述稀疏矩阵E中所有元素绝对值之和，λ为松弛因子，Y是拉格朗日乘子矩阵，为增广拉格朗日函数的惩罚项，D-A-E为约束条件，<Y,D-A-E>为拉格朗日乘子矩阵Y与约束条件D-A-E的内积，μ为一个正的参数，F为矩阵的弗罗贝尼乌斯范数；预先设置一个软阈值收缩算子与一个奇异值软阈值算子，其中软阈值收缩算子为：其中，当x>ε时，Sε(x)等于x-ε；当x<ε时，Sε(x)等于x+ε；当x＝ε时，Sε(x)等于零；奇异值软阈值算子为：Dτ(X)＝USτ(∑)VT式三；其中，X＝U∑VT为矩阵的奇异值分解；利用增广拉格朗日乘子算法进行求解：设置初始参数Y0＝0、E0＝0、μ0大于0、ρ0大于0、k＝0；其中，Y0指的是拉格朗日乘子矩阵、E0指的是稀疏矩阵、k为迭代次数且k为大于或等于0的整数、μ0是收缩因子的初始值，ρ是一个大于1的参数，用于更新收缩因子μ；利用式四进行奇异值分解；其中，svd表示奇异值分解；这里是将初始化的参数k＝0、Y0＝0、E0＝0、μ0、ρ带入式四中，通过奇异值分解，得到矩阵U，矩阵S和矩阵V；利用式五求解Ak+1；其中，将k＝0带入式五中，并将式四中得到的矩阵S带入式三中的奇异值软阈值算子，求得A1；利用式六求解Ek+1；其中，将k＝0带入式六中，并将式五中得到的矩阵A1带入式二中的软阈值收缩算子，求得E1；利用Yk+1＝Yk+μk(D-Ak+1-Ek+1)式七求解Yk+1；其中，将k＝0带入式七中，根据残差值D-A-E更新拉格朗日乘子矩阵Y，求得Y1；至此完成算法的首次迭代，更新收缩因子，μk+1＝ρμk；并且k＝k+1；通过迭代计算使得增广拉格朗日乘子算法收敛至最优解...

【专利技术属性】
技术研发人员：徐博华，杨艳松，王泽林，郭晓琳，马田丰，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11