基于多维度分析的云网络共享资源异常根因定位方法技术

本申请提出了一种基于多维度分析的云网络共享资源异常根因定位方法，涉及云网络流量异常根因定位技术领域，其中，该方法包括：根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；对三个维度计算结果进行整合，得到根因列表。采用上述方案的本申请提出基于多维度分析的通用云网络共享资源异常根因定位框架，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。通用的异常定位。通用的异常定位。

【技术实现步骤摘要】
基于多维度分析的云网络共享资源异常根因定位方法


[0001]本申请涉及云网络流量异常根因定位
，尤其涉及一种基于多维度分析的云网络共享资源异常根因定位方法和装置。

技术介绍

[0002]随着云技术的不断发展，目前大量的企业与个人用户选择将业务放在云网络中。随着云网络规模的不断扩大，云网络的运维与管理逐渐成为新的技术挑战。共享资源型的服务在云网络中普遍存在，例如用户购买的NAT服务、共享带宽、共享流量包、专线业务等。这种共享资源型的服务在给用户带来低成本和高效的管理服务的同时，也给网络运维带来新的挑战，尤其当共享资源存在异常时，如何快速准确的定位产生异常的虚拟机主机是一个难以解决的问题。
[0003]现有的技术实现方案：
[0004]目前的解决方案主要有三种：基于流量Top N的统计、基于Session数据的聚合分析以及基于机器学习的分析方法。
[0005]基于流量Top N的统计方法：
[0006]流量Top N的统计方法是目前常用的方法，是指在出口流量产生异常时，通过统计流量排名靠前的N个虚拟机来作为可能的异常根因。这种方法仅适用于流量平稳，且异常类型属于明显的尖峰型异常的情况。但实际的网络流量时间序列往往具有较高的复杂性与不确定性，并且异常类型还包括骤降、高频抖动等其他类型，因此这种方法适用范围有限。
[0007]基于Session数据聚合的分析方法：
[0008]网络流量出口NAT网关上有相比单一流量统计信息更加细粒度的会话(Session)统计信息，通过对每个虚拟机的流信息统计，可以更加精准的汇聚虚拟机的流量变化情况，进而分析出可能的异常根因虚拟机。然而，Session数据规模巨大，如果基于Session数据进行根因分析，相比于基于虚拟机的出口流量统计分析的方法，需要多花费更大的存储空间，且随着云网络规模的不断扩张，难以进行有效的扩展。
[0009]基于机器学习的分析方法：
[0010]目前针对类似的根因分析问题，业界多采用基于预测算法与聚类分析的方法，即先对每个可能的根因节点曲线进行预测，得到偏差曲线，进而在对偏差曲线进行聚类分析。这种方法只适用于小规模的根因分析问题，多用于微服务、小型分布式软件系统、物联网系统等。在云网络这种大规模的网络环境中，很难实现对所用用户的虚拟机采取精准预测的方法来构建每台主机的精准偏差。

技术实现思路

[0011]本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
[0012]为此，本申请的第一个目的在于提出一种基于多维度分析的云网络共享资源异常根因定位方法，解决了现有方法难以满足大规模、异常类型多样性、实时性、以及动态性的
问题，还解决了现有方法需要多花费更大的存储空间，且难以进行有效扩展的问题，通过对预测偏差、异常幅度、形状相似度三个维度的分析，提出了一种综合的排序算法，来实现快速、准确、通用的异常定位。
[0013]本申请的第二个目的在于提出一种基于多维度分析的云网络共享资源异常根因定位装置。
[0014]本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
[0015]为达上述目的，本申请第一方面实施例提出了一种基于多维度分析的云网络共享资源异常根因定位方法，包括：根据异常信息从数据存储集群中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；对三个维度计算结果进行整合，得到根因列表。
[0016]可选地，在本申请的一个实施例中，预测偏差维度采用移动平均方法计算，异常幅度使用极值理论方法，形状相似度采用集合相似度计算方法。
[0017]可选地，在本申请的一个实施例中，移动平均方法包括以下步骤：
[0018]维护一个滑动窗口；
[0019]截取异常开始时间前的数据点作为训练数据，数据点的个数与滑动窗口长度一致；
[0020]求取训练数据的平均值作为预测偏差维度。
[0021]可选地，在本申请的一个实施例中，异常幅度为每台虚拟主机在异常时刻的流量与自身正常时刻相比的异常大小，使用极值理论方法计算每台虚拟主机的上界阈值和下界阈值，进而定义每台虚拟机的相对异常幅度为：
[0022][0023]其中，θ
h
为上界阈值，θ
l
为下界阈值，α
h
(t
c
)和α
l
(t
c
)分别表示t
c
时刻流量曲线x(t)的峰值异常幅度和波谷异常幅度，
[0024]由于异常时间从t
s
持续到t
e
，定义(t
s
，t
e
)时间范围内的异常幅度分别为时间范围的最大值。
[0025]可选地，在本申请的一个实施例中，集合相似度计算方法包括以下步骤：
[0026]使用z
‑
normalization对共享资源和虚拟主机的流量数据进行标准化；
[0027]将平面坐标割成预定个数的网格；
[0028]对网格进行顺序编号；
[0029]将共享资源和虚拟主机的流量数据中的每条序列经过的网格序号所组成的集合作为序列的离散表征；
[0030]利用jaccard metric来计算离散表征的相似度。
[0031]可选地，在本申请的一个实施例中，对三个维度计算结果进行整合，表示为：
[0032]In(x(t))＝d(x(t))*(ω
α
*α(x(t))+ω
s
*S(x(t)))
[0033]其中，In(x(t))表示最终的结果，d、α、S分别表示预测偏差、异常幅度以及形状相似度的结果，ω
α
和ω
s
表示异常幅度与形状相似度的权重，默认ω
α
＝ω
s
＝0.5。
[0034]为达上述目的，本申请第二方面实施例提出了一种基于多维度分析的云网络共享资源异常根因定位装置，包括：数据采集模块、维度计算模块、整合模块，其中，
[0035]数据采集模块，用于根据异常信息从数据存储集中分别获取共享资源流量数据和使用共享资源流量数据的所有虚拟主机的流量数据；
[0036]维度计算模块，用于分别对共享资源和虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，三个维度包括预测偏差维度、异常幅度、形状相似度；
[0037]整合模块，用于对三个维度计算结果进行整合，得到根因列表。
[0038]可选地，在本申请的一个实施例中，维度计算模块，具体用于使用移动平均方法计算预测偏差维度，使用极值理论方法计算异常幅度，采用集合相似度计算方法计算形状相似度。
[0039]为了实现上述目的，本申请第三方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维度分析的云网络共享资源异常根因定位方法，其特征在于，包括以下步骤：根据异常信息从数据存储集群中分别获取共享资源流量数据和使用所述共享资源流量数据的所有虚拟主机的流量数据；分别对所述共享资源和所述虚拟主机的流量数据进行三个维度的计算，得到三个维度计算结果，其中，所述三个维度包括预测偏差维度、异常幅度、形状相似度；对所述三个维度计算结果进行整合，得到根因列表。2.如权利要求1所述的方法，其特征在于，所述预测偏差维度采用移动平均方法计算，所述异常幅度使用极值理论方法，所述形状相似度采用集合相似度计算方法。3.如权利要求1所述的方法，其特征在于，所述移动平均方法包括以下步骤：维护一个滑动窗口；截取异常开始时间前的数据点作为训练数据，所述数据点的个数与所述滑动窗口长度一致；求取所述训练数据的平均值作为所述预测偏差维度。4.如权利要求1所述的方法，其特征在于，所述异常幅度为每台虚拟主机在异常时刻的流量与自身正常时刻相比的异常大小，使用所述极值理论方法计算每台虚拟主机的上界阈值和下界阈值，进而定义每台虚拟机的相对异常幅度为：其中，θ
h
为上界阈值，θ
l
为下界阈值，α
h
(t
c
)和α
l
(t
c
)分别表示t
c
时刻流量曲线x(t)的峰值异常幅度和波谷异常幅度，由于异常时间从t
s
持续到t
e
，定义(t
s
，t
e
)时间范围内的异常幅度分别为时间范围的最大值。5.如权利要求1所述的方法，其特征在于，所述集合相似度计算方法包括以下步骤：使用z
‑
normalizat...

【专利技术属性】
技术研发人员：杨家海，张世泽，赵鋆峰，王之梁，何林，吴建平，
申请(专利权)人：清华大学，
类型：发明
国别省市：