【技术实现步骤摘要】
本专利技术涉及网络流量数据分析，具体涉及一种网络流量大数据分析方法。
技术介绍
1、网络流量大数据是指在网络环境中生成，收集和存储的大规模网络流量数据。随着互联网的普及和数字化转型的加速；网络流量的规模和复杂性不断增长，产生了庞大的流量数据量。而在网络大数据分析的过程中，检测异常数据则可以帮助企业和组织监测网络性能、安全威胁等方面的情况。
2、一般对于网络流量的监测通常是对异常数据进行筛选和提取，而现有技术是通过设定数据区间来识别异常离群数据，从而实现对带宽利用率的分析和监测；但由于该类方式设定的数据值相对固定且无法处理多变量异常，且实际场景下的带宽利用率异常特征并非仅由是否存在异常离群数据决定，因此现有技术无法根据具体的数据变化特征实现在具体场景下更加准确的提取和捕捉异常数据点。
技术实现思路
1、为了现有技术对异常数据进行分析通常采用相对固定的数据值，无法处理多变量异常，导致无法根据具体的数据变化特征实现在具体场景下更加准确的提取和捕捉异常数据点的技术问题，本专利技术的目的在于提供一种网络流量大数据分析方法，所采用的技术方案具体如下：
2、获取目标时间段流量带宽利用率的时序数据，对所述时序数据进行时序处理与去季节项操作，获得待测流量数据；
3、根据所述待测流量数据中数据点的幅值以及幅值的频次分布获得每个数据点对应的离散值；根据所述待测流量数据中数据点之间幅值变化情况的差异获得每个数据点对应的突变值；根据每个数据点对应的离散值和突变值获得每个数
4、根据所述初始异常数据点的幅值以及幅值变化情况获得每个初始异常数据点的特征系数；根据初始异常数据点的特征系数获得每个初始异常数据点对应的对比数据点；根据初始异常数据点与对应的对比数据点之间时刻的变化情况进行周期性分析，获得最终异常数据点。
5、进一步地，所述离散值的获取方法包括：
6、获取所述待测流量数据中的数据点总数，获取所述待测流量数据中每个数据点的幅值出现的频次，将每个数据点的幅值出现的频次与所述数据点总数的比值作为数据点对应的频次占比；
7、将每个数据点对应的频次占比与幅值的乘积作为数据点的幅值特征值，将所述待测流量数据中所有数据点的幅值特征值的均值作为幅值均值；
8、将每个数据点的幅值与所述幅值均值的差异进行归一化作为每个数据点对应的所述离散值。
9、进一步地，所述突变值的获取方法包括：
10、获取所述待测流量数据中每个数据点的幅值的斜率，根据相邻数据点对应的斜率获取每个数据点对应的斜率变化值；
11、将与每个数据点距离最近的两个数据点作为每个数据点的临近数据点，将两个临近数据点的斜率变化值中的最大值作为斜率特征值；
12、将每个数据点对应的斜率变化值与斜率特征值的差异进行归一化，作为每个数据点对应的突变值。
13、进一步地，所述异常值的获取方法包括：
14、将每个数据点对应的离散值与预设第一权重相乘，作为第一乘积；
15、将每个数据点对应的突变值与预设第二权重相乘，作为第二乘积；
16、将每个数据点对应的所述第一乘积与所述第二乘积相加，作为每个数据点的所述异常值。
17、进一步地，所述特征系数的获取方法包括：
18、将每个初始异常数据点的幅值进行归一化后与预设第一参数相乘，作为第一系数；
19、将每个初始异常数据点对应的斜率变化值进行归一化后与预设第二参数相乘，作为第二系数；
20、将每个初始异常数据点对应的第一系数和第二系数相加，作为每个初始异常数据点的特征系数。
21、进一步地，所述对比数据点的获取方法包括：
22、将所有初始异常数据点基于时序进行排序，获得排列序列，依次将排列序列中每个初始异常数据点作为待测数据点；
23、根据待测数据点的特征系数设置预设范围；将待测数据点后续的初始异常数据点的特征系数在所述预设范围内的初始异常数据点，作为待测数据点的对比数据点。
24、进一步地，所述根据初始异常数据点与对应的对比数据点之间时刻的变化情况进行周期性分析，获得最终异常数据点，包括：
25、基于周期性评估模型对每个所述初始异常数据点和对应的任意两个对比数据点进行计算，获得周期性指数，当存在周期性指数小于预设判断阈值时，则所述初始异常数据点和参与计算的两个对比数据点为最终异常数据点；当初始异常数据点的对比数据点个数小于或等于1时，则所述初始异常数据点和对应的对比数据点为最终异常数据点。
26、进一步地，所述周期性评估模型，包括：
27、
28、其中，表示周期性指数，表示初始异常数据点的时刻数，表示初始异常数据点对应的对比数据点的时刻数，表示初始异常数据点对应的对比数据点的时刻数，表示以自然常数为底的指数函数，。
29、进一步地，所述初始异常数据点的获取方法包括：
30、将所述异常值大于或等于预设异常阈值的数据点作为所述初始异常数据点。
31、进一步地，所述预设异常阈值设置为0.7。
32、本专利技术具有如下有益效果：
33、由于现有技术无法在具体场景下根据数据的变化特征准确的提取和捕捉异常数据点，因此，本专利技术通过分析数据点的变化情况，初步筛选异常数据点，然后初步筛选出的异常数据点根据场景可能产生的影响进行进一步地筛选，保证了异常数据点的提取准确度。首先获取目标时间段流量带宽利用率的时序数据，然后对其进行时序处理以及去季节项操作，获得待测流量数据，此时的待测流量数据可以排除季节项的干扰，提高后续处理过程的准确度；然后由于在正常情况下，流量数据的数值变化相对稳定且平缓，而异常时流量数据的数值则会表现为数值突变且具有较强的波动性，因此可通过分析待测流量数据中数据点的幅值以及幅值的频次分布获得离散情况，通过分析数据点之间幅值变化情况的差异获得突变情况，进而将二者进行结合，获得数据点的异常值，然后基于数据点的异常值初步筛选出初始异常数据点；进一步地，结合使用场景进行分析，由于在正常使用时，系统后台程序的大量开启和运行也会导致网络流量数据中出现数值突变以及较强波动的情况，但其具有一定的周期变化特性，故基于此分析初始异常数据点的幅值以及幅值变化情况获得特征系数，特征系数可用来表征每个数据点自身的数据特征；进而基于特征系数筛选出每个初始异常数据点对应的对比数据点，然后分析每个初始异常数据点与对应的对比数据点之间时刻的变化情况，从而获得最终异常数据点，此时的最终异常数据点不仅具有异常值高的特征，并且还消除了正常使用时可能导致异常数据点判断错误的影响，所以可视为唯一性更高，因此获取到的最终异常数据点更准确、更具代表性，由此提高了识别和提取异常数据点的准确性。
本文档来自技高网...【技术保护点】
1.一种网络流量大数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述离散值的获取方法包括：
3.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述突变值的获取方法包括：
4.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述异常值的获取方法包括：
5.根据权利要求3所述的一种网络流量大数据分析方法，其特征在于，所述特征系数的获取方法包括：
6.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述对比数据点的获取方法包括：
7.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述根据初始异常数据点与对应的对比数据点之间时刻的变化情况进行周期性分析，获得最终异常数据点，包括：
8.根据权利要求7所述的一种网络流量大数据分析方法，其特征在于，所述周期性评估模型，包括：
9.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述初始异常数据点的获取方法包括：
1
...【技术特征摘要】
1.一种网络流量大数据分析方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述离散值的获取方法包括：
3.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述突变值的获取方法包括：
4.根据权利要求1所述的一种网络流量大数据分析方法，其特征在于，所述异常值的获取方法包括：
5.根据权利要求3所述的一种网络流量大数据分析方法，其特征在于，所述特征系数的获取方法包括：
6.根据权利要求1所述的一种网络流量大数据分析方法，其...
【专利技术属性】
技术研发人员：邹翠，罗锦，熊昀暄，周翔，张翠云，
申请(专利权)人：中国人民解放军陆军步兵学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。