一种自适应基带优化的时序异常检测方法及系统技术方案

本发明专利技术提供一种自适应基带优化的时序异常检测方法及系统，包括以下步骤：获取待检测的单维时间序列，构成数据集；确认所述数据集是否具有统计学特性，其中，统计学特性包括周期性和平稳性；根据确认结果选择不同的拟合方式对所述数据集进行拟合；计算拟合后的数据集的基带缩放因子，并根据所述基带缩放因子确定上下基带范围；根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点；本发明专利技术的有益效果为：通过根据待检测的单维时间序列具有的统计学特性来选择不同的拟合方式对该数据集进行拟合，本发明专利技术能够自动判断数据集类型，根据不同类型的数据集采用不同的算法模型进行拟合，从而能够捕获时序数据在时间与空间维度的异常。维度的异常。维度的异常。

【技术实现步骤摘要】
一种自适应基带优化的时序异常检测方法及系统


[0001]本专利技术涉及时序异常检测
，特别是涉及一种自适应基带优化的时序异常检测方法及系统。

技术介绍

[0002]AIops即智能运维指采用机器学习、数据挖掘或深度学习等方法，来解决KPI异常检测、故障根因分析、容量预测等运维领域中的关键问题，KPI异常检测是在运维领域中非常重要的一个环节，KPI指的是对服务、系统等运维对象的监控指标，其存储的形式是按其发生的时间先后顺序排列而成的数列，通过算法分析KPI的时间序列数据，判断其是否出现异常点，常见的时序数据包含周期数据、周期闲忙数据、周期趋势、趋势数据、平稳数据及无规律数据共6种类型时间序列数据，时序数据异常点是指序列中模式存在不一致的点(如突然的上升或下降、趋势改变、层级变换、超出历史最大值/最小值等)，时序数据的异常检测旨在快速准确的找到这些异常点。
[0003]目前时序异常检测面临的挑战如下所示，由于存在以下挑战，导致现有的异常检测算法的准确率和召回率低，存在大量的误报和漏报，具体如下：第一为KPI数据类型多样且数据量大，算法不能够自适应各类型KPI数据；第二为KPI数据中包含的时序信息，经常无法捕获；第三为KPI数据是否异常对于不同量纲数据有不同的标准，算法需要解决同一置信区间下，对不同量纲数据有不同波动范围，对于时序预测方法的异常检测，常见的算法有ARIMA、holt
‑
winter、fb
‑
prophet、TCN+AE，LSTM+AE、Bi
‑/>LSTM+AE等，将历史数据训练的模型预测当前时刻的幅值，通过与真实值的差异来判断此刻的异常程度，这类算法可以捕获数据中时间维度上的特征，但是训练时遵循全局最优化策略，在预测当前值时无法保证当前值是单点最优，无法自适应时序数据形态变化。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种自适应基带优化的时序异常检测方法及系统，用于解决现有技术中异常检测算法的准确率低、召回率低和存在大量的误报和漏报的问题。
[0005]本专利技术的实施方式提供了一种自适应基带优化的时序异常检测方法，包括以下步骤：获取待检测的单维时间序列，构成数据集；确认所述数据集是否具有统计学特性，其中，统计学特性包括周期性和平稳性；根据确认结果选择不同的拟合方式对所述数据集进行拟合；计算拟合后的数据集的基带缩放因子，并根据所述基带缩放因子确定上下基带范围；根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
[0006]本专利技术的实施方式还提供了一种自适应基带优化的时序异常检测系统，包括：数据获取模块，用于获取待检测的单维时间序列，构成数据集；周期性/平稳性确认模块，用于确认所述数据集是否具有统计学特性，其中，统计学特性包括周期性和平稳性，根据确认结果选择不同的拟合方式对所述数据集进行拟合；异常检测模块：用于计算拟合后的数据集
的基带缩放因子，并根据所述基带缩放因子确定上下基带范围，根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
[0007]本专利技术的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的自适应基带优化的时序异常检测方法。
[0008]本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的自适应基带优化的时序异常检测方法。
[0009]本专利技术实施方式相对于现有技术而言，主要区别及其效果在于：通过确认待检测的单维时间序列构成的数据集内是否具有统计学特性，根据确认结果选择不同的拟合方式对该数据集进行拟合，然后计算拟合后的数据集的基带缩放因子，并确定出上下基带范围，再根据上下基带范围和结合该领域的知识确定出数据集中的异常点，本专利技术能够自动判断数据集类型，根据不同类型的数据集采用不同的算法模型进行拟合，从而避免人工干预，能够捕获时序数据在时间与空间维度的异常，并且有相对较快的运行速度。
[0010]作为进一步改进，在所述获取待检测的单维时间序列，构成数据集之后，所述提取所述数据集内的不同类别的特征之前，包括：对所述数据集进行预处理，其中，所述预处理包括至少一项以下信息：数据异常值的判断、缺失值的填充和数据的截断。
[0011]作为进一步改进，所述确认所述数据集是否具有统计学特性，包括：使用傅里叶变换或者自相关系数方法确认所述数据集是否存在周期和使用ADF检验确认所述数据集是否平稳。
[0012]作为进一步改进，所述根据确认结果选择不同的拟合方式对所述数据集进行拟合，包括：若所述数据集存在周期，则计算出所述数据集的具体周期值，根据所述周期值选取四个窗口的周期数据，并利用线性拟合的方式对所述周期数据进行拟合；若所述数据集不存在周期，且所述数据集平稳，则使用指数移动加权平均模型对所述数据集进行拟合；若所述数据集不存在周期，且所述数据集不平稳，则使用二次指数平滑模型对所述数据集进行拟合。
[0013]上述方案根据确认结果可以选择不同的拟合方式对数据集进行拟合，如果数据集存在周期，则可以选择利用线性拟合的方式对提取的对应窗口的周期数据进行拟合，如果数据集不存在周期，且数据集平稳，则使用指数移动加权平均模型对数据集进行拟合，如果数据集不存在周期，且数据集不平稳，则使用二次指数平滑的方式对数据集进行拟合，从而可以根据时序数据的统计学特征自动选择不同的算法模型进行拟合，避免人工手动选取。
[0014]作为进一步改进，所述使用指数移动加权平均模型对所述数据集进行拟合，包括：根据以下公式对所述数据集进行拟合：s
i
＝αx
i
+(1
‑
α)s
i
‑1；其中，s
i
为i时刻指数移动加权平均模型的值，x
i
为当前时刻实际值，系数1α表示加权下降的速率。
[0015]作为进一步改进，所述使用二次指数平滑模型对所述数据集进行拟合，包括：根据以下公式对所述数据集进行拟合：s
i
＝αx
i
+(1
‑
α)(s
i
‑1+t
i
‑1)；t
i
＝β(s
i
‑
s
i
‑1)+(1
‑
β)t
i
‑1其中，t表示平滑后的趋势，二次指数平滑在一次指数平滑的基础上能够保留时序数据趋势信息。
[0016]作为进一步改进，所述确定拟合后的数据集的基带缩放因子，包括：根据以下公式
确定拟合后的数据集的基带缩放因子：factor＝1
‑
1/(1+base
‑
x
′
)；factor为基带本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应基带优化的时序异常检测方法，其特征在于，包括以下步骤：获取待检测的单维时间序列，构成数据集；确认所述数据集是否具有统计学特性，其中，统计学特性包括周期性和平稳性；根据确认结果选择不同的拟合方式对所述数据集进行拟合；计算拟合后的数据集的基带缩放因子，并根据所述基带缩放因子确定上下基带范围；根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。2.根据权利要求1所述的一种自适应基带优化的时序异常检测方法，其特征在于：在所述获取待检测的单维时间序列，构成数据集之后，所述提取所述数据集内的不同类别的特征之前，包括：对所述数据集进行预处理，其中，所述预处理包括至少一项以下信息：数据异常值的判断、缺失值的填充和数据的截断。3.根据权利要求1所述的一种自适应基带优化的时序异常检测方法，其特征在于：所述确认所述数据集是否具有统计学特性，包括：使用傅里叶变换或者自相关系数方法确认所述数据集是否存在周期和使用ADF检验确认所述数据集是否平稳。4.根据权利要求3所述的一种自适应基带优化的时序异常检测方法，其特征在于：所述根据确认结果选择不同的拟合方式对所述数据集进行拟合，包括：若所述数据集存在周期，则计算出所述数据集的具体周期值，根据所述周期值选取四个窗口的周期数据，并利用线性拟合的方式对所述周期数据进行拟合；若所述数据集不存在周期，且所述数据集平稳，则使用指数移动加权平均模型对所述数据集进行拟合；若所述数据集不存在周期，且所述数据集不平稳，则使用二次指数平滑模型对所述数据集进行拟合。5.根据权利要求4所述的一种自适应基带优化的时序异常检测方法，其特征在于：所述使用指数移动加权平均模型对所述数据集进行拟合，包括：根据以下公式对所述数据集进行拟合：s
i
＝αx
i
+(1
‑
α)s
i
‑1；其中，s
i
为i时刻指数移动加权平均模型的值，x
i
为当前时刻实际值，系数1
‑ꢀ
α表示加权下降的速率。6.根据权利要求4所述的一种自适应基带优化的时序异常检...

【专利技术属性】
技术研发人员：田富龙，何诚，薛佩姣，徐潇轶，谭峰，宋海涛，
申请(专利权)人：上海鼎茂信息技术有限公司，
类型：发明
国别省市：