时序数据的异常检测方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种时序数据的异常检测方法、装置、设备及存储介质。该方法包括：将目标待检测时刻的时序数据分别输入多个异常检测模型，获得每个异常检测模型分别输出的异常检测结果；基于每个异常检测模型分别输出的异常检测结果和每个异常检测模型的权重，确定时序数据的最终异常检测结果；其中，每个异常检测模型均是基于与时序数据类型相同的样本时序数据训练得到的；每个异常检测模型的权重是基于预设评价指标在测试样本集上的交叉验证结果，对多个异常检测模型的候选权重组合进行网格搜索后确定的。从而能够在提升整体模型算法的准确率的同时，使得模型能够适配各种不同类型的时间序列数据的异常检测任务。时间序列数据的异常检测任务。时间序列数据的异常检测任务。

【技术实现步骤摘要】
时序数据的异常检测方法、装置、设备及存储介质


[0001]本专利技术涉及大数据挖掘
，具体涉及一种时序数据的异常检测方法、装置、设备及存储介质。

技术介绍

[0002]信息时代的高速发展下，网络规模和系统规模日益增长，软件系统和服务的更新迭代更加频繁。为了保证向海量用户提供高效可靠的服务，运维人员从生产系统采集主机、容器、中间件等的关键指标数据，从日志系统中提取各种业务数据，并通过监控这些关键指标数据来监测应用的服务状态，帮助运维人员发现系统故障。
[0003]从计算机采集的关键指标数据一般是<时间戳，指标值>的时间序列数据(以下简称时序数据)，这些时序数据的异常往往可以反映出系统的异常，比如内存泄漏、服务宕机、数据库死锁等，针对时序数据的异常检测有助于帮助尽早发现服务状态异常和系统故障。
[0004]目前针对这些时序数据的检测方法一般可分为三类：第一类是基于经验阈值的检测方法，这种方法依赖专家经验，且面临指标数量多，业务调整频繁等问题；第二类是基于有监督的检测方法，比如xgboost(eXtreme Gradient Boosting，极端梯度提升)、logistic(逻辑)回归、随机森林、神经网络等方法，有监督算法依赖于有标注数据，但系统和应用异常在日常中属于极小概率事件，能积累的异常数据非常少，这就导致了哪怕能提供标注数据，其正负样本也极度不均衡，并且只能检测数据集中出现过的故障；第三类是基于无监督的检测方法，如线性回归、ARIMA(Autoregressive Integrated Moving Average model，整合移动平均自回归模型)、移动平均、Holt
‑
Winter(霍尔特
‑
温特)、聚类等方法，但时序数据类型多样，这些无监督算法都面临难以应对全部时序数据类型的问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种时序数据的异常检测方法、装置、设备及存储介质。
[0006]第一方面，本专利技术提供一种时序数据的异常检测方法，包括：
[0007]将目标待检测时刻的时序数据分别输入多个异常检测模型，获得每个所述异常检测模型分别输出的异常检测结果；
[0008]基于每个所述异常检测模型分别输出的异常检测结果和每个所述异常检测模型的权重，确定所述时序数据的最终异常检测结果；
[0009]其中，每个所述异常检测模型均是基于与所述时序数据类型相同的样本时序数据训练得到的；
[0010]每个所述异常检测模型的权重是基于预设评价指标在测试样本集上的交叉验证结果，对所述多个异常检测模型的候选权重组合进行网格搜索后确定的。
[0011]可选地，所述预设评价指标包括以下至少一项：
[0012]平均绝对误差MAE；均方误差MSE；均方根误差RMSE；平均绝对百分比误差MAPE；绝
对百分比误差中位数MEAPE；异常比例。
[0013]可选地，所述基于预设评价指标在测试样本集上的交叉验证结果，对所述多个异常检测模型的候选权重组合进行网格搜索，包括：
[0014]针对每次网格搜索，基于所述多个异常检测模型和所述每次网格搜索对应的候选权重组合，获取测试样本集的最终异常检测结果和测试样本集中每个时间戳的时序数据预测值；
[0015]基于所述测试样本集的最终异常检测结果和测试样本集中每个时间戳的时序数据预测值，以及测试样本集中每个时间戳的时序数据真实值，得到所述预设评价指标的值；
[0016]基于每次网格搜索得到的所述预设评价指标的值，确定所述多个异常检测模型的最优权重组合。
[0017]可选地，所述基于每个所述异常检测模型分别输出的异常检测结果和每个所述异常检测模型的权重，确定所述时序数据的最终异常检测结果，包括：
[0018]基于每个所述异常检测模型分别输出的异常检测结果，确定输出检测结果为异常的第一异常检测模型；
[0019]将各所述第一异常检测模型的权重之和与所有异常检测模型的权重之和的比值，确定为所述时序数据的异常概率；
[0020]若所述异常概率大于预设阈值，则确定所述时序数据异常；或者，
[0021]若所述异常概率小于或等于预设阈值，则确定所述时序数据正常。
[0022]可选地，所述异常检测模型包括3Sigma模型、Quantile模型、EWMA模型和IForest模型中的至少一种。
[0023]可选地：所述3Sigma模型包括多个不同时间粒度的子模型；和/或，所述Quantile模型包括多个不同时间粒度的子模型。
[0024]可选地，所述时间粒度包括不分组、日、周、月、工作日/周末、月初/月中/月末和节假日/非节假日。
[0025]第二方面，本专利技术还提供一种时序数据的异常检测装置，包括：
[0026]检测模块，用于将目标待检测时刻的时序数据分别输入多个异常检测模型，获得每个所述异常检测模型分别输出的异常检测结果；
[0027]确定模块，用于基于每个所述异常检测模型分别输出的异常检测结果和每个所述异常检测模型的权重，确定所述时序数据的最终异常检测结果；
[0028]其中，每个所述异常检测模型均是基于与所述时序数据类型相同的样本时序数据训练得到的；
[0029]每个所述异常检测模型的权重是基于预设评价指标在测试样本集上的交叉验证结果，对所述多个异常检测模型的候选权重组合进行网格搜索后确定的。
[0030]第三方面，本专利技术还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现如第一方面所述时序数据的异常检测方法的步骤。
[0031]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述时序数据的异常检测方法的步骤。
[0032]本专利技术提供的时序数据的异常检测方法、装置、设备及存储介质，通过集成多个无监督异常检测模型对待检测时序数据进行检测，并根据各模型权重对检测结果进行综合判定，各模型的权重基于预设评价指标在测试样本集上的交叉验证结果通过网格搜索确定，从而能够在提升整体模型算法的准确率的同时，使得模型能够适配各种不同类型的时间序列数据的异常检测任务。
附图说明
[0033]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术提供的时序数据的异常检测方法的流程示意图；
[0035]图2是本专利技术提供的以天是时间粒度提取的均值特征的示意图；
[0036]图3是本专利技术提供的时间粒度是天的3Sigma模型的示意图；
[0037]图4是本专利技术提供的时间粒度是天的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据的异常检测方法，其特征在于，包括：将目标待检测时刻的时序数据分别输入多个异常检测模型，获得每个所述异常检测模型分别输出的异常检测结果；基于每个所述异常检测模型分别输出的异常检测结果和每个所述异常检测模型的权重，确定所述时序数据的最终异常检测结果；其中，每个所述异常检测模型均是基于与所述时序数据类型相同的样本时序数据训练得到的；每个所述异常检测模型的权重是基于预设评价指标在测试样本集上的交叉验证结果，对所述多个异常检测模型的候选权重组合进行网格搜索后确定的。2.根据权利要求1所述的时序数据的异常检测方法，其特征在于，所述预设评价指标包括以下至少一项：平均绝对误差MAE；均方误差MSE；均方根误差RMSE；平均绝对百分比误差MAPE；绝对百分比误差中位数MEAPE；异常比例。3.根据权利要求2所述的时序数据的异常检测方法，其特征在于，所述基于预设评价指标在测试样本集上的交叉验证结果，对所述多个异常检测模型的候选权重组合进行网格搜索，包括：针对每次网格搜索，基于所述多个异常检测模型和所述每次网格搜索对应的候选权重组合，获取测试样本集的最终异常检测结果和测试样本集中每个时间戳的时序数据预测值；基于所述测试样本集的最终异常检测结果和测试样本集中每个时间戳的时序数据预测值，以及测试样本集中每个时间戳的时序数据真实值，得到所述预设评价指标的值；基于每次网格搜索得到的所述预设评价指标的值，确定所述多个异常检测模型的最优权重组合。4.根据权利要求1所述的时序数据的异常检测方法，其特征在于，所述基于每个所述异常检测模型分别输出的异常检测结果和每个所述异常检测模型的权重，确定所述时序数据的最终异常检测结果，包括：基于每个所述异常检测模型分别输出的异常检测结果，确定输出检测结果为异常的第一异常检测模型；将各所述第一异常检...

【专利技术属性】
技术研发人员：纪炎明，张晓民，尧平，陈乐，罗朝彤，薛蓉蓉，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：