一种时序数据异常检测方法、装置及电子设备和存储介质制造方法及图纸

技术编号:28488694 阅读:19 留言:0更新日期:2021-05-19 22:05
本申请公开了一种时序数据异常检测方法、装置及一种电子设备和计算机可读存储介质,该方法包括:获取监控项的待检测时序数据和历史数据,并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型;其中,所述类型包括周期性数据和非周期性数据;基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测,得到每个所述算法对应的检测结果;当所有所述检测结果中异常结果的数量满足预设条件时,判定所述监控项的检测结果为异常。本申请提供的时序数据异常检测方法,对于不同类型的时序数据均采用多种不同的算法得出结果,既能保证算法的检测准确度,也可以提高系统的健壮性和普适性。提高系统的健壮性和普适性。提高系统的健壮性和普适性。

【技术实现步骤摘要】
一种时序数据异常检测方法、装置及电子设备和存储介质


[0001]本申请涉及计算机
,更具体地说,涉及一种时序数据异常检测方法、装置及一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]运维数据的体量随着运维规模的快速扩张呈现出爆发式地增长,在相关技术中,可以采用基于机器学习的异常检测方案,使用有标签的数据进行监督学习,进行特征工程和数据预处理,使用有监督算法对这些数据进行数据的训练与建模。
[0003]可见,上述方案需要大量的带有标注的历史数据,数据标注需要业务人员操作,这里会耗费很多的人力和时间。另外,有监督的算法对数据建模以后,只能对检测一部分的时序数据,具有普适性,当数据特征改变或者有很多不同的时序数据时,需要改变算法,重新建模。
[0004]因此,如何提高数据异常检测算法的普适性是本领域技术人员需要解决的技术问题。

技术实现思路

[0005]本申请的目的在于提供一种时序数据异常检测方法、装置及一种电子设备和一种计算机可读存储介质,提高了数据异常检测算法的普适性。
[0006]为实现上述目的,本申请提供了一种时序数据异常检测方法,包括:
[0007]获取监控项的待检测时序数据和历史数据,并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型;其中,所述类型包括周期性数据和非周期性数据;
[0008]基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测,得到每个所述算法对应的检测结果;
[0009]当所有所述检测结果中异常结果的数量满足预设条件时,判定所述监控项的检测结果为异常。
[0010]其中,对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型,包括:
[0011]对所述待检测时序数据进行预处理得到目标时序数据;
[0012]对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值;
[0013]判断所述差分均值是否小于预设值;若是,则判定所述待检测时序数据的类型为周期性数据,若否,则判定所述待检测时序数据的类型为非周期性数据。
[0014]其中,对所述待检测时序数据进行预处理得到目标时序数据,包括:
[0015]对所述待检测时序数据进行平滑处理得到中间时序数据;
[0016]对所述中间时序数据进程归一化处理得到所述目标时序数据。
[0017]其中,所述判定所述待检测时序数据异常之后,还包括:
[0018]确定所述待检测时序数据中异常数据的时间点,在所述历史数据中确定与所述时
间点相同时间点的候选数据,并利用所述候选数据更新所述异常数据。
[0019]其中,所述周期性数据对应的算法包括同比算法、同比振幅算法和EWMA+Nsigma算法中的任一项或任几项的组合;
[0020]所述非周期性数据对应的算法包括非监督的孤立森林算法、Nsigma算法、最小二乘算法、概率分布算法中的任一项或任几项的组合。
[0021]其中,还包括:
[0022]获取目标主机中多个所述监控项的检测结果;
[0023]基于所有所述监控项的历史数据利用目标算法对所有监控项进行分类;
[0024]若同一类别下的所有监控项的检测结果均为异常,则判定所述目标主机异常。
[0025]其中,所述目标算法包括DTW算法或Kmeans算法。
[0026]为实现上述目的,本申请提供了一种时序数据异常检测装置,包括:
[0027]第一分类模块,用于获取监控项的待检测时序数据和历史数据,并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型;其中,所述类型包括周期性数据和非周期性数据;
[0028]检测模块,用于基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测,得到每个所述算法对应的检测结果;
[0029]第一判定模块,用于当所有所述检测结果中异常结果的数量满足预设条件时,判定所述监控项的检测结果为异常。
[0030]为实现上述目的,本申请提供了一种电子设备,包括:
[0031]存储器,用于存储计算机程序;
[0032]处理器,用于执行所述计算机程序时实现如上述时序数据异常检测方法的步骤。
[0033]为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述时序数据异常检测方法的步骤。
[0034]通过以上方案可知,本申请提供的一种时序数据异常检测方法,包括:获取监控项的待检测时序数据和历史数据,并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型;其中,所述类型包括周期性数据和非周期性数据;基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测,得到每个所述算法对应的检测结果;当所有所述检测结果中异常结果的数量满足预设条件时,判定所述监控项的检测结果为异常。
[0035]本申请提供的时序数据异常检测方法,对于不同类型的时序数据采用不同的算法进行检测,面对多样化的数据达到良好的检测效果。另外,采用统计投票的方式,对于不同类型的时序数据均采用多种不同的算法得出结果,既能保证算法的检测准确度,也可以提高系统的健壮性和普适性。本申请还公开了一种时序数据异常检测装置及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
[0036]应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
[0037]为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
[0038]图1为根据一示例性实施例示出的一种时序数据异常检测方法的流程图;
[0039]图2为根据一示例性实施例示出的另一种时序数据异常检测方法的流程图;
[0040]图3为根据一示例性实施例示出的又一种时序数据异常检测方法的流程图;
[0041]图4为根据一示例性实施例示出的一种时序数据异常检测装置的结构图;
[0042]图5为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
[0043]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0044]本申请实施例公开了一种时序数据异常检测方法,提高了数据异常检测本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种时序数据异常检测方法,其特征在于,包括:获取监控项的待检测时序数据和历史数据,对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型;其中,所述类型包括周期性数据和非周期性数据;基于所述历史数据,利用所述类型对应的算法对所述待检测时序数据进行检测,得到每个所述算法对应的检测结果;当所有所述检测结果中异常结果的数量满足预设条件时,判定所述监控项的检测结果为异常。2.根据权利要求1所述时序数据异常检测方法,其特征在于,对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型,包括:对所述待检测时序数据进行预处理得到目标时序数据;对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值;判断所述差分均值是否小于预设值;若是,则判定所述待检测时序数据的类型为周期性数据,若否,则判定所述待检测时序数据的类型为非周期性数据。3.根据权利要求2所述时序数据异常检测方法,其特征在于,对所述待检测时序数据进行预处理得到目标时序数据,包括:对所述待检测时序数据进行平滑处理得到中间时序数据;对所述中间时序数据进程归一化处理得到所述目标时序数据。4.根据权利要求1所述时序数据异常检测方法,其特征在于,所述判定所述待检测时序数据异常之后,还包括:确定所述待检测时序数据中异常数据的时间点,在所述历史数据中确定与所述时间点相同时间点的候选数据,并利用所述候选数据更新所述异常数据。5.根据权利要求1所述时序数据异常检测方法,其特征在于,所述周期性数据对应的算法包括同比算法、同比振幅算法...

【专利技术属性】
技术研发人员:陈晓帆翟云箭冯都升古亮
申请(专利权)人:深信服科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1