数据异常检测方法、装置、系统及电子设备制造方法及图纸

本申请公开了数据异常检测系统、相关方法和装置，以及电子设备。其中，系统通过确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的异常判断边界；根据所述异常判断边界，判断所述目标时序数据是否为异常数据。采用这种处理方式，使得置信区间上下界比较平稳，不会受到异常的扰动，保持稳定的敏感度；因此，可以有效提升时序异常检测的稳定性。

【技术实现步骤摘要】
数据异常检测方法、装置、系统及电子设备
本申请涉及数据处理
，具体涉及数据异常检测方法和装置，数据异常检测系统，以及电子设备。
技术介绍
数据,已经渗透到当今每一个行业和应用职能领域,成为重要的生产因素。数据技术时代将数据作为生产资料，解决“感知”和“协同”智慧的问题，使效率大幅提升并能完成应用的创新。在数据技术时代，数据主要都是随时间变化的时序数据，日常的时序数据异常检测非常重要，一旦发生数据异常影响不可估量。所谓异常检测就是监测并发现数据中不符合正常行为的异常模式。它已广泛用于交易监测、故障诊断、疾病检测、入侵检测、身份辨识等领域。例如商家退货比例飙升可能是竞争对手恶意刷单，网络流量的异常可能意味着受攻击主机上敏感信息的泄密，信用卡的异常消费等欺诈行为会导致巨大的经济损失。目前，一种典型的时序异常检测技术是，通过T检验方法对时序数据进行均值变化类异常的检测处理。T检验方法把时间序列用滑动的左窗口和右窗口来分割，左窗口较长，保存了历史的数据，代表了供参考的正常数据；右窗口较短，包含了较新的数据。通过T检验方法来检验左、右窗口的分布是否一致，当右窗口包含异常时，它的分布就与左窗口不同而被检测出异常。然而，在实现本专利技术过程中，专利技术人发现该技术方案至少存在如下问题：异常点会逐步移动到的左窗口内，扰乱左窗口的正常分布，因而无法保持稳定的敏感度。
技术实现思路
本申请提供数据异常检测系统，以解决现有技术存在的时序异常检测稳定性较低的问题。本申请另外提供数据异常检测方法、装置和系统，以及电子设备。本申请还提供一种数据异常检测系统，包括：服务端，用于接收第一客户端发送的针对目标时序数据的异常检测请求；确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的第一异常判断边界；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据；向所述第一客户端回送所述目标时序数据为异常数据的信息；第一客户端，用于向服务端发送所述异常检测请求；若接收到所述目标时序数据为异常数据的信息，则执行异常处理。可选的，第二客户端，用于确定目标数据类型及其对应的检测参数，向服务端发送针对目标数据类型的参数设置请求；所述服务端，还用于接收所述参数设置请求，存储所述目标数据类型、所述检测参数间的对应关系；以及，根据所述对应关系，执行异常检测处理。本申请还提供一种数据异常检测方法，包括：确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的第一异常判断边界；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据。可选的，所述根据所述第一时序，并确定去除异常影响的第一异常判断边界，包括：根据第一时序，确定去除异常点的第三时序；根据第三时序，确定所述第一异常判断边界。可选的，所述根据第一时序，并确定去除异常点的第三时序，包括：确定所述第一时序的中位数绝对偏差MAD和中位数；根据所述MAD和中位数，确定第二异常判断边界；将第二异常判断边界内的数据的权重设置为第一权重；将第二异常判断边界外的数据的权重设置为第二权重；第二权重小于第一权重；根据所述数据、第一权重和第二权重，确定所述第三时序。可选的，所述根据第三时序，并确定所述第一异常判断边界，包括：通过T检验算法，根据第三时序，确定所述第一异常判断边界。可选的，所述根据所述第一时序，并确定去除异常影响的第一异常判断边界，包括：根据时间衰减系数和数据采集时间，确定去除异常点后的第一时序中数据点的权重；根据所述权重和第一时序，确定所述第一异常判断边界。可选的，所述方法还包括：确定所述目标时序数据的数据类型；根据与数据类型对应的第二时序宽度，确定包括目标时序数据的第二时序；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据；若是，则将所述目标时序数据调整为所述第二时序中数据点的中位值；根据所述第一异常判断边界，判断调整后的目标时序数据是否为异常数据。可选的，所述目标时序数据为机器数据，所述第二时序宽度大于1。可选的，所述目标时序数据为日常平稳数据，所述第二时序宽度等于1。可选的，不同数据类型对应不同的第二时序宽度。可选的，确定目标时序数据的数据类型；根据与数据类型对应的第一时序宽度，确定第一时序。可选的，不同数据类型对应不同的第一时序宽度。可选的，所述数据类型包括：机器数据，日常平稳数据，实时累积数据，稀疏性数据，周期性数据。本申请还提供一种数据异常检测方法，包括：确定目标时序数据；向服务端发送针对目标时序数据的异常检测请求；若服务端检测到目标时序数据为异常数据，则执行异常处理。本申请还提供一种异常检测参数确定方法，包括：确定目标数据类型及其对应的检测参数；向服务端发送针对目标数据类型的参数设置请求，以便于所述服务端存储所述目标数据类型、所述检测参数间的对应关系；以及，根据所述对应关系，执行异常检测处理。本申请还提供一种数据异常检测装置，包括：第一时序确定单元，用于确定包括目标时序数据之前历史时序数据的第一时序；第一异常判断边界确定单元，用于根据所述第一时序，确定去除异常影响的第一异常判断边界；判断单元，用于根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据。本申请还提供一种电子设备，包括：处理器；以及存储器，用于存储实现数据异常检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的第一异常判断边界；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据。本申请还提供一种数据异常检测装置，包括：数据确定单元，用于确定目标时序数据；请求发送单元，用于向服务端发送针对目标时序数据的异常检测请求；异常处理单元，用于若服务端检测到目标时序数据为异常数据，则执行异常处理。本申请还提供一种电子设备，包括：处理器；以及存储器，用于存储实现数据异常检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：确定目标时序数据；向服务端发送针对目标时序数据的异常检测请求；若服务端检测到目标时序数据为异常数据，则执行异常处理。本申请还提供一种异常检测参数确定装置，包括：参数确定单元，用于确定目标数据类型及其对应的检测参数；请求存储单元，用于向服务端发送针对目标数据类型的参数设置请求，以便于所述服务端存储所述目标数据类型、所述检测参数间的对应关系；以及，根据所述对应关系，执行异常检测处理。本申请还提供一种电子设备，包括：处理器；以及存储器，用本文档来自技高网...

【技术保护点】
1.一种数据异常检测系统，其特征在于，包括：/n服务端，用于接收第一客户端发送的针对目标时序数据的异常检测请求；确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的第一异常判断边界；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据；向所述第一客户端回送所述目标时序数据为异常数据的信息；/n第一客户端，用于向服务端发送所述异常检测请求；若接收到所述目标时序数据为异常数据的信息，则执行异常处理。/n

【技术特征摘要】
1.一种数据异常检测系统，其特征在于，包括：
服务端，用于接收第一客户端发送的针对目标时序数据的异常检测请求；确定包括目标时序数据之前历史时序数据的第一时序；根据所述第一时序，确定去除异常影响的第一异常判断边界；根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据；向所述第一客户端回送所述目标时序数据为异常数据的信息；
第一客户端，用于向服务端发送所述异常检测请求；若接收到所述目标时序数据为异常数据的信息，则执行异常处理。


2.根据权利要求1所述的方法，其特征在于，
第二客户端，用于确定目标数据类型及其对应的检测参数，向服务端发送针对目标数据类型的参数设置请求；
所述服务端，还用于接收所述参数设置请求，存储所述目标数据类型、所述检测参数间的对应关系；以及，根据所述对应关系，执行异常检测处理。


3.一种数据异常检测方法，其特征在于，包括：
确定包括目标时序数据之前历史时序数据的第一时序；
根据所述第一时序，确定去除异常影响的第一异常判断边界；
根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一时序，并确定去除异常影响的第一异常判断边界，包括：
根据第一时序，确定去除异常点的第三时序；
根据第三时序，确定所述第一异常判断边界。


5.根据权利要求4所述的方法，其特征在于，所述根据第一时序，并确定去除异常点的第三时序，包括：
确定所述第一时序的中位数绝对偏差MAD和中位数；
根据所述MAD和中位数，确定第二异常判断边界；
将第二异常判断边界内的数据的权重设置为第一权重；将第二异常判断边界外的数据的权重设置为第二权重；第二权重小于第一权重；
根据所述数据、第一权重和第二权重，确定所述第三时序。


6.根据权利要求4所述的方法，其特征在于，所述根据第三时序，并确定所述第一异常判断边界，包括：
通过T检验算法，根据第三时序，确定所述第一异常判断边界。


7.根据权利要求3所述的方法，其特征在于，所述根据所述第一时序，并确定去除异常影响的第一异常判断边界，包括：
根据时间衰减系数和数据采集时间，确定去除异常点后的第一时序中数据点的权重；
根据所述权重和第一时序，确定所述第一异常判断边界。


8.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定所述目标时序数据的数据类型；
根据与数据类型对应的第二时序宽度，确定包括目标时序数据的第二时序；
根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据；若是，则将所述目标时序数据调整为所述第二时序中数据点的中位值；
根据所述第一异常判断边界，判断调整后的目标时序数据是否为异常数据。


9.根据权利要求8所述的方法，其特征在于，
所述目标时序数据为机器数据，所述第二时序宽度大于1。


10.根据权利要求8所述的方法，其特征在于，
所述目标时序数据为日常平稳数据，所述第二时序宽度等于1。


11.根据权利要求8所述的方法，其特征在于，
不同数据类型对应不同的第二时序宽度。


12.根据权利要求3所述的方法，其特征在于，
确定目标时序数据的数据类型；
根据与数据类型对应的第一时序宽度，确定第一时序。


13.根据权利要求11所述的方法，其特征在于，
不同数据类型对应不同的第一时序宽度。


14.根据权利要求8或11所述的方法，其特征在于，
所述数据类型包括：机器数据，日常平稳数据，实时累积数据，稀疏性数据，周期性数据。


15.一种数据异常检测方法，其特征在于，包括：
确定目标时序数据；
向服务端发送针对目标时序数据的异常检测请求；
若服务端检测到目标时序数据为异常数据，则执行异常处理。


16.一种异常检测参数确定方法，其特征在于，包括：
确定目标数据类型及其对应的检测参数；
向服务端发送针对目标数据类型的参数设置请求，以便于所述服务端存储所述目标数据类型、所述检测参数间的对应关系；以及，根据所述对应关系，执行异常检测处理。


17.一种数据异常检测装置，其特征在于，包括：
第一时序确定单元，用于确定包括目标时序数据之前历史时序数据的第一时序；
第一异常判断边界确定单元，用于根据所述第一时序，确定去除异常影响的第一异常判断边界；
判断单元，用于根据所述第一异常判断边界，判断所述目标时序数据是否为异常数据。


18.一种电子设备，其特征在于，...

【专利技术属性】
技术研发人员：宋晓旻，高井坤，文青松，杨波，何凯，卞娟娟，孙亮，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY