一种数据检测方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据检测方法、装置、电子设备及存储介质，其中，所述方法包括：获得待检测数据，所述待检测数据为第一性能指标时序数据；将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据；基于所述第一特征数据和所述第二特征数据，得到所述待检测数据的数据基线；利用所述数据基线确定与所述待检测数据对应的异常数据。对应的异常数据。对应的异常数据。

【技术实现步骤摘要】
一种数据检测方法、装置、电子设备及存储介质


[0001]本申请实施例涉及计算机
，尤其涉及一种数据检测方法、装置、电子设备及存储介质。

技术介绍

[0002]互联网企业为了提供高效、可靠的服务，必须对其现网的服务和应用的相关性能指标时序数据进行实时监测，以便于及时发现异常情况，在对性能指标时序数据进行检测时，一些短暂存在的数据抖动都应该被检测到，因为这很有可能是一种危险的预警信号。当前对于性能指标时序数据的异常检测，主要通过一些设置阈值规则的方式进行较为粗旷的检测，即固定基线方式，将超过固定基线阈值门限的数据作为异常数据。使用设置阈值规则的方式，易于理解，操作简单，能够实现对性能指标时序数据的基本检测，但存在异常数据检测有效性低的明显缺陷，如果设置阈值规则中阈值的取值较低，则会产生大量无效的检测；如果设置阈值规则中阈值的取值较高，则会出现异常数据漏报。另外，也有一些领域采用了机器学习方法深入进行性能数据的异常检测，但是在性能指标时序数据领域应用还比较匮乏，在检测准确性和有效性方面也有一定的欠缺和不足。

技术实现思路

[0003]为解决上述技术问题，本申请实施例提供了一种一种数据检测方法、装置、电子设备及存储介质。
[0004]第一方面，本申请实施例提供了一种数据检测方法，所述方法包括：
[0005]获得待检测数据，所述待检测数据为第一性能指标时序数据；
[0006]将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据；r/>[0007]基于所述第一特征数据和所述第二特征数据，得到所述待检测数据的数据基线；
[0008]利用所述数据基线确定与所述待检测数据对应的异常数据。
[0009]本申请一可选实施方式中，所述获得待检测数据，包括：
[0010]利用脚本程序按照设定的时间粒度采集网络系统的第二性能指标时序数据；
[0011]对所述第二性能指标时序数据进行预处理，获得待检测数据。
[0012]本申请一可选实施方式中，所述对所述第二性能指标时序数据进行预处理，获得待检测数据，包括：
[0013]填充所述第二性能指标时序数据中的缺失数据，并对进行缺失数据填充后的所述第二性能指标时序数据进行标准化处理，得到待检测数据。
[0014]本申请一可选实施方式中，所述待检测数据包括n个维度的数据，n为大于等于1的整数；所述将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据，包括：
[0015]将所述待检测数据输入至CNN中，得到所述待检测数据在n个维度上的特征；基于
所述待检测数据在所述n个维度上的特征，得到第一特征数据；所述第一特征数据为m1*n维的向量；
[0016]将所述待检测数据输入至LSTM中，得到所述待检测数据在所述LSTM的n个隐含层输出的特征；所述n个隐含层中的每个隐含层的维度为m2；基于所述n个隐含层输出的特征，得到第二特征数据；所述第二特征数据为n*m2维的向量。
[0017]本申请一可选实施方式中，所述基于所述第一特征数据和第二特征数据，得到所述待检测数据的数据基线，包括：
[0018]利用注意力机制将所述第一特征数据和所述第二特征数据融合得到第一权值；
[0019]利用归一化函数对所述第一权值进行归一化处理得到第二权值；
[0020]将LSTM中包括的各时间节点的隐藏层的输出与所述第二权值中对应的第二权值相乘，得到第三特征数据；
[0021]基于所述第三特征数据预测所述待检测数据的数据基线。
[0022]本申请一可选实施方式中，所述利用所述数据基线确定与所述待检测数据对应的异常数据，包括：
[0023]确定所述数据基线包括的多个峰值中高于设定阈值的m3个峰值；
[0024]基于所述m3个峰值对应的时刻确定出m3个检测窗口；
[0025]确定所述m3个检测窗口的重叠区域，并将所述重叠区域对应的第二性能指标时序数据中数值大于所述m3个峰值中的最大值的第二性能指标时序数据确定为异常数据。
[0026]本申请一可选实施方式中，所述基于所述m3个峰值对应的时刻确定出m3个检测窗口，包括：
[0027]针对所述m3个峰值中的每个峰值对应的时刻，将该时刻对应的目标时间段所对应的区域确定为该峰值对应的检测窗口；所述目标时间段为该时刻之前和之后的预定时长所包括的时间段。
[0028]第二方面，本申请实施例提供了一种数据检测装置，所述装置包括：
[0029]获得单元，用于获得待检测数据，所述待检测数据为第一性能指标时序数据；
[0030]第一处理单元，用于将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据；
[0031]第二处理单元，用于基于所述第一特征数据和所述第二特征数据，得到所述待检测数据的数据基线；
[0032]确定单元，用于利用所述数据基线确定与所述待检测数据对应的异常数据。
[0033]本申请一可选实施方式中，所述获得单元，具体用于：利用脚本程序按照设定的时间粒度采集网络系统的第二性能指标时序数据；对所述第二性能指标时序数据进行预处理，获得待检测数据。
[0034]本申请一可选实施方式中，所述获得单元，还具体用于：填充所述第二性能指标时序数据中的缺失数据，并对进行缺失数据填充后的所述第二性能指标时序数据进行标准化处理，得到待检测数据。
[0035]本申请一可选实施方式中，所述待检测数据包括n个维度的数据，n为大于等于1的整数；所述第一处理单元，具体用于：将所述待检测数据输入至CNN中，得到所述待检测数据在n个维度上的特征；基于所述待检测数据在所述n个维度上的特征，得到第一特征数据；所
述第一特征数据为m1*n维的向量；将所述待检测数据输入至LSTM中，得到所述待检测数据在所述LSTM的n个隐含层输出的特征；所述n个隐含层中的每个隐含层的维度为m2；基于所述n个隐含层输出的特征，得到第二特征数据；所述第二特征数据为n*m2维的向量。
[0036]本申请一可选实施方式中，所述第二处理单元，具体用于：利用注意力机制将所述第一特征数据和所述第二特征数据融合得到第一权值；利用归一化函数对所述第一权值进行归一化处理得到第二权值；将LSTM中包括的各时间节点的隐藏层的输出与所述第二权值中对应的第二权值相乘，得到第三特征数据；基于所述第三特征数据预测所述待检测数据的数据基线。
[0037]本申请一可选实施方式中，所述确定单元，具体用于：确定所述数据基线包括的多个峰值中高于设定阈值的m3个峰值；基于所述m3个峰值对应的时刻确定出m3个检测窗口；确定所述m3个检测窗口的重叠区域，并将所述重叠区域对应的第二性能指标时序数据中数值大于所述m3个峰值中的最大值的第二性能指标时序数据确定为异常数据。
[0038]本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检测方法，其特征在于，所述方法包括：获得待检测数据，所述待检测数据为第一性能指标时序数据；将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据；基于所述第一特征数据和所述第二特征数据，得到所述待检测数据的数据基线；利用所述数据基线确定与所述待检测数据对应的异常数据。2.根据权利要求1所述的方法，其特征在于，所述获得待检测数据，包括：利用脚本程序按照设定的时间粒度采集网络系统的第二性能指标时序数据；对所述第二性能指标时序数据进行预处理，获得待检测数据。3.根据权利要求2所述的方法，其特征在于，所述对所述第二性能指标时序数据进行预处理，获得待检测数据，包括：填充所述第二性能指标时序数据中的缺失数据，并对进行缺失数据填充后的所述第二性能指标时序数据进行标准化处理，得到待检测数据。4.根据权利要求1所述的方法，其特征在于，所述待检测数据包括n个维度的数据，n为大于等于1的整数；所述将所述待检测数据分别输入至卷积神经网络CNN以及长短期记忆网络LSTM中得到第一特征数据和第二特征数据，包括：将所述待检测数据输入至CNN中，得到所述待检测数据在n个维度上的特征；基于所述待检测数据在所述n个维度上的特征，得到第一特征数据；所述第一特征数据为m1*n维的向量；将所述待检测数据输入至LSTM中，得到所述待检测数据在所述LSTM的n个隐含层输出的特征；所述n个隐含层中的每个隐含层的维度为m2；基于所述n个隐含层输出的特征，得到第二特征数据；所述第二特征数据为n*m2维的向量。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征数据和第二特征数据，得到所述待检测数据的数据基线，包括：利用注意力机制将所述第一特征数据和所述第二特征数据融合得到第一权值；利用归一化函数对所述第一权值...

【专利技术属性】
技术研发人员：胡通，夏羿，陈磊，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：