基于并行Transofmer-GRU的多变量时序异常检测方法及系统技术方案

本发明专利技术提供了一种多变量时序异常检测方法及系统，包括以下过程：首先将数据进行预处理输入到特征提取模块中；利用T

【技术实现步骤摘要】
基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统


[0001]本专利技术涉及数据安全领域，更具体说是涉及一种基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统。

技术介绍

[0002]目前，多变量时序异常检测在网络安全、物联网、航空航天等领域得到了广泛的应用；通过监控时序数据，可以避免设备故障和网络攻击带来的资源损失和安全风险。
[0003]时序数据的异常检测由单变量时序异常检测和多变量时序异常检测组成；前者仅关注单个特征维度中的数据异常；如果单个变量不符合整体数据分布，则会将其检测为异常值；后者由多种特征组成，包括两种异常检测方式；一是通过单个特征的变化推断出总体异常发生的可能性，并通过均值或标准差的计算方式将所有捕获的单变量异常组合起来作为多变量异常检测的评估结果；第二种方法是提取多个变量之间的相关信息，通过学习数据的全局概率分布进行算法分析，然后直接给出异常检测结果。
[0004]近年来，已经提出了许多基于深度学习的研究；例如：基于LSTM的航天器异常检测方法；基于自动编码器的时间序列方法；图神经网络(GNN)研究时间序列中多个变量之间的相关性；但是，这些方法仍然存在三个限制；首先是他们没有很好地捕获远距离时间信息；二是他们不注意特征之间的潜在联系；三是有些方法只对特定场景表现出一定的高检测精度，没有很好的泛化能力；因此，探索针对各种任务的高精度异常检测模型是该领域的重要任务。

技术实现思路

[0005]本专利技术目的是提供一种多变量时间序列异常检测的方法及系统，用于检测通过实体设备采集的多变量时间序列数据中的多种异常；能够及时发现设备故障，降低设备运行风险，实时检测网络运营状态，降低异常误警率。
[0006]为满足上述需求，本专利提供了一种基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统，其特征在于，包括以下过程：1.基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统，其特征在于，包括以下步骤：S1:将数据进行预处理，并且以滑动窗口的形式输入到系统当中；对数据进行划分，按照比例设置训练集和测试集；S2:将数据分别输入到T
‑
Transformer
‑
GRU和F
‑
Transformer
‑
GRU中提取远距离时间依赖和全局特征的关联性，并将两者所提取的信息进行结合，形成新的数据维度；S3:通过GRU对新特征进行学习，将其传入重构模块和预测模块中，重构模块是由自动编码器网络组成，对数据进行重构，通过重构误差的方式来检测异常；预测模块由全连接层组成，通过预测下一时刻的数据与标签进行比较，以此来训练模型，达到预测异常的目的；
S4:根据预测模块和重构模块的结果进行最优化组合，使其达到最优秀的异常检测效果，并计算异常检测得分；S5:通过BF(蛮力破解)算法确定合适的阈值；S6:最后，将异常分数与所设定的阈值进行比较，超过阈值的数据视为异常数据，输出最终的异常检测结果。
[0007]2.如权利要求1所述的方法，其特征在于，所述步骤S2中，特征提取模块所用到的 T
‑
Transformer
‑
GRU和F
‑
Transformer
‑
GRU是我们对Transformer模型进行的改进，将其原有的decoder端替换为GRU，用于更新信息并进一步学习新捕获的时序信息，这样的结构不需要对其解码端输入数据，更适用于时序异常检测场景中，并且可以减少参数量，提升运算效率；通过并行Transformer
‑
GRU的方式来同时捕获时间信息和全局特征关系，能够更全面的提取时序数据中特征的潜在关联性。
[0008]3.如权利要求1所述的方法，其特征在于，所述步骤S3中，重构模块利用自编码器 (AE)将高维数据压缩成低维数据，再将低维数据进行重构，若重构后的数据不符合原始数据的概率分布，便视为异常数据。
[0009]4.如权利要求1所述的方法，其特征在于，所述步骤S4中，基于预测的异常检测对检测数据变得更加敏感，不同场景下异常的预测性能差异很大，导致模型的检测性能不稳定，而基于重构的方法是研究数据的概率分布，对数据类型的要求较低；因此，基于重构的方法往往比基于预测的方法更稳定，但基于重构的方法容易忽略重建误差小的异常数据；因此，根据任务的重要性，以重构为模型检测异常数据的主要任务，将基于预测的方法辅助重构无法捕获的异常；对两者进行最优化组合，实现更全面的异常检测，避免异常疏漏。
[0010]5.基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统，其特征在于，包括以下模块：数据处理模块，特征提取模块，异常检测模块，判定模块和输出模块；该系统将数据传入数据处理模块中，将数据进行规则化处理；然后通过特征提取模块，捕获数据中的关键关联关系；将其传入到异常检测模块中，利用所设定的算法对其进行检测；最后输入到判定模块中，得出最终的异常检测结果并进行输出。
[0011]本专利技术的优势在于：1.提出了一种新的多变量时序异常检测模型，该模型通过并行Transformer
‑
GRU，可以同时提取时间序列中的特征关系和远程时间依赖性。
[0012]2.改进了Transformer模型，使其更适合从时序数据中提取信息，并更广泛地用于其他场景中的多变量时序异常检测任务。
[0013]3.将基于重构和基于预测的异常检测方式进行最优化组合，使其按照两者检测异常的不同性质来进行结合并获得总的异常检测评分，这样能够能更全面的捕获异常，防止异常疏漏。
附图说明
[0014]为了能够详细并且清晰的对本技术方案进行说明，下面将对实施例和其中所用到的技术以及相关数据用附图的形式进行介绍，对于本领域熟悉此方向的技术人员来说，并不仅局限于此说明书中所记载的实施例，该实施例只是在实验中结果较好的情况，并不局限于此。
[0015]图1为本说明书实施例提供的一种多变量时间序列异常检测方法及系统的流程图。
[0016]图2为本说明书实施例Transformer
‑
GRU结构示意图。
[0017]图3为本说明书实施例捕获特征的展示图例。
[0018]具体实施方法为了使本专利技术的目的及技术方案更加清晰，对本专利技术中的技术方案进行清楚、完整地描述；此处所描述的具体实施例仅用以解释本专利技术的实施，不限定本专利技术。
[0019]在可选的实施例中，图1示例性地展示了一种基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统的流程。
[0020]步骤1：对原始数据进行预处理在此步骤中，为了避免模型受到数据极值的影响，增强模型训练的稳定性，提高模型学习的速度，我们将通过以下方式对数据进行规范本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于并行Transofmer
‑
GRU的多变量时序异常检测方法及系统，其特征在于，包括以下步骤：S1:将数据进行预处理，并且以滑动窗口的形式输入到系统当中，对数据进行划分，按照比例设置训练集和测试集；S2:将数据分别输入到T
‑
Transformer
‑
GRU和F
‑
Transformer
‑
GRU中提取远距离时间依赖和全局特征的关联性，并将两者所提取的信息进行结合，形成新的数据维度；S3:通过GRU对新特征进行学习，将其传入重构模块和预测模块中，重构模块是由自动编码器网络组成，对数据进行重构，通过重构误差的方式来检测异常；预测模块由全连接层组成，通过预测下一时刻的数据与标签进行比较，以此来训练模型，达到预测异常的目的；S4:根据预测模块和重构模块的结果进行最优化组合，使其达到最优秀的异常检测效果，并计算异常检测得分；S5:通过BF（蛮力破解）算法确定合适的阈值；S6:最后，将异常分数与所设定的阈值进行比较，超过阈值的数据视为异常数据，输出最终的异常检测结果。2.如权利要求1所述的方法及系统，其特征在于，所述步骤S2中，特征提取模块所用到的T
‑
Transformer
‑
GRU和F
‑
Transformer
‑
GRU是我们对Transformer模型进行的改进，将其原有的decoder端替换为GRU，用于更新信...

【专利技术属性】
技术研发人员：李刚，杨泽宇，周鸣乐，李敏，韩德隆，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：