一种基于条件扩散概率生成模型的异常检测方法技术

本公开的基于条件扩散概率生成模型的异常检测方法，通过预处理历史时序数据；对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。测效果。测效果。

【技术实现步骤摘要】
一种基于条件扩散概率生成模型的异常检测方法


[0001]本专利技术属于网络安全中攻击检测
，特别涉及一种基于条件扩散概率生成模型的异常检测方法。

技术介绍

[0002]信息物理系统通常用于监控和控制工业过程中的种要基础设施，例如电厂，输油管道等等。通过传感器对系统输出和控制器的输入进行监测，构建针对信息物理系统的状态监测系统，从而能够对系统中存在的问题或受到的攻击及时地进行报警，避免其因故障导致的经济和环境损失。然而，现有信息物理系统愈发复杂，传统异常检测方法难以满足需要。如何利用人工智能技术，构建数据驱动的异常检测方法，对系统进行高效监控已成为攻击检测领域重要的研究方向。
[0003]基于收集时间序列数据的异常检测由于其广泛应用场景，近些年一直是机器学习社区的研究热点。由于复杂系统的模型难以构建，各中间件耦合性较强，传统基于模型的异常检测方法往往不可用。随着近些年深度学习技术的发展以及硬件算力的提高，基于深度学习的异常检测方法逐渐吸引到众多研究人员的注意力，其中基于生成模型的异常检测方法因为可以直接建模正常数据的分布，在异常检测领域取得了较好的效果。
[0004]如何更好建模正常数据的分布是提高异常检测效果的关键问题。现有采用时间序列卷积或循环神经网络的方法没有显式建模出收集数据各维度之间的关系；此外，常见的生成模型如变分自编码器，流模型等对于函数约束较大，过强的约束限制了模型的表达能力，使得数据分布无法很好得被学习，从而限制了其异常检测的效果。因此，更好建模数据维度之间的相关性，提出表达能力更强的生成模型对异常检测算法具有十分重要的意义。

技术实现思路

[0005]本专利技术克服了现有技术的不足之一，提供了一种基于条件扩散概率生成模型的异常检测方法，能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。
[0006]根据本公开的一方面，提出了一种基于条件扩散概率生成模型的异常检测方法，所述方法包括：
[0007]预处理历史时序数据；
[0008]对所述历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；
[0009]利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；
[0010]利用所述离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；
[0011]根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。
[0012]在一种可能的实现方式中，所述预处理历史时序数据，包括：
[0013]采用降采样方法对所述历史时序数据进行平滑处理；
[0014]若平滑处理的历史时序数据为连续数据，对所述历史时序数据进行归一化处理；
[0015]若所述历史时序数据为离散数据，采用one
‑
hot向量对若所述历史时序数据进行编码。
[0016]在一种可能的实现方式中，所述根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型，包括：
[0017]将所述历史时序数据的特征，第n步状态转移的噪声强度α
n
和从目标分布中采集的样本输入到反向Markov链中，经过多次迭代得到下一时刻观测值；
[0018]以所述历史时序数据的特征作为构建离线条件扩散概率生成模型的条件，将所述下一时刻观测值作为输入，利用最大似然估计方法构建离线条件扩散概率生成模型。
[0019]在一种可能的实现方式中，所述利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新时序数据，包括：
[0020]基于所述新时序数据下一步状态转移等价于所述历史时序数据的τ步状态转移，得到变分下界差值；
[0021]在预设的历史时序数据和历史噪声序列的基础上，根据优化变分下界差值重构新噪声序列。
[0022]在一种可能的实现方式中，所述对所述历史时序数据进行特征提取，包括：
[0023]针对所述历史时序数据的时间方向的信息，利用不同一维卷积核的时间序列卷积层获取不同时间尺度的特征，融合不同时间尺度的特征得到时间方向特征；
[0024]针对所述历史时序数据的不同维度数据的特征，利用图注意力网络提取不同维度数据特征；
[0025]融合所述时间方向特征和不同维度数据特征得到所述历史时序数据特征。
[0026]在一种可能的实现方式中，所述对所述历史时序数据进行归一化处理，包括：
[0027][0028]其中，为下一时刻观测值，x
max
和x
min
为历史时序数据的最大值和最小值。
[0029]本公开的基于条件扩散概率生成模型的异常检测方法，通过预处理历史时序数据；对历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。能够减少生成模型本身函数的约束，以及在保持表达能力的同时减少迭代次数，实现更好的异常检测效果。
附图说明
[0030]附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
[0031]图1示出了根据本公开一实施例的基于条件扩散概率生成模型的异常检测方法流程图；
[0032]图2示出了根据本公开另一实施例的基于条件扩散概率生成模型的异常检测方法流程图；
[0033]图3a和图3b分别示出了根据本公开一实施例的历史时序数据特征提取网络结构；
[0034]图4示出了根据本公开一实施例的历史时序数据集中异常报警示意图；
[0035]图5示出了根据本公开一实施例的不同特征提取方法的TFDPM模型训练损失随迭代次数变化示意图。
[0036]图6示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随批样本数目变化示意图。
[0037]图7示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随生成模型Markov链长度变化示意图。
[0038]图8示出了根据本公开一实施例的不同特征提取方法的TFDPM模型检测效果随数据滑窗长度变化示意图。
具体实施方式
[0039]以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。
[0040]另外，附图的流程图示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件扩散概率生成模型的异常检测方法，其特征在于，所述方法包括：预处理历史时序数据；对所述历史时序数据进行特征提取，根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型；利用所述离线条件扩散概率生成模型和噪声状态转移矩阵重构新噪声序列；利用所述离线条件扩散概率生成模型和所述新噪声序列预测下一时刻的观测值；根据下一时刻的观测值和实际值的差值确定预设阈值，将所述离线条件扩散概率生成模型和所述预设阈值部署到线上进行实时异常检测。2.根据权利要求1所述的异常检测方法，其特征在于，所述预处理历史时序数据，包括：采用降采样方法对所述历史时序数据进行平滑处理；若平滑处理的历史时序数据为连续数据，对所述历史时序数据进行归一化处理；若所述历史时序数据为离散数据，采用one
‑
hot向量对若所述历史时序数据进行编码。3.根据权利要求1所述的异常检测方法，其特征在于，所述根据提取的特征和下一时刻观测值构建离线条件扩散概率生成模型，包括：将所述历史时序数据的特征，第n步状态转移的噪声强度α
n
和从目标分布中采集的样本输入到反向Markov链中，经过多次迭代得到下一时刻观测值；以所述...

【专利技术属性】
技术研发人员：夏元清，闫媞锦，詹玉峰，邹伟东，刘坤，戴莉，吴楚格，郭泽华，李怡然，张元，张金会，闫莉萍，孙中奇，翟弟华，崔冰，高寒，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：