System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 异常流量检测网络的训练方法和异常流量检测方法技术_技高网

异常流量检测网络的训练方法和异常流量检测方法技术

技术编号:43005637 阅读:6 留言:0更新日期:2024-10-18 17:13
本发明专利技术提供了一种异常流量检测网络的训练方法和异常流量检测方法,其通过特征提取模块对获取的训练样本进行处理得到训练样本对应的第一隐藏向量和第二隐藏向量,并将第一隐藏向量传输至分类器模块,将第二隐藏向量分别传输至双向流模块和分类器模块;通过双向流模块对第二隐藏向量沿归一化方向经多个可逆和可微函数处理后得到归一化结果,并在归一化结果上添加噪声后沿生成方向经多个可逆和可微函数处理后得到合成异常样本,并将合成异常样本输出至分类器模块;根据第一隐藏向量、第二隐藏向量和合成异常样本、预设的三元组损失函数对分类器模块进行迭代训练,训练得到的网络可以在不具有异常先验知识的情况下生成伪异常样本,实现异常检测。

【技术实现步骤摘要】

本专利技术涉及数据安全检测,具体涉及一种异常流量检测网络的训练方法和异常流量检测方法


技术介绍

1、互联网的快速发展带来了网络流量的爆炸式增长,这导致了各种类型的异常流量威胁着网络安全。为了管理网络资源、维护网络基础设施的安全性,监督方法被用于检测异常流量。然而,有监督异常检测在异常流量数据采集和获取标签上存在困难。为了解决这些问题,半监督方法被应用在异常检测领域,仅对正常流量进行训练来检测异常。akcay等提出了基于对抗性训练的半监督异常检测方法ganomaly:引入了一种新的编码器-解码器-编码器架构模型用于通过对抗性训练框架实现异常检测。在训练过程中,最小化这些图像与潜在向量之间的距离有助于学习正态样本的数据分布,从该学习数据分布获得的较大距离度量表示该分布的异常值。

2、然而,ganomaly生成的网络流量需要大量的数据,而且现有技术只能生成与收集数据分布相似的网络流量,这使得模拟不同分布的异常流量具有挑战性。特别是,ganomaly在以下方面仍存在问题,首先是在模拟异常样本方面,异常样本的种类不能穷尽且难以获得。当今互联网中的数据样本的数量、种类、规模和复杂性呈现爆炸式增长,获取大量数据的成本高。其次是在重构输入样本方面,重构输入样本时存在一些常见的问题,在重构过程中,重构后的样本与原始样本可能存在信息丢失;如果重构模型过于复杂或训练数据过少,模型可能会记住训练集中的噪声和特定细节,而不是学习数据的真实结构。这会导致在新数据上的泛化能力差。最后是在定义异常得分方面,ganomaly采用基于重构误差的方法检测异常。即模型学习将输入数据重构为输出数据,然后通过比较输入数据与输出数据之间的差异来确定异常得分。这种方法受模型复杂性限制,需要适当的超参数选择,难以处理新的异常模式,对数据分布的假设较强,当异常数据与正常数据有较大差异或存在噪声时,检测性能将会被影响。


技术实现思路

1、为了解决现有技术中存在的上述问题,本专利技术提供了一种异常流量检测网络的训练方法和异常流量检测方法。具体包括:

2、第一方面,本专利技术提供了一种异常流量检测网络的训练方法,应用于异常流量检测网络,该网络包括:

3、特征提取模块、双向流模块和分类器模块;

4、该方法包括:

5、通过特征提取模块对获取的训练样本进行处理,得到训练样本对应的第一隐藏向量和第二隐藏向量,并将第一隐藏向量传输至分类器模块,将第二隐藏向量分别传输至双向流模块和分类器模块,训练样本为根据符合正态分布的正常流量数据包确定的;

6、通过双向流模块对第二隐藏向量沿归一化方向经多个可逆和可微函数处理后,得到归一化结果,并在归一化结果上添加噪声后沿生成方向经多个可逆和可微函数处理后,得到合成异常样本,并将合成异常样本输出至分类器模块;

7、根据第一隐藏向量、第二隐藏向量和合成异常样本,以及预设的三元组损失函数对分类器模块进行迭代训练。

8、第二方面,本专利技术还提供了一种异常流量检测方法,包括:

9、将获取的待检测的流量数据包输入根据如第一方面所提供的任一方法训练得到的异常流量检测网络中,得到检测结果。

10、第三方面,本专利技术还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

11、存储器,用于存放计算机程序;

12、处理器,用于执行存储器上所存放的程序时,实现第一方面或第二方面所提供的任一方法。

13、第四方面,本专利技术提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现第一方面或第二方面所提供的任一方法。

14、本专利技术的有益效果:

15、本专利技术提供的异常流量检测网络的训练方法和异常流量检测方法,包括通过特征提取模块对获取的训练样本进行处理,得到训练样本对应的第一隐藏向量和第二隐藏向量,并将第一隐藏向量传输至分类器模块,将第二隐藏向量分别传输至双向流模块和分类器模块,训练样本为根据符合正态分布的正常流量数据包确定的;通过双向流模块对第二隐藏向量沿归一化方向经多个可逆和可微函数处理后,得到归一化结果,并在归一化结果上添加噪声后沿生成方向经多个可逆和可微函数处理后,得到合成异常样本,并将合成异常样本输出至分类器模块;根据第一隐藏向量、第二隐藏向量和合成异常样本,以及预设的三元组损失函数对分类器模块进行迭代训练,通过该方法训练得到的异常流量检测网络可以在不具有异常先验知识的情况下生成伪异常样本,从而实现异常数据的检测,此外,对比于使用完全监督学习的异常检测方法,该方法通过利用容易收集的正常数据而不需要标记异常流量来实现有效的异常检测,该方法使用半监督学习,无需大量有标记的正常流量和异常流量数据,解决了异常样本采集困难的问题,该方法训练得到模型针对流量数据设计了特征提取器和双向流模块,通过相应模块能够将数据包转换为标准正态分布空间,通过向量运算来改变流量数据包的属性以模拟异常流量,从而解决输入样本重构效率低、效果差的问题。

16、以下将结合附图及实施例对本专利技术做进一步详细说明。

本文档来自技高网...

【技术保护点】

1.一种异常流量检测网络的训练方法,其特征在于,应用于异常流量检测网络,所述网络包括:

2.根据权利要求1所述的方法,其特征在于,所述特征提取模块,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述特征提取模块对获取的训练样本进行处理,得到所述训练样本对应的第一隐藏向量和第二隐藏向量,并将所述第二隐藏向量分别传输至所述双向流模块和所述分类器模块,将所述第一隐藏向量传输至所述分类器模块,包括:

4.根据权利要求3所述的方法,其特征在于,所述训练损失函数的表达式为:

5.根据权利要求1-4任一所述方法,其特征在于,所述根据所述第一隐藏向量、所述第二隐藏向量和所述合成异常样本,以及预设的三元组损失函数对所述分类器模块进行迭代训练,包括:

6.根据权利要求5所述的方法,其特征在于,所述三元组损失函数的表达式为:

7.根据权利要求1-4或6任一所述方法,其特征在于,所述通过所述特征提取模块对获取的训练样本进行处理之前,所述方法还包括:

8.一种异常流量检测方法,其特征在于,包括:

9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法。

...

【技术特征摘要】

1.一种异常流量检测网络的训练方法,其特征在于,应用于异常流量检测网络,所述网络包括:

2.根据权利要求1所述的方法,其特征在于,所述特征提取模块,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过所述特征提取模块对获取的训练样本进行处理,得到所述训练样本对应的第一隐藏向量和第二隐藏向量,并将所述第二隐藏向量分别传输至所述双向流模块和所述分类器模块,将所述第一隐藏向量传输至所述分类器模块,包括:

4.根据权利要求3所述的方法,其特征在于,所述训练损失函数的表达式为:

5.根据权利要求1-4任一所述方法,其特征在于,所述根据所述第一隐藏向量、所述第二隐藏向量和所述合成异常样本,以及...

【专利技术属性】
技术研发人员:郑昱周影刘洋练兴林孙雅霖杜萌董冰宇
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1