System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于因果遗传算法的网络异常流量特征筛选方法及系统技术方案_技高网

基于因果遗传算法的网络异常流量特征筛选方法及系统技术方案

技术编号:42690710 阅读:14 留言:0更新日期:2024-09-10 12:40
本发明专利技术公开了一种基于因果遗传算法的网络异常流量特征筛选方法及系统,本发明专利技术方法包括首先根据特征维度生成初始父代种群;其次利用傅里叶特征转换去除特征之间的虚假关联后再基于因果推理计算特征与标签之间的因果效应权重;然后定义了检测平衡指数、最优特征子集指数、因果效应权重作为适应度指标进行迭代优化;最后基于参考点的非支配排序选择个体形成新的种群,重复迭代优化并将最终选择得到的个体作为筛选出的最优流量特征以用于网络异常检测。本发明专利技术旨在实现基于因果遗传算法的网络异常流量特征筛选,使其既能去除冗余信息以提升检测速率,又可以较好的提高攻击检测系统的平衡性,并具备较好的稳定和泛化性能。

【技术实现步骤摘要】

本专利技术涉及网络安全检测,具体涉及一种基于因果遗传算法的网络异常流量特征筛选方法及系统


技术介绍

1、建立一个攻击检测系统并有效的识别出各种网络攻击行为,在当今网络安全中变得尤为重要。

2、但是目前最新的检测系统仅仅针对网络攻击的整体检测精度和特征降维而忽略了检测不平衡和特征子集优化的两个问题。例如,现有的检测数据集中因部分攻击类型的样本收集难度较大而导致其实例数较少,普遍存在着数据不平衡(即,不同类别的样本数量存在明显差异)等问题。但是以往的特征选择方法往往偏向于实例数较多的标签和特征之间的相互影响,而忽略了实例数较少的标签与特征之间的关联性,这种状况加剧了检测不平衡。同时,随着网络流量的大幅度增长,其所包含的特征信息也随之增多,但这些信息中却也夹杂着更多的噪声和冗余信息。然而这些信息与有用信息有着千丝万缕的联系,带来了大量的虚假关联关系,这不仅增加了攻击检测的计算复杂度、时间消耗,还使得检测结果不具备因果可解释性(因果可解释性主要关注检测结果的可解释性与原因分析。它旨在通过构建检测模型来揭示样本中网络攻击标签与流量异常特征之间的因果关系,从而清楚的理解模型给出某个检测结果的原因),给网络安全防御带来了严重的挑战。

3、由于高维数据中通常包含大量的噪声和不相关的冗余特征,这不仅增加了检测系统的计算复杂度,而且导致了过拟合和检测精度不高等问题。基于此,许多研究者试图通过对特征进行筛选来消除噪声和冗余特征的不良影响。首先,特征选择可被认为是一个目标优化的问题。群体智能通过个体之间的相互协作对特定目标进行寻优而筛选出最优特征子集的方法可应用于检测分类。其次,机器学习等方法可以使模型不断的学习、适应不断变化的网络环境而从数据中自动寻找规律提取出使得检测分类性能更优的特征子集。虽然文献(zhang, hao, et al. "a network anomaly detection algorithm based on semi-supervised learning and adaptive multiclass balancing." the journal ofsupercomputing (2023): 1-36.)等方法降低了特征维度、计算和时间开销。但部分方法名为筛选出了最优特征子集,却并没有彻底删除伪相关(即与攻击标签不具备因果关系)的特征,甚至删除了部分与攻击具有真正因果关系的特征而导致检测系统的性能过拟合或无法提高到一个理想的高度。

4、为了解决数据不平衡带来的问题,许多研究尝试从数据层面改变类别样本的分布解决不平衡问题。典型地,liu等人提出了一种新的困难集采样技术算法(参见: liu, lan,et al. "intrusion detection of imbalanced network traffic based on machinelearning and deep learning." ieee access 9 (2020): 7550-7563.),使用kmeans算法对困难集合中的多数样本进行压缩,以减少多数类而达到类别平衡。但是人工合成样本容易产生模型过拟合的问题,而人工删除样本容易导致多数类样本的重要信息丢失。为了解决数据层面的这些问题,bedi等人(参见:bedi p, gupta n, jindal v. siam-ids:handling class imbalance problem in intrusion detection systems using siameseneural network[j]. procedia computer science, 2020, 171: 780-789.)通过改变分类算法,从算法层面使得检测系统更着重于少数类从而达到检测平衡,该系统能够检测到nsl-kdd数据集中实例数较少的r2l和u2r攻击而无需使用传统的类别平衡技术。虽然通过更看重少数类样本能够有效的避免数据层面的过拟合和丢失信息,但对于少类较多的多分类问题仍然有部分类别无法检测到,同时无法保证多数类精度的问题。

5、虽然机器学习等技术的发展提升了流量异常检测的适应能力和检测能力,通过去除噪声信息等方法在算法层面发现了网络攻击与异常特征之间的相关关系;在一定程度上解决了数据层面的样本不平衡和信息冗余等问题,相比以往方法具有更高的检测率。但是机器学习却无法排除噪声等因素带来的强虚假关联,无法解耦特征的相关性而使得检测模型缺乏稳定性;基于关联关系以解决流量样本不平衡的生成方式带来了检测偏差和不可解释的问题。导致这些问题的关键因素是由于以往的检测方法只基于关联关系进行推理而忽视了因果关系,这种统计意义上的关联关系其实质可能并不具备因果关联,而是一种强的虚假关联关系。这种虚假关系不仅因无法提供可解释性而不能提供强有力的决策,还因虚假关联特征在不同网络环境中的表达不一样而导致检测结果也随之变化,引发检测方法或模型在鲁棒性、稳定性、因果可解释性和泛化性等方面的问题。


技术实现思路

1、本专利技术要解决的技术问题:针对现有技术的上述问题,提供一种基于因果遗传算法的网络异常流量特征筛选方法及系统,本专利技术旨在实现基于因果遗传算法的网络异常流量特征筛选,使其既能去除冗余信息以提升检测速率,又可以较好的提高攻击检测系统的平衡性,并具备较好的稳定和泛化性能。

2、为了解决上述技术问题,本专利技术采用的技术方案为:

3、一种基于因果遗传算法的网络异常流量特征筛选方法,包括:

4、s101,根据待筛选的流量特征初始化生成m个个体组成的父代种群p,其中个体为特征编码形成的染色体,进化迭代数gen为1;

5、s102,从父代种群p中随机选择n个个体组成子代种群s;

6、s103,将父代种群p和子代种群s合并生成包含m+n个个体的种群q;

7、s104,首先判断种群q中的所有个体已经排序,若尚未排序,则首先为种群q中的所有个体计算适应度,包括:根据因果推理求出特征与结果标签之间的因果关联权重w,对父代种群p进行解码,选择特征进行训练和检测以求出检测平衡指数、最优特征指数,最后把检测平衡指数、最优特征指数和因果关联权重w一起作为多维度的适应度指标;然后基于个体的适应度和关联参考点对所有个体进行约束支配排序;

8、s105,在排序后种群q中选择n个个体构成新的父代种群p;

9、s106,判断进化迭代数gen小于预设阈值genmax是否成立,若成立则将进化迭代数gen加1,跳转步骤s102;否则,将最终选择得到的个体作为筛选出的最优流量特征以用于网络异常检测,结束并退出。

10、可选地,步骤s101之前还包括通过流量特征的傅里叶变换转换特征值去除流量特征之间的虚假关联,且流量特征的傅里叶变换转换特征值的计算函数表达式如下:

11、,

12、上式中,表示随机傅里叶特征的函数空间,∈,为流量特征的特征值,为傅里叶变换转换特征值,和为随机数,随机本文档来自技高网...

【技术保护点】

1.一种基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,包括:

2.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤S101之前还包括通过流量特征的傅里叶变换转换特征值去除流量特征之间的虚假关联,且流量特征的傅里叶变换转换特征值的计算函数表达式如下:

3.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤S104中根据因果推理求出特征与结果标签之间的因果关联权重W:

4.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤S104中选择特征进行训练和检测以求出检测平衡指数、最优特征指数时,所述检测平衡指数的计算函数表达式为:

5.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤S104中基于个体的适应度和关联参考点对所有个体进行约束支配排序是指基于个体的适应度和关联参考点对所有个体采用NSGAIII算法进行约束支配排序。

6.根据权利要求5所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,所述关联参考点的确定包括:

7.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤S105中在排序后种群Q中选择N个个体构成新的父代种群P包括:

8.一种基于因果遗传算法的网络异常流量特征筛选系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~7中任意一项所述基于因果遗传算法的网络异常流量特征筛选方法。

9.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序/指令,其特征在于,该算机程序/指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述基于因果遗传算法的网络异常流量特征筛选方法。

10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该算机程序/指令被编程或配置以通过处理器执行权利要求1~7中任意一项所述基于因果遗传算法的网络异常流量特征筛选方法。

...

【技术特征摘要】

1.一种基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,包括:

2.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤s101之前还包括通过流量特征的傅里叶变换转换特征值去除流量特征之间的虚假关联,且流量特征的傅里叶变换转换特征值的计算函数表达式如下:

3.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤s104中根据因果推理求出特征与结果标签之间的因果关联权重w:

4.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤s104中选择特征进行训练和检测以求出检测平衡指数、最优特征指数时,所述检测平衡指数的计算函数表达式为:

5.根据权利要求1所述基于因果遗传算法的网络异常流量特征筛选方法,其特征在于,步骤s104中基于个体的适应度和关联参考点对所有个体进行约束支配排序是指基于个体的适应度和关联参考点对所有个体采用nsgaiii算法进行约束支配排序...

【专利技术属性】
技术研发人员:曾增日康爱梅郑键刘旭辉刘云连曾志宏
申请(专利权)人:湖南人文科技学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1