System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于网络空间安全,涉及深度学习、异常检测和规则提取,具体涉及一种面向封闭内部网络的可解释异常流量检测方法。
技术介绍
1、具有特殊用途的封闭内部网络,拓扑结构封闭性强,节点通信行为规律性强,容易遭受复杂多变的网络威胁。根据kill-chain理论,对封闭内部网络的攻击包含“侦察”、“渗透”、“载荷投递”等多个步骤,这样复杂的攻击流程往往会导致内部网络流量的异常波动,因此开展异常流量检测是发现网络威胁的必要前置措施。
2、在实践中,由于可能的攻击手法日新月异,防守方在网络攻防博弈中存在天然的滞后性,目前常用的黑名单式规则库、有监督学习模型只能发现已知类型的异常流量,不能有效识别未知新型异常流量。因此,基于良性流量分析的无监督异常流量检测技术越来越受到关注。
3、相对于异常流量,良性流量的特征相对稳定,变化较小。并且,由于实施网络行为的目的不同,无论多么新型的异常流量,其特征分布与良性流量之间仍存在差异。无监督学习模型可以拟合良性流量的深层分布模式,不符合该模式的输入被判定为异常,这种方法被证明能够有效识别未知新型异常流量。典型相关工作包括:基于密度的方法lof【1】、基于经验累积分布的方法ecod【2】、基于特征向量夹角的方法abod【3】;基于划分的方法iforest【4】、基于单分类超平面的方法ocsvm【5】;基于重构误差的方法auto encoder【6】。
4、然而,现有无监督异常检测技术存在一些缺点。基于密度、经验累积分布、特征向量夹角的方法均对良性样本的分布提出了先验假设
5、现有技术最严重的缺点体现在可解释性的匮乏上。典型无监督学习模型的决策过程对人类来说是难以理解甚至不可理解的,它更接近于一个黑箱模型,决策结果的合理性无法被实现充分评估,安全操作人员无法根据良性流量中的先验评估、矫正模型决策结果。对封闭性强、通信行为约束性强的内部网络来说,对异常流量检测模型的可解释性要求较强,基于黑箱模型的异常检测结果是难以信赖的,明确、可解释的白名单规则显然是最理想的异常流量检测方案。但传统白名单规则库基于专家知识实现,要接近复杂无监督学习模型的检测性能需要大量的人力和时间投入。
6、一些典型的无监督学习异常流量检测方法的部署需要专门的软硬件支持,如图形计算卡、cuda并行计算库等。然而,封闭内部网络的bm要求高,海外厂商的图形计算卡、开源cuda库的引入,不利于内网的网络资产供应链的安全管控。
7、现有基于无监督学习实现的异常流量检测模型中,往往包含一些需要根据异常样本调优的超参数。然而,针对封闭内部网络的攻击行为往往来自对手国家级网络攻防组织,其产生的异常流量样本隐蔽性强,难以被收集,这给超参数调优带来巨大困难。
8、参考文献
9、[1]markus m.breunig,hans-peter kriegel,raymond t.ng,and sander.2000.lof:identifying density-based local outliers.sigmod rec.29,2(june2000),93–104.
10、[2]z.li,y.zhao,x.hu,n.botta,c.ionescu and g.h.chen,"ecod:unsupervisedoutlier detection using empirical cumulative distribution functions,"in ieeetransactions on knowledge and data engineering,vol.35,no.12,pp.12181-12193,1dec.2023,doi:10.1109/tkde.2022.3159580.
11、[3]hans-peter kriegel,matthias schubert,and arthur zimek.2008.angle-based outlier detection in high-dimensional data.in proceedings of the 14thacm sigkdd international conference on knowledge discovery and data mining(kdd'08).association for computing machinery,new york,ny,usa,444–452.
12、[4]f.t.liu,k.m.ting and z.-h.zhou,"isolation forest,"2008eighth ieeeinternational conference on data mining,pisa,italy,2008,pp.413-422,doi:10.1109/icdm.2008.17.
13、[5]a.bounsiar and m.g.madden,"one-class support vector machinesrevisited,"2014international conference on information science&applications(icisa),seoul,korea(south),2014,pp.1-4,doi:10.1109/icisa.2014.6847442.
14、[6]j.zhai,s.zhang,j.chen and q.he,"autoencoder and its variousvariants,"2018ieee international conference on systems,man,and cybernetics(smc),miyazaki,japan,2018,pp.415-419,doi:10.1109/smc.2018.00080.
技术实现思路
1、本专利技术针对现有技术对于封闭内部网络的异常流量检测可解释性差,超参数调优受限的问题,提出一种面向封闭内部网络的可解释异常流量检测方法,利用无监督深度学习的中间输出提取白名单规则的方法,借助深度学习技术保障检测精度,以if-then规则库的形式提供明确的决策过程,兼顾异常检测精度与检测结果的可解释性。
2、面向封闭内部网络的可解释异常流量检测方法,包括以下步骤:
3、步骤一,通过若干良性流量样本训练深度自编码器,学习良性流量中的深层模式本文档来自技高网...
【技术保护点】
1.一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,良性流量样本经过重构扩展,划分类簇的过程具体为:
3.根据权利要求1所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,每个子分布边界规则的合并过程为:
4.根据权利要求3所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,去除冗余的操作具体为:若整体规则库中,存在某个子分布a的边界规则完全包含在另一个子分布b的边界规则内,则去除子分布b的边界规则,保留子分布a的边界规则。
5.根据权利要求1所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,本专利技术所建立的白名单规则库对真实内网流量进行异常检测,真阳性率达到90%以上。
【技术特征摘要】
1.一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,良性流量样本经过重构扩展,划分类簇的过程具体为:
3.根据权利要求1所述的一种面向封闭内部网络的可解释异常流量检测方法,其特征在于,每个子分布边界规则的合并过程为:
4.根据权利要求3所述的...
【专利技术属性】
技术研发人员:陆月明,刘洋,姚琳元,吴昊,何涛,阎小涛,樊明睿,蔡昀,史玮东,左金鑫,
申请(专利权)人:北京邮电大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。