基于深度强化学习的网络攻击检测方法技术

一种基于深度强化学习的网络攻击检测方法。对原始数据集进行预处理，再对Agent进行构造，包括初始化Agent所处环境、规定智能体与环境的交互方式、训练策略和价值函数。根据状态对特征进行选择，将选择好的特征输入到检测模型中进行预测。将检测结果作为反馈回传给智能体Agent训练模块，并计算动作的Q(s，a)，刷新Q表。重复直到最优特征子集中包含的特征数达到最大，即模型收敛；或训练步长完成，生成最优特征子集。针对新型特征设计的处理方法能够反映出新型特征对于入侵攻击检测的重要性，若重要则会部署新型特征的专属最优特征子集，这样一来体现了最优特征子集的灵活性，可针对不同的攻击情形自发的采取相应措施。攻击情形自发的采取相应措施。攻击情形自发的采取相应措施。

【技术实现步骤摘要】
基于深度强化学习的网络攻击检测方法


[0001]本专利技术涉及一种基于深度强化学习的网络攻击检测方法，属于信息安全


技术介绍

[0002]目前关于网络攻击检测方法的研究已经数不胜数，但多数的研究方法并没有重视对原始数据的特征处理，一味的强调检测算法的改进。本着“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”的原则，本专利技术针对原始数据的特征处理问题展开研究。特征选择(Feature Selection)方法是针对原始数据和特征，通过剔除不相关、冗余、异常特征以及意义渺小的特征，提炼出最优特征子集，进一步提高模型训练精度，减少运行时间与资源消耗，属于一种搜索寻优的问题。目前传统的特征选择方法主要分为三大类，如Filter过滤法、Wrapper包装法、Embedded嵌入法，具体来说包括皮尔逊(Pearson)相关系数、卡方校验、距离测量、方差选择等方法，主要以数学特征为基础，结合搜索技术、统计学等多学科实现。虽然取得了可观的研究成果，但也存在着相应的缺点，比如计算过程相对复杂，数据特征会由于维度的增加呈指数级趋势增长；不能适应数据的发展变化，属于静态方法。因此，在数据特征动态发展变化的时代，应灵活选取最优特征集，此外，一经确定的最优特征集也不应该是一尘不变的，而是应该着眼于现实情况提出不同的方法来对此进行优化与更新。
[0003]目前正处于大数据时代，面对海量数据、高维数据，传统的特征选择方法已很难满足现实需求。而随着数据挖掘、机器学习等技术的发展，对特征的选取标准已不单单停留在通过数学方式计算各个数据特征之间的相关性。与此同时，面对动态变化的网络环境，越来越多的具备新型特征的入侵攻击开始出现，攻击者可以从新型特征入手，设计攻击手段来绕过目前已有的防御检测措施，从而造成严重的信息泄露。例如车载网络、卫星通信网络等拓扑结构动态变化的网络，再加上大规模的训练数据，可能会出现最优特征集的搜索过程异常缓慢，完全跟不上环境变化的速度。此外，若不考虑新型特征，就算根据已有特征得到了最优特征集，那么攻击者依然可以利用新型特征设计入侵攻击，进而获取敏感数据。
[0004]综上所述，传统的特征选择方法已不能很好的选取最优特征集，进而不能很好的提供抵御。后来有学者提出了基于简单机器学习的特征选择算法、基于传统深度学习模型的特征选择以及相关的几种改进算法来解决海量高维特征、新型特征的带来的安全问题，但是也存在一定的缺陷，比如Nugroho等人在《AReview of intrusion detection system in IoT with machine learning approach:current andfuture research.》中分析整理了近5年在物联网设备中研究入侵检测时，各种机器学习算法的表现情况，其中，支持向量机(SVM)与人工神经网络(ANN)对入侵分类过程的投入最多，产出也不错，可以获得较好的准确率等；Kilincer等人在《Machine learning methods for cyber security intrusion detection:Datasets and comparative study.》中针对多种入侵检测开源数据集展开研究，使用K
‑
最近邻(KNN)与决策树(DT)算法进行分类，取得了更加成功的研究成果，该研究
被认为有助于在人工智能的基础上使用机器学习方法来帮助研究入侵检测机制；而Hosseini等人在《New hybrid method for attack detection using combination of evolutionary algorithms,SVM,and ANN.》中，为了提高训练效果与性能，先后结合了SVM与ANN、ANN与决策树(DT)，最终成功对特征进行降维，并优化了训练时间。虽然以上方法速度较快，但它们不能提取深层次的网络数据信息，也不能识别新的网络攻击，无法应用于环境高度变化的网络；而Akhtar等人在《Deep learning
‑
based framework for the detection of Cyberattack using feature engineering》中采用卷积神经网络(CNN)分类模型对DoS攻击进行检测，研究充分提取了数据特征，取得了较高的准确率；Mehedi等人在《Deep transfer learning based intrusion detection system for electric vehicular networks》中提出一个基于深度迁移学习的LeNet模型，与主流机器学习、深度学习和基准深度迁移学习模型相比，大大提高了入侵检测的精度，并伴有较好的安全性能。使用深度学习可以利用多层的神经网络提取原始数据的深刻特征，并通过连续的迭代训练来识别网络攻击。这样一定程度上虽然可以有效处理海量数据特征，但其本质仍属于静态模型，对未知的新型特征的处理仍然存在缺陷。

技术实现思路

[0005]为了有效解决针对海量特征、新型未知特征的选择难题，本专利技术提出了一种基于深度强化学习的网络攻击检测方法，主要应用于入侵攻击的检测领域，其中的灵活性就体现在对新型特征的处理方式。该方案首先提出特征选取与异常检测相结合的方法，将异常检测的结果作为智能体Agent的反馈，根据反馈设计奖励机制，智能体Agent为每一特征设置了对应的奖励，这样一来，模型收敛后就可以根据训练的经验直接选取出最优特征集，此时我们将此最优特征集设定为通用最优特征子集(固定该集合长度为max)。然后，本专利技术针对新型特征进行了相关的处理，能够防止攻击者通过新型特征达到敏感信息泄露的目的。当出现新型特征时，先将其假定为最优特征子集的一员(考虑到特征之间的相关性，将新型特征作为首个特征)，然后重复步骤一选出max
‑
1个特征组成最优特征子集。如此一来，相较于通用最优特征子集，若检测指标得到了明显提升，就将该最优特征子集设定为“某新型特征”或“以该新型特征为核心的新型入侵攻击”的专属最优特征子集；反之则认定该新型特征并不具备大的研究意义，可暂时性的忽略，后续检测仍采用通用特征子集。最后，由于算法结合了深度学习的感知能力与强化学习的决策能力，所以本专利技术选取的最优特征子集较为灵活，可以决定是否有意义针对新型特征设计专属特征子集，因此可以适用于动态变化的网络环境，检测新型的入侵攻击。
[0006]本专利技术的技术方案：
[0007]一种基于深度强化学习的网络攻击检测方法，步骤如下：
[0008](1)特征选择智能体环境状态模型的构造；
[0009]环境状态模型即智能体所需要的环境，包括奖励函数的定义与交互反馈规则的设计，具体内容如下：
[0010](1.1)首先使用U
t
来代表第t时刻智能体获得的折扣未来累积奖励，然后考虑具体的应用背景；
[0011]折扣未来累积奖励U
t
：智能体能感知环境的状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的网络攻击检测方法，其特征在于，步骤如下：(1)特征选择智能体环境状态模型的构造；环境状态模型即智能体所需要的环境，包括奖励函数的定义与交互反馈规则的设计，具体内容如下：(1.1)首先使用U
t
来代表第t时刻智能体获得的折扣未来累积奖励，然后考虑具体的应用背景；折扣未来累积奖励U
t
：智能体能感知环境的状态并根据环境提供的反馈信号r
t
，通过学习选择动作，最大化折扣未来积累奖励；通过引入折扣因子γ来减小步骤之间的强关联性，将折扣未来累积奖励U
t
作为折扣未来累积奖励，其表达式为：其中，R
t
是第t时刻智能体接受的反馈，γ∈[0,1]是折扣系数，用于提升即时奖励而不是延迟奖励；当γ接近0时，表示更重视当下的回报；当γ接近1时，表示更重视未来的回报；(1.2)在定义好奖励函数后，设计智能体Agent与环境的交互反馈规则，即奖励机制；设计一种双奖励机制，考虑的评估指标包括检测结果的准确率accuracy、精确率precision、召回率recall以及模型的运行时间time，并设计如下的奖励公式：其中，ω表示衡量对应评估指标的权重矩阵，用来衡量各评估指标的重要性、设置偏好程度以及优先级等；R表示奖励矩阵，每个评估指标对应一个奖励分量；r_a表示准确率的反馈，r_p表示精确率的反馈，r_r表示召回率的反馈，r_t表示运行时间的反馈；在每一次迭代时，把新选择的特征添加到已选择的特征集，如果智能体使用新特征集训练出来的指标有所降低，那么就把新特征的reward设置为
‑
100；如果各项指标有所提升，首先记录提升过后的各项检测指标对应的反馈，即准确率r_a、精确率r_p、召回率r_r、运行时...

【专利技术属性】
技术研发人员：姚琳，田子缘，吴国伟，崔桂彰，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：