一种基于交互式博弈的网络流量异常检测方法技术

本发明专利技术公开了一种基于交互式博弈的网络流量异常检测方法，结合强化学习算法，在训练过程中通过反馈使得模型接收外界的奖惩信号，从而对自身训练起到引导的作用，使模型指导体和模型之间的交互行为达到动态平衡状态，从而控制交互和反馈的频次。本发明专利技术的网络流量数据处理方法，采用交互式博弈的方式，模型指导体根据模型判断标准对模型的分析与决策进行反馈和评估，进而使得模型不断的在根据外部信息训练过程中获得更加精确的训练结果。为了更好的使得模型指导体和模型之间进行合作，建立模型合理的交互策略以及模型合理的反馈策略，使用动态贝叶斯博弈模型建立了一个二者间的信誉评估和更新机制，通过博弈建立起二者模型之间的均衡态。间的均衡态。间的均衡态。

【技术实现步骤摘要】
一种基于交互式博弈的网络流量异常检测方法


[0001]本专利技术涉及网络流量异常检测
，更具体的说是涉及一种基于交互式博弈的网络流量异常检测方法。

技术介绍

[0002]任何的网络流量异常检测模型都要具备适应不同网络场景的能力，随着网络环境的变化，模型要做出相应变化。在传统的网络流量异常检测中，将某个场景中的数据进行定量采集后，将其作为预先设计的机器学习算法模型的输入，进行模型的训练，当模型训练完备后，将当前模型发布到正式生产环境中使用，在使用过程中模型不具备针对当前网络的自适应能力。对于新型的攻击模型无法识别时，发出告警将对于当前数据的检测和排查工作交由网络运维人员处理。面对当下比以往规模更大、结构更复杂的网络基础设施、基础服务和线上业务环境，该过程加大了网络运维人员的工作量，已经无法满足当前监控和管理任务的需要。
[0003]因此，如何提高网络流量异常检测的自适应能力是本领域技术人员亟需解决的问题。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种基于交互式博弈的网络流量异常检测方法，结合强化学习算法，在训练过程中通过反馈使得模型接收外界的奖惩信号，从而对自身训练起到引导的作用，并采集外部交互数据，建立博弈模型，提高训练精确度，且提交网络流量异常检测的自适应能力。
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]一种交互式博弈的网络流量异常检测方法，包括以下步骤：
[0007]步骤1：在局域网内采集网络数据，构建模拟网络拓扑，在模拟网络拓扑中构建虚拟机模拟客户机和服务器之间数据包传输过程中的网络攻击，采集数据包和攻击数据；
[0008]局域网内网络数据采集，在局域网内建立模拟网络拓扑，通过虚拟机在特定的网络环境中模拟客户机和服务器之间发送数据包的过程，将整个过程中发送的数据包作为采集对象；在当前模拟环境下发送数据包的过程中进行网络攻击，模拟出指定网络攻击，其中模拟客户机共9台，服务器共1台。其中9台客户机全部作为攻击者，服务器作为攻击的受害者出现在网络拓扑中。在攻击者机器中，通过hping3模拟DoS攻击，每10毫秒同时向服务器发送一个数据包帧，在服务器端使用tcpdump对流量包数据进行采集，其中服务器端采集的流量包数据，与上述发给的数据包、数据包帧是同一种数据；其中采集的数据包共包含两部分，分别是TCP连接相关的特征和基于时间的网络流量统计特征，主要采集的网络数据有duration(连接持续时间)，service(目标主机的网络服务类型)，flag(连接状态：正常/错误)，src_bytes(目标主机到源主机数据的字节数)，wrong_fragment(错误分段的数量)，mem_defaul(默认TCP数据接收窗口大小)，serror_rate(SYN错误连接的百分比)，rerror_
rate(REJ错误连接的百分比)；
[0009]步骤2：根据所述网络数据基于强化学习进行训练构建交互式引导异常检测模型，预设博弈要素，利用机器学习方法对交互式引导异常检测模型进行交互博弈；
[0010]根据博弈要素利用机器学习方法令交互式引导异常检测模型与模型指导体进行交互博弈；交互式引导异常检测模型为根据步骤1中的网络数据进行训练的神经网络模型；
[0011]所述博弈要素包括博弈策略和博弈收益；
[0012]博弈策略包括交互式引导异常检测模型的模型策略集和模型策略概率分布，以及交互策略集和交互策略概率分布；
[0013]模型策略集为[m0，m1，m2]，其中m0表示不发起交互，m1表示发起交互且自身将该数据判断为异常数据，m2表示发起交互且自身将该数据判断为正常数据；
[0014]模型策略概率分布为[p0，p1，p2]，p0+p1+p2＝1；
[0015]运维交互策略集为[a0，a1，a2]，其中a0表示不反馈，a1表示反馈且反馈内容为数据类别为正常数据，a2表示反馈并且反馈内容为数据类别为异常数据；
[0016]运维交互策略概率分布为[q0，q1，q2]，q0+q1+q2＝1；
[0017]预设博弈收益；
[0018]预设博弈过程的收益；博弈过程包括单步博弈模型失败、单步博弈模型胜出、模型进攻成功、博弈静默、交互进攻失败和交互进攻成功；
[0019]单步博弈模型失败收益：模型收益等于交互的成本加上给予模型相应的惩罚P；交互收益为系统总资源R减去给予模型反馈所需要的成本
[0020]单步博弈模型胜出收益：模型收益等于系统总资源R减去交互的成本交互收益等于相应的惩罚P加上反馈所需要的成本
[0021]模型进攻成功收益：模型收益为系统总资源R减去交互所需要的成本交互收益为相应的惩罚P；
[0022]博弈静默收益：模型收益和交互收益都为0；
[0023]运维交互进攻失败收益：交互收益为模型收益为0；
[0024]运维交互进攻成功收益：交互收益为模型收益为0；
[0025]步骤3：预设交互规则，采集环境奖励和交互反馈奖励，根据所述环境奖励、所述运维交互反馈奖励和所述交互规则对所述交互式引导异常检测模型进行训练，获得自适应异常检测模型；
[0026]交互规则是交互博弈过程中所需要设置的一些预置参数；
[0027]交互式引导异常检测模型接收环境奖励和交互反馈奖励，计算模型奖励，模型奖励作为损失函数训练优化交互式引导异常检测模型，模型奖励的表达式为：
[0028]R
all
(s
t
,a
t
)＝δR
A
(s
t
,a
t
)+(1
‑
δ)R
E
(s
t
,a
t
)
[0029]其中，R
E
(s
t
,a
t
)表示环境奖励；R
A
(s
t
,a
t
)表示交互反馈奖励；δ表示环境奖励和交互反馈奖励之间的权重比值；
[0030]根据训练过程中根据自适应异常检测模型获得的模型判断结果的正确率动态调整环境奖励和交互反馈奖励之间的权重比值δ；从而调节模型直导体反馈奖励的占比，当模型在异常检测过程中表现较好时，需要适当减小δ数值，从而降低模型指导体反馈奖励对于模型总奖励的占比；当模型表现较差时，需要适当增加δ数值，提升模型指导体反馈奖励对于模型总奖励的占比，从而增大模型指导体的引导强度；
[0031]步骤4：利用自适应异常检测模型，对采集到的数据包进行网络流量异常检测，获得检测结果；
[0032]数据包包括模拟网络拓扑中的DDoS，Dos，Port Scan攻击以及正常数据。
[0033]优选的，交互式引导异常检测模型为一个5层的神经网络模型，其中包括一层输入层、三层隐藏层和一层输出层，每层之间均采用全连接的方式；输入层共12本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互式博弈的网络流量异常检测方法，其特征在于，包括以下步骤：步骤1：采集局域网内网络数据，根据所述网络数据在所述局域网内建立模拟网络拓扑，根据模拟网络拓扑构建虚拟机模拟客户机和服务器之间发送数据包过程中的网络攻击，并采集数据包；步骤2：根据所述网络数据基于强化学习进行训练构建交互式引导异常检测模型，预设博弈要素，利用机器学习方法对交互式引导异常检测模型进行交互博弈；步骤3：预设交互规则，采集交互博弈过程中的环境奖励和交互反馈奖励，根据所述环境奖励、所述交互反馈奖励和所述交互规则对所述交互式引导异常检测模型进行训练，获得自适应异常检测模型；步骤4：利用自适应异常检测模型，对采集到的数据包进行网络流量异常检测，获得检测结果。2.根据权利要求1所述的一种基于交互式博弈的网络流量异常检测方法，其特征在于，所述博弈要素包括博弈策略和博弈收益；博弈策略包括交互式引导异常检测模型的模型策略集和模型策略概率分布，以及交互策略集和交互策略概率分布；模型策略集为[m0，m1，m2]，其中m0表示不发起交互，m1表示发起交互且自身将数据判断为异常数据，m2表示发起交互且自身将数据判断为正常数据；模型策略概率分布为[p0，p1，p2]，p0+p1+p2＝1；交互策略集为[a0，a1，a2]，其中a0表示不反馈，a1表示反馈且反馈内容为数据类别为正常数据，a2表示反馈并且反馈内容为数据类别为异常数据；交互策略概率分布为[q0，q1，q2]，q0+q1+q2＝1；博弈收益包括单步博弈模型失败收益、单步博弈模型胜出收益、模型进攻成功收益、博弈静默收益、交互进攻失败收益和交互进攻成功收益；单步博弈模型失败收益，模型收益等于交互的成本加上给予模型相应的惩罚P；交互收益为系统总资源R减去给予模型反馈所需要的成本单步博弈模型胜出收益，模型收益等于系统总资源R减去交互的成本交互收益等于相应的惩罚P加上反馈所需要的成本模型进攻成功收益，模型收益为系统总资源R减...

【专利技术属性】
技术研发人员：白新有，张文哲，李荣，魏松杰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：