【技术实现步骤摘要】
本专利技术属于网络信息安全的，具体涉及一种基于深度强化学习和结构化数据transformer的入侵检测方法。
技术介绍
1、随着计算机和网络技术的快速发展，使得智能家居、智能车辆、智能城市等概念得以实现，人们也越来越依赖于互联网进行信息传输和数据处理。然而，网络安全威胁日益加剧，尤其是在网络中不断增加的入侵行为，可能带来巨大的经济损失、个人隐私泄露以及对基础设施的破坏。因此，为了保护网络和系统不受入侵的侵害，专门的入侵检测系统已成为网络安全的重要组成部分。然而，入侵检测任务中需要面对的一大难题就是样本分布不平衡，通常正常样本的数量远远超过异常样本，这就会导致模型对正常样本学习得更好，而对异常的样本识别较差。
2、目前解决样本分布不平衡的常见方法有数据采样技术，通过增加异常样本或减少正常样本以平衡数据集；采用集成学习，如boosting、stacking等，通过集成多个分类器的预测结果来平衡单个分类器对少数类的攻击预测较差的问题；使用生成对抗网络生成合成少数类别的样本，增加数据集中少数类别攻击的占比，生成的样本与真实数据类似但又有所区别，能够改善模型的泛化能力。这些方法虽然在一定程度上缓解了样本分布不平衡对入侵检测的影响，但也存在一些局限性。数据采样技术可能会导致信息损失，增加正常样本或删除异常样本均会影响数据样本对真实网络中数据分布的真实情况。集成学习虽然提高了入侵检测模型的鲁棒性，但在实际应用增加了计算和存储的开销。而生成对抗网络生成的合成样本虽然可以增加少数类别攻击的占比，但生成样本的质量与多样性是需要关注的问题
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于深度强化学习和结构化数据transformer的入侵检测方法，通过在深度q-网络(dqn)中引入双经验回放池设计，专门存储数量较少且更具挑战性的少数类别样本，以达到有效防止少数类别样本被多数类别样本淹没的情况，改善了入侵检测任务中数据样本分布不平衡的问题。
2、为了达到上述目的，本专利技术采用以下技术方案：
3、第一方面，本专利技术提供了一种基于深度强化学习和结构化数据transformer的入侵检测方法，包括下述步骤：
4、s1、采集流量数据，将数据集输入至智能体；
5、s2、智能体利用分类器对数据集进行分类处理，获取流量数据的分类结果；所述分类器包括改进的深度q网络和transformer模型，改进的深度q网络包括双经验回放池和经验回放池切换窗口；
6、s3、入侵检测环境根据智能体的分类结果和真实的类别进行比较，生成奖励反馈；将奖励反馈和新采集的流量数据输入智能体，用于智能体的学习和决策优化；将当前处理的流量数据、流量数据的分类结果、奖励反馈和新采集的流量数据组成经验四元组，并存储在双经验回放池中；所述双经验回放池包括第一经验回放池和第二经验回放池；
7、s4、重复执行步骤s1至s3，直到存储的数据达到预设的批量大小，进行各类样本分布权重自适应更新；
8、s5、入侵检测环境利用奖励反馈更新智能体的价值函数，利用双经验回放池的各类样本对智能体进行训练，更新智能体的决策策略；智能体通过经验回放池切换窗口选择第一经验回放池或者第二经验回放池的各类样本；
9、s6、重复执行步骤s1至s5，直到智能体达到设定的学习轮次，智能体完成训练；
10、s7、将未知的流量数据输入训练好的智能体进行入侵检测；利用入侵检测分类性能指标评估入侵检测结果。
11、作为优选的技术方案，所述transformer模型包括多个编码层，每个编码层包括多头注意力层和前馈神经网络；所述多头注意力层和前馈神经网络之间通过残差连接和层归一化连接。
12、作为优选的技术方案，所述步骤s2，包括：
13、将流量特征划分为分类特征和数据特征，对分类特征使用嵌入层将其转换为固定长度的嵌入向量表示，对数值特征进行归一化处理；
14、将分类特征的嵌入向量和数值特征的向量进行连接输入至transformer模型中，通过学习到的注意力权重自适应地捕捉输入流量特征序列之间的关联信息，生成上下文嵌入；
15、将上下文嵌入经过至多个隐藏层中进一步提取流量特征，输出与分类类别个数相等的q值向量，每一个q值向量对应的是每一个分类类别。
16、作为优选的技术方案，所述步骤s3还包括：根据设定条件切换经验回放池切换窗口，将分类结果分别存储在第一经验回放池和第二经验回放池中。
17、作为优选的技术方案，所述步骤s3还包括：当分类结果存储进入双经验回放池时，根据每个类别的权重决定是否将当前经验添加至第二个经验回放池中。
18、作为优选的技术方案，当分类结果存储进入双经验回放池时，调用上一批次更新的每个类别的权重，利用每个类别的权重切换经验回放池切换窗口，并将分类结果存储在第一经验回放池或者第二经验回放池中。
19、作为优选的技术方案，当完成一个批次的神经网络更新后，比较当前批次的更新损失与上一批次的更新损失，如果当前批次的更新损失增加，则对各类样本分布权重更新，以调整第二个经验回放池中各类样本的分布数量。
20、作为优选的技术方案，当各类样本分布权重自适应更新时，通过统计流量数据的分类结果中的最大值的类型的个数计算每个类别的对应的权重，其中出现次数越多的类别的权重会相应的降低，最终所有类别的权重值被调整。
21、作为优选的技术方案，所述步骤s3，包括：
22、入侵检测环境根据智能体的分类结果与流量数据的实际情况进行比较，若智能体选择的分类动作与实际情况相同，则获得正奖励反馈，若智能体选择的动作与实际情况不同，则智能体会收到负奖励反馈。
23、作为优选的技术方案，所述步骤s5，包括：
24、智能体根据奖励反馈优化价值函数；
25、利用改进的深度q网络根据新采集的流量数据生成q值列表，根据q值选择最佳动作进行入侵检测决策，并通过反向传播算法更新模型参数，以优化模型在入侵检测任务中的性能。
26、本专利技术与现有技术相比，具有如下优点和有益效果：
27、(1)本专利技术通过引入第二个经验回放池，特别针对数量较少且更具挑战性的少数类别样本进行存储和管理，有效防止了少数类别样本被多数类别样本淹没的情况，从而解决了入侵检测中的样本不平衡问题。
28、(2)本专利技术设置经验回放池切换窗口，使模型可以在两个经验回放池中进行切换，避免过度关注某个经验回放池导致其他经验回放池的遗忘，保持对所有类别的综合学习，有助于保持模型在不同类型样本间的平衡性。
29、(3)本专利技术经验回放池中各个类别样本的分布能够灵活调整，使模型更关注当前阶段认为困难的样本，从而提高对少数类别的学习效果，增强模型在面对不平衡样本时的学习能力，提高了整体模型的泛化能力。
30、(4)采用结构化数据transfo本文档来自技高网...
【技术保护点】
1.基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述Transformer模型包括多个编码层，每个编码层包括多头注意力层和前馈神经网络；所述多头注意力层和前馈神经网络之间通过残差连接和层归一化连接。
3.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述步骤S2，包括：
4.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述步骤S3还包括：根据设定条件切换经验回放池切换窗口，将分类结果分别存储在第一经验回放池和第二经验回放池中。
5.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述步骤S3还包括：当分类结果存储进入双经验回放池时，根据每个类别的权重决定是否将当前经验添加至第二个经验回放池中。
6.根据权利要求5所述基于深度强
7.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，当完成一个批次的神经网络更新后，比较当前批次的更新损失与上一批次的更新损失，如果当前批次的更新损失增加，则对各类样本分布权重更新，以调整第二个经验回放池中各类样本的分布数量。
8.根据权利要求7所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，当各类样本分布权重自适应更新时，通过统计流量数据的分类结果中的最大值的类型的个数计算每个类别的对应的权重，其中出现次数越多的类别的权重会相应的降低，最终所有类别的权重值被调整。
9.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述步骤S3，包括：
10.根据权利要求1所述基于深度强化学习和结构化数据Transformer的入侵检测方法，其特征在于，所述步骤S5，包括：
...【技术特征摘要】
1.基于深度强化学习和结构化数据transformer的入侵检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述基于深度强化学习和结构化数据transformer的入侵检测方法，其特征在于，所述transformer模型包括多个编码层，每个编码层包括多头注意力层和前馈神经网络；所述多头注意力层和前馈神经网络之间通过残差连接和层归一化连接。
3.根据权利要求1所述基于深度强化学习和结构化数据transformer的入侵检测方法，其特征在于，所述步骤s2，包括：
4.根据权利要求1所述基于深度强化学习和结构化数据transformer的入侵检测方法，其特征在于，所述步骤s3还包括：根据设定条件切换经验回放池切换窗口，将分类结果分别存储在第一经验回放池和第二经验回放池中。
5.根据权利要求1所述基于深度强化学习和结构化数据transformer的入侵检测方法，其特征在于，所述步骤s3还包括：当分类结果存储进入双经验回放池时，根据每个类别的权重决定是否将当前经验添加至第二个经验回放池中。
6.根据权利要求5所述基于深度强化学习和结构化数据transformer的入...
【专利技术属性】
技术研发人员：王乐，谭灏南，张志强，邓建宇，朱东，朱俊义，徐颖慧，
申请(专利权)人：广州大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。