针对网络入侵检测系统中隐私保护与攻击识别的双重需求，本发明专利技术提出了一种基于预训练语言模型联邦分割学习的网络入侵检测方法。对于攻击检测中面临的流量特征提取困难、边缘设备算力受限、以及分布式节点间数据隐私壁垒等挑战，本方法融合联邦学习的隐私保护机制与分割学习的计算卸载优势，构建面向流量特征分析的预训练语言模型学习架构。该方法通过分层分割策略将预训练语言模型解耦为边缘侧轻量化模块与云端深度推理模块，通过基于多头注意力机制的联邦聚合实现全局模型稳定性与本地个性化的平衡优化。边缘侧引入对抗增强机制，将预训练语言模型的特征提取能力与生成对抗网络的动态博弈相结合，通过对抗样本重构提升模型对复杂网络攻击的泛化能力。
【技术实现步骤摘要】
本专利技术是人工智能技术在网络安全中的应用技术，具体是一种基于预训练语言模型联邦分割学习的网络入侵检测方法。
技术介绍
1、作为人工智能领域的突破性进展，大语言模型[1]通过自监督预训练机制实现了深层次语义解析与生成能力的跨越式发展。这类模型不仅能够从海量语料库中自主构建语言符号的分布式表征体系，更展现出多模态迁移学习能力。其基于注意力机制的特征融合架构可有效捕获跨领域的潜在关联模式，在机器翻译、文本摘要等自然语言处理任务中持续刷新性能基准的同时，还展现出在其他领域应用的巨大潜力[2]。如网络入侵检测领域，通过学习和分析大量的历史数据，语言模型能够识别复杂的模式和趋势，预测潜在的系统漏洞，并在早期阶段发现异常行为[3]。
2、而在隐私保护日益增强的背景下，大多数敏感数据都是隔离的，禁止直接共享。传统集中式训练模式因数据受限而难以构建高质量语言模型，特别是在训练样本不足时模型性能显著受限[4]。为了充分利用大量分布式、多样化的私有数据[5]，联邦学习(federatedlearning,fl)提出隐私安全型协作范式，可以在不共享原始数据的情况下跨多个数据集训练全局模型[6,7]。在该框架下，边缘计算节点基于本地私有数据周期性地进行模型训练，仅将模型参数梯度上传至云端服务器进行安全聚合，在严格保障原始数据不出域的前提下完成全局模型的迭代更新。值得注意的是，尽管fl缓解了数据隐私与价值释放的冲突，但边缘节点有限的算力资源(如cpu处理能力、内存容量等)与大模型训练需求之间的显著矛盾，仍构成实际部署的关键瓶颈[8]。
3、现有技术中的挑战/问题与相关工作主要有：
4、1)兼顾全局个性与本地个性化。
5、由于隐私问题，大多数私人数据都保存在边缘设备上。针对边缘节点本地存储的敏感数据形成的数据孤岛现象，fl通过云端服务器协调实现了全局模型训练。边缘节点基于本地数据集进行模型训练后，仅需上传参数梯度参与联邦全局聚合，确保原始数据始终驻留本地。然而，不同边缘节点的数据通常存在显著差异，如何在通过本地微调实现个性化建模的同时，有效保持全局模型的稳定性和泛化能力，从而构建"全局共识-本地适配"的协同优化框架，仍是一个重要问题。[9]考虑在给定本地统计数据的情况下为每个客户端引入批量规范和学习率参数的元网络，通过fl学习这些元网络，允许整个fl网络协作学习为每个客户端定制的个性化策略。[10]在fl场景中使用kullback–leibler散度估计和自适应权重计算来提高模型的准确性和对抗攻击的鲁棒性，实现了基于自适应最大池化的卷积神经网络和带有注意和残差连接的改进双向长短期记忆网络，可以有效检测入侵，从而增强网络的安全性和隐私性。
6、2)检测精度与训练代价的双重优化。
7、在边缘系统的部署中，模型精度与训练开销的优化构成核心挑战。受限于边缘节点的计算瓶颈(如cpu-gpu算力失衡、内存带宽约束等)，轻量化计算单元难以承载大模型训练所需的张量并行计算需求。此外，联邦架构中周期性的全模型同步机制存在负面效应：一方面，海量参数的跨层传输加剧了边缘节点与云端服务器间的通信带宽压力；另一方面，全模型梯度交换可能暴露模型结构特征，突破联邦学习的隐私安全边界[11,12]。为了克服设备计算资源有限的挑战，[13]认为深度神经网络可以进行分割学习(split learning,sl)。[14]将bert模型拆分为三个主要层：embedding层、transformer层和head层，解耦了潜在的依赖关系。基于深度神经网络的复杂性分析和计算分析，将需要高计算资源的transformer层分配在云端服务器上，资源受限的embedding层和head层部署在客户端上。每个客户端都可以私下调整特定的nlp任务，并通过联邦学习和分割训练来增量合并来自多个设备的数据集，以提高预训练模型的鲁棒性和泛化性。为了减轻资源受限边缘节点的计算负担，并更好地保护模型隐私，[15]提出了一种新颖的分割联邦学习(split federated learning,sfl)框架mergesfl，在sfl中结合了特征合并和批量大小调节环节，并用于提高模型准确性和训练效率。
8、3)集成特征提取与流量生成过程。
9、基于transformer架构的预训练语言模型在网络安全态势感知领域展现出创新价值，其双向自注意力机制构建的多粒度语义表征空间，能够实现网络流量元数据的上下文感知建模。以bert[16]为代表的预训练语言模型通过层次化特征融合，能够同时考虑数据的前后文信息，提高了对复杂网络流量模式的识别能力。鉴于bert具有强大的特征提取能力和泛化能力，研究人员尝试将bert应用于漏洞利用性预测和系统日志异常检测。[17]提出exbert，利用收集到的漏洞描述语料库对预训练的bert模型进行微调，提取漏洞描述的语义信息，从而预测网络安全漏洞。[18]是一个基于bert的日志异常检测模型，可以检测日志解析空闲。bert可以有效地从序列化的日志数据中提取语义信息，捕捉细节特征，提高日志异常检测的准确性。将预训练语言模型与现有的深度学习模型或框架进行有效的整合，从而提高网络入侵检测性能，这值得进一步探索。
技术实现思路
1、针对网络入侵检测系统中隐私保护与攻击识别的双重需求，本专利技术提出了一种基于预训练语言模型联邦分割学习的网络入侵检测方法。对于攻击检测中面临的流量特征提取困难、边缘设备算力受限、以及分布式节点间数据隐私壁垒等挑战，本专利技术融合联邦学习的隐私保护机制与分割学习的计算卸载优势，构建面向流量特征分析的预训练语言模型学习架构。本专利技术具体如下。
2、一种基于预训练语言模型联邦分割学习的网络入侵检测方法，在带有云端服务器和n个边缘节点的边缘计算系统中，边缘节点采用边缘模型对本地网络流量进行识别分类，云端服务器负责分割模型训练和联邦参数聚合；
3、边缘模型包括判别器d、生成器g和分类网络c，其中判别器d和生成器g是条件生成对抗网络cgan的判别器d和生成器g；在判别器d中嵌入预训练语言模型bert用于对本地网络流量进行特征提取，分类网络c用于基于提取的特征进行网络流量分类；
4、边缘模型被分割成判别器d、生成器g和分类网络c，其中bert模型进一步被分割成embedding层、transformer层和head层；
5、transformer层和head层构成顶层模型；生成器g、判别器d和embedding层构成底层模型；各个边缘节点使用其本地数据训练底层模型，云端服务器维护顶层模型；
6、在联邦分割学习中：各个边缘节点使用其本地数据训练边缘模型，并把更新参数发送到云端服务器；云端服务器训练分割模型，并通过多头注意力机制聚合各边缘节点的分割模型更新，形成全局模型参数，并将其分发回边缘节点；各边缘节点再根据本地数据作进一步的微调，保留全局模型的基础结构，但在本地数据上进行个性化调整。
7、本专利技术通过分层分割策略将预训练语言模型解耦本文档来自技高网
...
【技术保护点】
1.一种基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是在带有云端服务器和N个边缘节点的边缘计算系统中，边缘节点采用边缘模型对本地网络流量进行识别分类，云端服务器负责分割模型训练和联邦参数聚合；
2.根据权利要求1所述的基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是分割模型的迭代目标是找到最优模型w＝[wb,wp]，使全局模型损失函数L(w)最小化；
3.根据权利要求1所述的基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是边缘模型的基本训练过程包括：首先，每个边缘节点用一批本地数据样本进行前向传播，将底层模型的特征传递给云端服务器；云端服务器进行前向/后向传播更新顶层模型；然后，云端服务器将反向传播的梯度发送回边缘节点，通过反向传播来更新底层模型；这样一个完整的前向/后向传播过程作为一次局部迭代；
4.根据权利要求1所述的基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是基于多头注意力机制的参数聚合为：
【技术特征摘要】
1.一种基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是在带有云端服务器和n个边缘节点的边缘计算系统中，边缘节点采用边缘模型对本地网络流量进行识别分类，云端服务器负责分割模型训练和联邦参数聚合；
2.根据权利要求1所述的基于预训练语言模型联邦分割学习的网络入侵检测方法，其特征是分割模型的迭代目标是找到最优模型w＝[wb,wp]，使全局模型损失函数l(w)最小化；
3.根据权利要求1所述的基于预训练语言模型联邦...
【专利技术属性】
技术研发人员：李芳，沈航，王天荆，戴远飞，白光伟，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。