System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于样本回放的网络流量分类方法及终端技术_技高网

一种基于样本回放的网络流量分类方法及终端技术

技术编号:43854205 阅读:8 留言:0更新日期:2024-12-31 18:45
本发明专利技术公开了一种基于样本回放的网络流量分类方法及终端,基于网络流量对流量分类模型进行训练,基于训练后的流量分类模型和网络流量构建类别典型样本集和类别采样样本集,对类别典型样本集和类别采样样本集进行数据增强,基于增强后的类别典型样本集和类别采样样本集以及新的网络流量使用知识蒸馏策略对训练后的流量分类模型进行训练,得到新的流量分类模型,重复样本集构建和模型训练步骤直至当前的预设增量学习周期结束,以此减缓模型对新数据的偏向,即便网络流量不断更新变化,也能确保流量分类模型始终保持最佳的流量分类能力,利用该流量分类模型能更准确地实现流量分类,从而有效提高流量分类的准确率。

【技术实现步骤摘要】

本专利技术涉及网络安全,尤其涉及一种基于样本回放的网络流量分类方法及终端


技术介绍

1、随着互联网的快速发展,各种网络业务的流量呈爆炸性增长。随着网络业务的拓展,网络流量的类型和模式也日益多样化,对流量按其业务类别进行分类对网络管理和维护网络安全至关重要。

2、流量分类使网络管理员能够根据业务类型对网络中的流量进行分析,并为不同类型的业务提供相应的服务质量水平,以减轻网络拥塞,确保关键业务的高质量服务,并保持网络的高效畅通。同时,依靠流量分类模型,网络服务提供商还可以预测网络业务的发展趋势,合理规划网络基础架构,为用户提供更佳的上网体验。此外,在网络安全方面,流量分类是入侵检测系统(ids)的核心组成部分之一。

3、近年来,深度学习在流量分类领域的应用取得了显著进展。然而,互联网业务是不断发展的,这就使得对应业务的流量也在不断变化,特别是恶意软件的不断迭代和流量加密方法的不断发展,使深度学习模型在部署时需要具备适应不断更新和变化的流量类型的分类能力。在基于深度学习的分类模型中,分类器通常经过监督学习获得分类能力。如果需要添加新的分类任务,就需要使用大量旧类和新类数据对分类器进行联合重训练。但联合重训练分类模型通常需要大量的存储和计算资源,这会带来运行维护成本的巨额增加。

4、因此,众多研究者提出了许多增量学习方法,其中旧数据回放法和知识蒸馏方法都是行之有效的解决方案。然而,这两种方法也存在一些问题,基于旧数据回放的方法要求保存具有代表性的旧类别数据,保存的旧数据数量远小于新类别数据会导致模型会更加偏向新类别;知识蒸馏的方法需要权衡旧模型对新模型的约束程度,如果旧模型的约束过大,会导致新模型的可塑性变差,无法有效学习新数据的知识,如果旧模型的约束过小,会导致新模型的稳定性变差,无法保持对旧数据的分类能力。


技术实现思路

1、本专利技术所要解决的技术问题是:提供一种基于样本回放的网络流量分类方法及终端,能够有效提高流量分类的准确率。

2、为了解决上述技术问题,本专利技术采用的技术方案为:

3、一种基于样本回放的网络流量分类方法,包括步骤:

4、在每一预设增量学习周期中,采集网络流量,并基于所述网络流量对流量分类模型进行训练,得到训练后的流量分类模型;

5、基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集;

6、获取新的网络流量,并对所述类别典型样本集和所述类别采样样本集进行数据增强,得到增强后的类别典型样本集和类别采样样本集;

7、基于所述增强后的类别典型样本集和类别采样样本集以及所述新的网络流量使用知识蒸馏策略对所述训练后的流量分类模型进行训练,得到新的流量分类模型,所述新的流量分类模型的损失函数包括分类损失、蒸馏损失以及用于平衡所述分类损失和所述蒸馏损失重要性的超参数;

8、返回执行所述基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集步骤,直至当前的所述预设增量学习周期结束。

9、为了解决上述技术问题,本专利技术采用的另一种技术方案为:

10、一种基于样本回放的网络流量分类终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

11、在每一预设增量学习周期中,采集网络流量,并基于所述网络流量对流量分类模型进行训练,得到训练后的流量分类模型;

12、基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集;

13、获取新的网络流量,并对所述类别典型样本集和所述类别采样样本集进行数据增强,得到增强后的类别典型样本集和类别采样样本集;

14、基于所述增强后的类别典型样本集和类别采样样本集以及所述新的网络流量使用知识蒸馏策略对所述训练后的流量分类模型进行训练,得到新的流量分类模型,所述新的流量分类模型的损失函数包括分类损失、蒸馏损失以及用于平衡所述分类损失和所述蒸馏损失重要性的超参数;

15、返回执行所述基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集步骤,直至当前的所述预设增量学习周期结束。

16、本专利技术的有益效果在于:基于网络流量对流量分类模型进行训练,得到训练后的流量分类模型,基于训练后的流量分类模型和网络流量构建类别典型样本集和类别采样样本集,获取新的网络流量,并对类别典型样本集和类别采样样本集进行数据增强,基于增强后的类别典型样本集和类别采样样本集以及新的网络流量使用知识蒸馏策略对训练后的流量分类模型进行训练,得到新的流量分类模型,重复样本集构建和模型训练步骤直至当前的预设增量学习周期结束,以此在获取新样本后,对旧样本进行数据增强,扩展旧样本的样本空间,减缓模型对新数据的偏向,同时在模型中引入超参数平衡分类损失和蒸馏损失重要性,利用旧模型的预测精度有效控制旧模型对新模型的影响程度,确保新模型有效学习新数据的知识的同时,保持对旧数据的分类能力,即便网络流量不断更新变化,也能确保流量分类模型始终保持最佳的流量分类能力,利用该流量分类模型能更准确地实现流量分类,从而有效提高流量分类的准确率。

本文档来自技高网...

【技术保护点】

1.一种基于样本回放的网络流量分类方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述采集网络流量之后,还包括:

3.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述在每一预设增量学习周期中,采集网络流量之前,还包括:

4.根据权利要求2所述的一种基于样本回放的网络流量分类方法,其特征在于,所述基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集包括:

5.根据权利要求4所述的一种基于样本回放的网络流量分类方法,其特征在于,所述按照所述排序后的置信度、所述分类能力和所述第一预设样本数量选取流级数据样本构建类别典型样本集包括:

6.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述获取新的网络流量之后,还包括:

7.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述对所述类别典型样本集和所述类别采样样本集进行数据增强,得到增强后的类别典型样本集和类别采样样本集包括:</p>

8.根据权利要求7所述的一种基于样本回放的网络流量分类方法,其特征在于,所述对所述类别典型样本集和所述类别采样样本集中的每一样本的每个像素位置添加高斯噪声,得到增强后的类别典型样本集和类别采样样本集包括:

9.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述新的流量分类模型的损失函数为:

10.一种基于样本回放的网络流量分类终端,包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的一种基于样本回放的网络流量分类方法中的各个步骤。

...

【技术特征摘要】

1.一种基于样本回放的网络流量分类方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述采集网络流量之后,还包括:

3.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述在每一预设增量学习周期中,采集网络流量之前,还包括:

4.根据权利要求2所述的一种基于样本回放的网络流量分类方法,其特征在于,所述基于所述训练后的流量分类模型和所述网络流量构建类别典型样本集和类别采样样本集包括:

5.根据权利要求4所述的一种基于样本回放的网络流量分类方法,其特征在于,所述按照所述排序后的置信度、所述分类能力和所述第一预设样本数量选取流级数据样本构建类别典型样本集包括:

6.根据权利要求1所述的一种基于样本回放的网络流量分类方法,其特征在于,所述获取新的网络流量之后...

【专利技术属性】
技术研发人员:吴丽进黄建业何金栋雷珊珊谢新志叶慧敏刘冰倩钱健赵志超廖飞龙林楠江洪钦
申请(专利权)人:国网福建省电力有限公司电力科学研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1