【技术实现步骤摘要】
本专利技术属于网络安全，具体涉及一种基于增量学习的恶意加密流量检测方法及系统。
技术介绍
1、随着互联网的快速发展与网络应用的广泛普及，网络安全问题日益严峻，尤其是在面对恶意加密流量时，传统的基于内容的检测方法逐渐失效。恶意流量不仅通过加密技术隐藏了其真实的内容，而且加密协议的普及使得流量分析变得更加困难。常见的恶意加密流量包括网络攻击、恶意软件通信、数据泄露等，这些攻击通过加密通道绕过了传统的流量监控与防护机制，给网络安全带来了极大的挑战。
2、传统的恶意流量检测方法大多依赖于特征提取和基于规则的分析，这些方法往往忽略了加密流量在数据传输过程中的变异性和隐蔽性。在加密流量中，攻击者常通过变换数据包的大小、频率、时间分布等特征来规避检测，导致基于静态特征的检测方法不再有效。另一方面，随着加密技术的进步，网络流量的可见性进一步降低，传统基于明文数据分析的检测技术逐渐变得无法满足现代网络环境下的安全需求。
3、近年来，基于机器学习的方法逐渐被应用于恶意流量检测领域，通过学习网络流量的复杂模式，可以有效识别潜在的攻击行为。然而，传统的机器学习方法通常要求大量标注数据进行训练，并且模型训练过程中对数据分布变化的适应能力较差。面对不断变化的网络流量和攻击模式，传统模型往往难以持续有效地更新，导致模型的检测性能逐渐下降。
4、如何设计出一种高效、实时、且具有强适应性的恶意加密流量检测方法，是当前网络安全领域亟待解决的难题。
技术实现思路
1、为解决现有技术中
2、本专利技术的技术方案如下：
3、第一方面，本专利技术公开了一种基于增量学习的恶意加密流量检测方法，包括：
4、（1）采用双层嵌套的数据组织结构将原始流量处理为标准化特征序列，所述原始流量包括正常加密流量和恶意加密流量，构建样本集；
5、（2）利用样本集对恶意流量检测模型进行预训练；
6、（3）对预训练后的恶意流量检测模型采用增量学习方式优化模型参数，在增量学习过程中设有用于存储历史训练样本及其模型输出结果、样本标签的经验缓冲区，所述的经验缓冲区随着模型参数优化过程不断更新；
7、所述的采用增量学习方式优化模型参数，包括：在模型分类损失的基础上，采用稳定性约束机制限制历史训练样本的模型输出结果的波动程度并计算稳定性约束损失，采用经验回放机制自适应调整从经验缓冲区的采样数量并计算经验回放损失；结合所述的模型分类损失、稳定性约束损失和经验回放损失，采用双层元更新机制迭代优化批内模型参数和批间模型参数；
8、（4）利用参数优化后的恶意流量检测模型检测加密流量是否为恶意加密流量。
9、进一步地，所述的双层嵌套的数据组织结构包括外层的网络流对象和内层的数据突发对象，所述的网络流对象的特征包括会话标识信息、时间序列信息、统计计量信息和用于存储原始流量包含的所有数据突发对象的突发序列容器；所述的数据突发对象的特征包括方向标识信息、时间戳信息、以及数据突发对象所包含的所有数据包数量和累积字节长度。
10、进一步地，所述的会话标识信息包括源端ip地址、源端口号、目标端ip地址和目标端口号，所述的时间序列信息包括原始流量会话的起始时间戳和最后活动时间戳，所述的统计计量信息包括数据包数量，所述的方向标识信息表征数据传输方向，时间戳信息包括数据突发对象的起始和结束时间戳。
11、进一步地，所述的采用双层嵌套的数据组织结构将原始流量处理为标准化特征序列，包括：
12、（1.1）读取原始流量文件并解析数据包，验证数据包协议类型的合法性，剔除不合法数据包；
13、（1.2）提取各数据包的总长度、源端ip地址、目标端ip地址、源端口号和目标端口号，根据源端口号和目标端口号构造数据包的会话标识符，表征数据传输方向；
14、（1.3）根据当前数据包的源端ip地址、目标端ip地址、源端口号和目标端口号判断当前数据包是否属于已有的网络流对象：
15、若是，则更新网络流对象的特征，并根据当前数据包的会话标识符维护数据突发对象的特征：若当前数据包的会话标识符与当前数据突发对象的方向标识信息一致，则更新数据突发对象的特征，否则创建新的数据突发对象并初始化特征；
16、若否，则创建网络流对象并初始化第一个数据突发对象；
17、（1.4）通过步骤（1.1）至步骤（1.3）将原始流量处理为若干网络流对象，每一个网络流对象包含若干数据突发对象，整合网络流对象的特征和数据突发对象的特征，得到原始流量的标准化特征序列。
18、进一步地，所述的恶意流量检测模型采用transformer编码器。
19、进一步地，所述的经验缓冲区随着模型参数优化过程不断更新的过程包括：
20、恶意流量检测模型完成预训练后，从样本集中随机挑选预设数量的历史训练样本，将挑选出的历史训练样本及其模型输出结果、样本标签添加至经验缓冲区，完成经验缓冲区初始化；
21、在增量学习过程中，每当完成一轮模型参数优化后，从该轮优化中的最后一个批次的训练样本中随机挑选预设数量的历史训练样本，将挑选出的历史训练样本及其模型输出结果、样本标签添加至经验缓冲区。
22、进一步地，所述的结合所述的模型分类损失、稳定性约束损失和经验回放损失，采用双层元更新机制迭代优化批内模型参数和批间模型参数，包括：
23、（3.1）划分样本集的训练批次，预设训练轮次；
24、（3.2）记录当前训练轮次初始时的模型参数a和当前训练轮次中当前训练批次初始时的模型参数b；
25、（3.3）对于当前训练轮次中的当前训练批次，利用模型参数b计算模型分类损失；
26、（3.4）从经验缓冲区随机抽样若干历史训练样本计算当前模型参数下的稳定性约束损失，所述的稳定性约束损失是指抽样得到的历史训练样本在当前模型参数下的模型输出结果与经验缓冲区中记录的模型输出结果之间的损失；
27、（3.5）根据稳定性约束损失自适应调整从经验缓冲区的预设采样数量，随机抽样预设采样数量的历史训练样本计算当前模型参数下的经验回放损失，所述的经验回放损失是指抽样得到的历史训练样本在当前模型参数下的模型输出结果与样本标签之间的损失；
28、（3.6）结合所述的模型分类损失、稳定性约束损失和经验回放损失，更新当前模型参数；
29、（3.7）根据当前模型参数更新模型参数b，返回步骤（3.3）开始下一训练批次的批内模型参数优化，遍历当前训练轮次中的所有训练批次后，执行步骤（3.8）；
30、（3.8）根据当前模型参数更新模型参数a，返回步骤（3.2）开始下一训练轮次的批间模型参数优化，直至达到预设训练轮次，执行步骤（3.9）；
31、（3.9）根据模型参数a得到最终参数优化后的恶意流量检测模型。本文档来自技高网...
【技术保护点】
1.一种基于增量学习的恶意加密流量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的双层嵌套的数据组织结构包括外层的网络流对象和内层的数据突发对象，所述的网络流对象的特征包括会话标识信息、时间序列信息、统计计量信息和用于存储原始流量包含的所有数据突发对象的突发序列容器；所述的数据突发对象的特征包括方向标识信息、时间戳信息、以及数据突发对象所包含的所有数据包数量和累积字节长度。
3.根据权利要求2所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的会话标识信息包括源端IP地址、源端口号、目标端IP地址和目标端口号，所述的时间序列信息包括原始流量会话的起始时间戳和最后活动时间戳，所述的统计计量信息包括数据包数量，所述的方向标识信息表征数据传输方向，所述的时间戳信息包括数据突发对象的起始和结束时间戳。
4.根据权利要求2所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的采用双层嵌套的数据组织结构将原始流量处理为标准化特征序列，包括：
5.根据权利要求1所述
6.根据权利要求1所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的经验缓冲区随着模型参数优化过程不断更新的过程包括：
7.根据权利要求1所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的结合所述的模型分类损失、稳定性约束损失和经验回放损失，采用双层元更新机制迭代优化批内模型参数和批间模型参数，包括：
8.根据权利要求7所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的根据稳定性约束损失自适应调整从经验缓冲区的预设采样数量，包括：
9.根据权利要求7所述的基于增量学习的恶意加密流量检测方法，其特征在于，根据当前模型参数更新模型参数A和模型参数B时，设置批内元更新率和批间元更新率，将当前模型参数和模型参数B的差值与批内元更新率的乘积作为模型参数B的更新量，更新前的模型参数B与更新量之和作为更新后的模型参数B；将当前模型参数和模型参数A的差值与批间元更新率的乘积作为模型参数A的更新量，更新前的模型参数A与更新量之和作为更新后的模型参数A。
10.一种基于增量学习的恶意加密流量检测系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于增量学习的恶意加密流量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的双层嵌套的数据组织结构包括外层的网络流对象和内层的数据突发对象，所述的网络流对象的特征包括会话标识信息、时间序列信息、统计计量信息和用于存储原始流量包含的所有数据突发对象的突发序列容器；所述的数据突发对象的特征包括方向标识信息、时间戳信息、以及数据突发对象所包含的所有数据包数量和累积字节长度。
3.根据权利要求2所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的会话标识信息包括源端ip地址、源端口号、目标端ip地址和目标端口号，所述的时间序列信息包括原始流量会话的起始时间戳和最后活动时间戳，所述的统计计量信息包括数据包数量，所述的方向标识信息表征数据传输方向，所述的时间戳信息包括数据突发对象的起始和结束时间戳。
4.根据权利要求2所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的采用双层嵌套的数据组织结构将原始流量处理为标准化特征序列，包括：
5.根据权利要求1所述的基于增量学习的恶意加密流量检测方法，其特征在于，所述的恶...
【专利技术属性】
技术研发人员：张伟业，谭浩瀚，刘振广，陈建海，任奎，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。