【技术实现步骤摘要】
本专利技术属于但不限于深度学习，尤其涉及一种基于复合骨干网络的异常流量检测系统及方法。
技术介绍
1、最近几年，深度学习技术已经展现出其在网络异常流量检测任务中的适用性和有效性。然而，这一领域目前多数现有方法依赖于单一的深度学习架构，这限制了它们在提取网络流量数据多维特征时的能力。由于这种方法在特征提取上有一定缺陷，会对检测的准确性造成不利影响，进而影响到最终的检测结果。
2、现有技术在网络异常流量检测任务中存在以下技术问题及缺陷：
3、1)单一深度学习架构的局限性：目前多数现有方法依赖于单一的深度学习架构，如仅使用lstm或gru进行特征提取。这种单一架构在提取网络流量数据多维特征时能力有限，无法充分捕捉复杂的网络流量特征，导致模型的特征表达能力不足。
4、2)特征提取的不足：由于单一架构的深度学习模型在特征提取上存在一定缺陷，会遗漏一些关键特征或未能充分挖掘网络流量数据中的潜在模式。这种特征提取的不足会对检测的准确性造成不利影响，进而影响到最终的检测结果。
5、3)多维特征的处理能力弱：网络流量数据具有多维特征，包括时间序列特征、统计特征和协议特征等。现有技术中单一架构的深度学习模型在处理这些多维特征时表现不佳，无法充分利用不同特征之间的关系来提升检测性能。
6、4)泛化能力较差：单一架构的深度学习模型在训练过程中容易过拟合于特定类型的异常流量，导致其在应对新型或未知的异常流量时泛化能力较差。模型在测试阶段面对未见过的异常流量时，识别率和准确性大幅下降，影响了实际应
7、5)难以应对复杂的网络环境：在复杂的网络环境中，网络流量的特征和模式变化多样，现有的单一深度学习架构难以适应这些变化，导致检测效果不稳定。无法有效处理复杂的网络环境，使得异常流量检测系统的实际应用效果受到限制。
8、这些技术问题和缺陷限制了现有网络异常流量检测方法的性能和应用效果，亟需通过改进和创新深度学习架构，提升特征提取能力和模型的泛化能力，以更好地应对复杂多变的网络环境和新型异常流量的检测任务。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于复合骨干网络的异常流量检测系统及方法。
2、本专利技术是这样实现的，一种基于复合骨干网络的异常流量检测系统，该系统包括包括：
3、数据预处理模块，负责处理原始的网络流量数据，以支持后续的分析和模型训练；
4、流量特征学习模块，对于处理好的流量数据分别输入到lstm与gru中，gru为主网络，负责融合辅助网络的特征并将最终的输出作为分类的特征；左侧的lstm网络起辅助作用，输出高层级特征，利用复合连接为主网络提供高级特征用以融合；
5、检测分类模块，负责将预处理并经特征提取的网络流量数据输入至最终的分类器。
6、进一步，所述数据预处理模块初始捕获的网络流量数据通常为pcap文件格式，其中包含捕获的数据包信息，依据每个数据包的独特标识符，即由源ip地址、目的ip地址、源端口号、目的端口号和传输协议组成的五元组对数据包进行聚合；通过这种方式，属于同一网络连接的所有数据包将被编组进相应的数据流中；接下来对每个识别的数据流提取特征集，包括但不限于总数据量、数据包计数及平均数据包大小等整体统计特征；
7、进一步，所述数据预处理模块对于各个时间窗口中的统计特征，例如窗口内的数据包数量、数据总量和平均数据包大小；对于分类变量(如协议类型等)，通过使用one-hot编码以便模型能够理解这些非数值性质的特征；在特征提取之后，删除那些对训练模型贡献不大或信息量有限的特征项；对所选特征进行归一化处理以保证特征值处于同一量级，方便深度学习模型的学习和优化；通过这一切步骤，确保了预处理后的数据统一格式化以用于进一步的异常检测模型训练。
8、进一步，所述数据预处理模块核心环节包括对数据流的分割及其特征的提取，具体包括：
9、切割数据流：原始的pcap流量文件由众多数据包构成，设数据包总数为n，那么可以将其表示为p＝{p1，p2，...pn}。对于每一个数据包pi都可以定义为公式(1)所示的形式：
10、pi＝(qi，ti，si) (1)
11、在公式(1)中，五元组信息用于描述流量数据包，包括源ip地址(srcip)、目标ip地址(dstip)、源端口(srcport)、目标端口(dstport)以及使用的传输层网络协议(protocol)。此外，公式还涉及数据包pi的起始时间ti和其大小si。数据流(flow)，指的是具有相同五元组属性的数据包集合，如公式(2)中定义：
12、pflow＝{p1＝(q1，t1，s1)，p2＝(q2，t2，s2)，...，pn＝(qn，tn，sn)} (2)
13、公式(2)中，每个网络流定义为一系列具有相同的源ip、目的ip、源端口、目的端口以及协议类型的数据包集合，并且它们之间的到达时间符合一定的连续性，于是有q1＝q2＝...＝qn，且数据包的开始时间满足t1＜t2＜...＜tn；
14、选用了cicflowmeter，利用其对原始pcap文件中的流进行维度切割的能力，随后分别对每个流抽取出包括数据包头信息、流总量、数据包总数以及平均数据包大小在内的86项特征信息；在网络特征选择时，排除诸如以太网层mac地址(源和目的)、协议版本等字段，因为这些特征对模型性能的提升并不显著；针对数据中的类别(非数值)字段，采用one-hot编码策略，并对全部特征进行了归一化处理，最终构建出一套包含81个特征维度的拟态异常流量数据集用于后续分析。
15、进一步，所述复合连接的方式为线性变换后加权平均到主网络，可以表示为：
16、
17、其中表示gru网络第l层的输出,表示对lstm第l层的输出做线性变换，为一个超参数，代表辅助网络对主网络的影响程度。
18、进一步，所述lstm网络由一个或多个含有输入门、遗忘门和输出门的lstm单元构成；
19、所述gru对lstm的结构进行了简化，将lstm的三个门(输入门、遗忘门和输出门)减少到两个门：更新门和重置门；所述更新门由lstm的遗忘门和输入门功能合并而成，用来决定每个时间步保存旧状态信息的比例和添加新信息的比例；
20、所述gru的计算分为两个部分：
21、更新门zt和重置门rt的计算。更新门zt使用sigmoid函数和点积运算，控制前一时刻的隐藏状态ht-1与当前输入t之间的信息更新程度；重置门rt也使用sigmoid函数和点积运算，它控制了前一时刻的隐藏状态ht-1对当前时刻的影响程度；它们的计算公式为：
22、
23、其中，wz和wr是可学习的参数；
24、更新隐藏状态的计算，首先计算候选隐藏状态它通过tanh函数和本文档来自技高网...
【技术保护点】
1.一种基于复合骨干网络的异常流量检测系统，其特征在于，该系统包括包括：
2.根据权利要求1所述的系统，其特征在于，所述数据预处理模块还包括对捕获的数据流进行特征编码和归一化处理，具体为将分类变量通过One-Hot编码转换为数值型特征，并删除冗余特征项，以确保所有特征处于同一量级，便于后续模型训练。
3.根据权利要求1所述的系统，其特征在于，所述流量特征学习模块中的复合骨干网络采用线性变换后加权平均的方式将LSTM网络的输出特征融合到GRU网络中，其中超参数用于调节辅助网络对主网络的影响程度，以增强特征学习的效果。
4.根据权利要求1所述的系统，其特征在于，所述GRU网络通过更新门和重置门控制信息流的更新，以简化的结构相比LSTM网络更高效地学习流量数据的时序特征，并与LSTM网络协同工作，通过分阶段地传递高层级特征到GRU网络，实现特征的互补和增强。
5.根据权利要求1所述的系统，其特征在于，所述检测分类模块采用Softmax分类器，该分类器根据流量特征学习模块提取的特征，计算输入样本属于每个异常流量类别的概率分布，并输出概率得分
6.一种基于复合骨干网络的异常流量检测方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的基于复合骨干网络的异常流量检测方法，其特征在于，所述数据预处理步骤包括：
8.根据权利要求6所述的基于复合骨干网络的异常流量检测方法，其特征在于，所述流量特征学习步骤包括：
9.根据权利要求6所述的基于复合骨干网络的异常流量检测方法，其特征在于，所述检测分类步骤包括：
10.根据权利要求6所述的基于复合骨干网络的异常流量检测方法，其特征在于，所述数据预处理步骤进一步包括：
...【技术特征摘要】
1.一种基于复合骨干网络的异常流量检测系统，其特征在于，该系统包括包括：
2.根据权利要求1所述的系统，其特征在于，所述数据预处理模块还包括对捕获的数据流进行特征编码和归一化处理，具体为将分类变量通过one-hot编码转换为数值型特征，并删除冗余特征项，以确保所有特征处于同一量级，便于后续模型训练。
3.根据权利要求1所述的系统，其特征在于，所述流量特征学习模块中的复合骨干网络采用线性变换后加权平均的方式将lstm网络的输出特征融合到gru网络中，其中超参数用于调节辅助网络对主网络的影响程度，以增强特征学习的效果。
4.根据权利要求1所述的系统，其特征在于，所述gru网络通过更新门和重置门控制信息流的更新，以简化的结构相比lstm网络更高效地学习流量数据的时序特征，并与lstm网络协同工作，通过分阶段地传递高层级特征到gru网络，实现特征的互补...
【专利技术属性】
技术研发人员：刘长征，卢泓铭，王跃东，张荣华，胡佳乐，赵俊皓，
申请(专利权)人：石河子大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。