流量特征提取方法、系统、存储介质及电子设备技术方案

本申请涉及互联网技术领域，具体涉及一种流量特征提取方法、系统、存储介质及电子设备，包括：提取待发送数据包的流量特征，根据流五元组确定流量特征在可编程交换机的短缓冲区中对应的槽位；将待发送数据包的流量特征添加到短缓冲区中对应的槽位；若槽位无法添加待发送数据包的流量特征，则将流量特征添加到可编程交换机中空白的长缓冲区中；当长缓冲区填满流量特征时，将长缓冲区中的流量特征和短缓冲区对应槽位中的流量特征一并打包发送到行为检测服务器。本申请能够在不影响交换机正常转发数据包功能的基础上，以线速对流经的流量进行特征提取，并将流量特征转发给行为检测服务器，处理速度快、吞吐量大、成本低。成本低。成本低。

【技术实现步骤摘要】
流量特征提取方法、系统、存储介质及电子设备


[0001]本申请涉及互联网
，特别地涉及一种流量特征提取方法、系统、存储介质及电子设备。

技术介绍

[0002]流量分析是网络安全领域最重要的技术之一，指的是通过收集流量统计信息和分析流量行为模式来对网络进行监测的一系列方法。流量分析对于网络安全有着重要的意义，通过流量分析技术，网络管理者可以及时地发现网络可能面对的威胁，从而在第一时间做出反应，维护网络空间的安全稳定。流量分析技术在入侵检测、僵尸网络检测、网页指纹识别、多媒体协议隧道识别等领域都有着大量的应用。
[0003]如今，由于加密技术的大量使用以及网络攻击手段的演进，传统的流量分析方法的可靠性急剧降低。而随着机器学习的迅速发展，基于机器学习的流量分析方法逐渐成为主流。这一类方法具有可靠性高、应用范围广、可拓展性好等优点，同时也对计算资源有着较高的要求。在网络吞吐指数增长的背景下，基于机器学习的流量分析方法要消耗的服务器计算资源也大幅增加，由此带来了算法部署成本的上涨。这一现状阻碍了许多优秀的机器学习流量分析方法的实际落地应用。同时，此前并无针对流量特征提取的专有硬件优化方法。这导致流量特征提取效率往往成为机器学习流量分析算法的瓶颈。

技术实现思路

[0004]针对上述问题，本申请提供一种流量特征提取方法、系统、存储介质及电子设备，相比传统的基于CPU服务器的流量特征提取器，该专利技术具有处理速度快、吞吐量大、成本低的优点。
[0005]第一方面，本申请提供了一种流量特征提取方法，所述方法包括：
[0006]提取待发送数据包的五元组信息；
[0007]根据所述五元组信息标识流五元组；
[0008]提取所述待发送数据包的流量特征，并根据所述流五元组确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位；
[0009]将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位；
[0010]若所述短缓冲区中对应的槽位无法添加所述待发送数据包的流量特征，则将所述待发送数据包的流量特征添加到可编程交换机中空白的长缓冲区中；
[0011]当所述长缓冲区填满流量特征时，将所述长缓冲区中的流量特征和所述短缓冲区对应槽位中的流量特征一并打包发送到行为检测服务器。
[0012]在一些实施例中，所述提取待发送数据包的五元组信息，包括：
[0013]从所述待发送数据包的包头中提取五元组信息。
[0014]在一些实施例中，所述根据所述流五元组确定所述待发送数据包在可编程交换机的短缓冲区中对应的槽位，包括：
[0015]对所述流五元组进行哈希映射，确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位。
[0016]在一些实施例中，所述流量特征，包括：
[0017]报文大小和报文时间戳。
[0018]在一些实施例中，所述将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位，包括：
[0019]判断所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位中是否已存在流量特征；
[0020]若所述槽位中是否已存在流量特征，则判断所述已存在流量特征的五元组是否与所述待发送数据包的流量特征的五元组相同；
[0021]若所述已存在流量特征的五元组与所述待发送数据包的流量特征的五元组相同，则将所述待发送数据包的流量特征添加到所述已存在流量特征的后面；
[0022]若所述已存在流量特征的五元组与所述待发送数据包的流量特征的五元组不同，则将所述槽位中已存在流量特征踢出，并发送至行为检测服务器，将所述待发送数据包的流量特征添加到所述槽位中。
[0023]在一些实施例中，所述方法还包括；
[0024]当将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位时，记录当前时间，并开始计时；其中，所述开始计时时重置之前的计时时间；
[0025]当计时时间大于预设时间时，将所述短缓冲区中对应的槽位中的流量特征发送到行为检测服务器。
[0026]在一些实施例中，若所述短缓冲区对应的槽位存在对应的长缓冲区，则所述方法还包括:
[0027]将所述槽位对应的长缓冲区中的流量特征与所述槽位中的流量特征一并打包发送到行为检测服务器。
[0028]第二方面，一种流量特征提取系统，所述系统包括：
[0029]提取单元，用于提取待发送数据包的五元组信息；
[0030]标识单元，用于根据所述五元组信息标识流五元组；
[0031]确定单元，用于提取所述待发送数据包的流量特征，并根据所述流五元组确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位；
[0032]添加单元，用于将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位；若所述短缓冲区中对应的槽位无法添加所述待发送数据包的流量特征，则将所述待发送数据包的流量特征添加到可编程交换机中空白的长缓冲区中；
[0033]发送单元，用于当所述长缓冲区填满流量特征时，将所述长缓冲区中的流量特征和所述短缓冲区对应槽位中的流量特征一并打包发送到行为检测服务器。
[0034]在一些实施例中，所述系统还包括；
[0035]超时处理单元，用于当将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位时，记录当前时间，并开始计时；其中，所述开始计时时重置之前的计时时间；当计时时间大于预设时间时，将所述短缓冲区中对应的槽位中的流量特征发送到行为检测服务器。
[0036]第三方面，一种存储介质，该存储介质存储的计算机程序，可被一个或多个处理器执行，可用来实现如上述第一方面所述的流量特征提取方法。
[0037]第四方面，一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述存储器和所述处理器之间互相通信连接，该计算机程序被所述处理器执行时，执行如上述第一方面所述的流量特征提取方法。
[0038]本申请提供的一种流量特征提取方法、系统、存储介质及电子设备，包括：提取待发送数据包的五元组信息；根据所述五元组信息标识流五元组；提取所述待发送数据包的流量特征，并根据所述流五元组确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位；将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位；若所述短缓冲区中对应的槽位无法添加所述待发送数据包的流量特征，则将所述待发送数据包的流量特征添加到可编程交换机中空白的长缓冲区中；当所述长缓冲区填满流量特征时，将所述长缓冲区中的流量特征和所述短缓冲区对应槽位中的流量特征一并打包发送到行为检测服务器。本申请的流量特征提取方法能够在不影响交换机正常转发数据包功能的基础上，以线速对流经的流量进行特征提取，并将流量特征转发给行为检测服务器。相比传统的基于CPU服务器的流量特征提取器，该专利技术具有处理速度快、吞吐量大、成本低的优点。
附图说明
[0039]为了更清楚地说明本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种流量特征提取方法，其特征在于，所述方法包括：提取待发送数据包的五元组信息；根据所述五元组信息标识流五元组；提取所述待发送数据包的流量特征，并根据所述流五元组确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位；将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位；若所述短缓冲区中对应的槽位无法添加所述待发送数据包的流量特征，则将所述待发送数据包的流量特征添加到可编程交换机中空白的长缓冲区中；当所述长缓冲区填满流量特征时，将所述长缓冲区中的流量特征和所述短缓冲区对应槽位中的流量特征一并打包发送到行为检测服务器。2.根据权利要求1所述的方法，其特征在于，所述提取待发送数据包的五元组信息，包括：从所述待发送数据包的包头中提取五元组信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述流五元组确定所述待发送数据包在可编程交换机的短缓冲区中对应的槽位，包括：对所述流五元组进行哈希映射，确定所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位。4.根据权利要求1所述的方法，其特征在于，所述流量特征，包括：报文大小和报文时间戳。5.根据权利要求1所述的方法，其特征在于，所述将所述待发送数据包的流量特征添加到所述短缓冲区中对应的槽位，包括：判断所述待发送数据包的流量特征在可编程交换机的短缓冲区中对应的槽位中是否已存在流量特征；若所述槽位中是否已存在流量特征，则判断所述已存在流量特征的五元组是否与所述待发送数据包的流量特征的五元组相同；若所述已存在流量特征的五元组与所述待发送数据包的流量特征的五元组相同，则将所述待发送数据包的流量特征添加到所述已存在流量特征的后面；若所述已存在流量特征的五元组与所述待发送数据包的流量特征的五元组不同，则将所述槽位中已存在流量特征踢出，并发送至行为检测服务器，将所述待发送数据包的流量特征添加到所述槽位中。6.根据权利要求1所述的方法，其特征在于，所述方法还包括；当将所述待发送数据包的...

【专利技术属性】
技术研发人员：徐明伟，郭诚，李冠宇，张梦豪，王士诚，李琦，
申请(专利权)人：清华大学，
类型：发明
国别省市：