基于lightGBM的流量多进程入侵检测方法及系统技术方案

本公开提供了基于lightGBM的流量多进程入侵检测方法及系统，涉及网络流量入侵检测技术领域，方法包括设定入侵检测的父进程，所述父进程下设定两个并行的子进程，第一子进程和第二子进程分别获取网络数据的流级统计特征以及流量；其中，第二子进程以相同的时间为间隔对监听的流量进行拆分存储，再以五元组信息将流量文件拆分为多个单独的会话，判断每个会话是否采用tls协议进行加密传输，对采用tls协议加密传输的会话进行特征提取，获取加密流量的字节特征；两个子进程分别将获取的流级统计特征和字节特征输入至基于决策树的lightGBM的模型中，判断是否发生入侵检测行为。本公开解决多种特征并行检测的问题，保证了入侵检测的高准确率。的高准确率。的高准确率。

【技术实现步骤摘要】
基于lightGBM的流量多进程入侵检测方法及系统


[0001]本公开涉及网络流量入侵检测
，具体涉及基于lightGBM的流量多进程入侵检测方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着现代化技术的不断发展，网络安全问题成为人们越来越关注的话题。尤其是近年来，网络安全事件频发，引起了社会各界的高度关注。为了保护个人隐私和企业信息安全，人们对网络安全的意识越来越高。在网络通信过程中，存在黑客盗取、篡改、伪造等攻击行为的发生，从而导致诸如信息泄露、服务中断等严重的安全问题。为了解决这些问题，入侵检测系统应运而生，它能够监控网络流量并识别潜在的威胁，已保障网络的安全性和可靠性。然而，随着加密技术的广泛应用，网络流量从明文传输到了密文，加密流量在网络中所占比例逐渐增加。加密流量在保护数据隐私的同时，也给不法分子提供了可乘之机；识别加密流量中的入侵行为给入侵检测系统的设计和开发带来了新的挑战。入侵检测系统需要能够识别和分析加密流量中的攻击行为，同时还需要考虑到加密流量的特殊性，以确保检测系统的准确性和有效性。为此，研究人员正在探索新的技术和方法，以解决这些挑战。例如，利用机器学习算法对加密流量进行分类和识别，以帮助检测系统更准确地识别恶意流量。
[0004]深度数据包检测等传统入侵检测方法广泛用于检测非加密流量。深度数据包检测通过深入检查数据包的有效载荷来确定流量的合法性，在入侵检测方面具有较高的准确性。
[0005]但是，由于需要查看流量内容，深度数据包检测不适用于加密流量检测。有国外学者建议使用中间人方法对加密的流量数据进行解密，这样传统的入侵检测方法仍然可以对解密的数据进行处理。但这种方法不符合流量加密保护隐私的目的，而且解密和重新加密数据包的过程会消耗大量资源。与解密密文的检测方法相比，基于机器学习算法的方法在检测加密流量方面显示出独特的优势。基于机器学习的模型通常使用从流量中提取的特征，而无需解密。研究中广泛使用的特征可以分为三类:元数据特征、统计特征和未加密TLS报头特征。元数据特征是基本特征，包含了五元组等数据流的基本信息。统计特征是对网络流量的数据流进行统计分析得到的特征，通常不直接显示，需要通过统计计算提取。当流量使用TLS(传输层安全性)协议加密时，会引入未加密的TLS报头功能，TLS协议是一种为应用程序提供隐私保护的加密协议。在真实的网络环境中，更多情况下是即存在加密流量，也存在非加密流量，对这种复杂情况如何实现较高性能的入侵检测是要研究的问题。网络流量的流级统计特征不仅适用于传统网络，同样也适用于加密网络环境。但上述的未加密TLS报头特征只适用于对采用tls协议的加密流量进行检测，无疑大大缩小了其适用范围。
[0006]并且现有的方法在对网络流量数据进行检测时没有充分利用网络流量流级统计
特征与加密流量报头字节特征的问题，无法兼顾时间维度与空间维度的缺陷，在对加密流量进行检测时没有考虑到其独特的字节特性与入侵行为发生的相关性，以及无法解决多种特征并行检测又要保证入侵检测模型高可用性和高准确率的问题。

技术实现思路

[0007]本公开为了解决上述问题，提出基于lightGBM(Light GradientBoostingMachine,轻量级梯度提升机器学习)的流量多进程入侵检测方法及系统，考虑真实网络环境下加密流量与非加密流量共存的状态，以及网络流量在时间和空间上的不同维度的特征表现，以双进程的形式对设备网卡进行流量监听，进行检测判断是否有入侵行为的发生。
[0008]根据一些实施例，本公开采用如下技术方案：
[0009]基于lightGBM的流量多进程入侵检测方法，包括：
[0010]设定入侵检测的父进程，所述父进程下设定两个并行的子进程，分别为第一子进程和第二子进程；
[0011]父进程启动两个并行的第一子进程和第二子进程同时对网卡进行监听，分别获取网络数据的流级统计特征以及流量；
[0012]其中，第二子进程以相同的时间为间隔对监听的流量进行拆分存储，再以五元组信息将流量文件拆分为多个单独的会话，判断每个会话是否采用tls协议进行加密传输，对采用tls协议加密传输的会话进行特征提取，获取加密流量的字节特征；
[0013]两个子进程分别将获取的流级统计特征和字节特征输入至基于决策树的lightGBM的模型中，判断是否发生入侵检测行为。
[0014]根据一些实施例，本公开采用如下技术方案：
[0015]基于lightGBM的流量多进程入侵检测系统，包括：
[0016]数据获取模块，设定入侵检测的父进程，所述父进程下设定两个并行的子进程，分别为第一子进程和第二子进程；父进程启动两个并行的第一子进程和第二子进程同时对网卡进行监听，分别获取网络数据的流级统计特征以及流量；
[0017]特征获取取模块，其中，第二子进程以相同的时间为间隔对监听的流量进行拆分存储，再以五元组信息将流量文件拆分为多个单独的会话，判断每个会话是否采用tls协议进行加密传输，对采用tls协议加密传输的会话进行特征提取，获取加密流量的字节特征；
[0018]入侵检测模块，两个子进程分别将获取的流级统计特征和字节特征输入至基于决策树的lightGBM的模型中，判断是否发生入侵检测行为。
[0019]根据一些实施例，本公开采用如下技术方案：
[0020]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于lightGBM的流量多进程入侵检测方法。
[0021]根据一些实施例，本公开采用如下技术方案：
[0022]一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于lightGBM的流量多进程入侵检测方法。
[0023]与现有技术相比，本公开的有益效果为：
[0024]本公开通过第一个子进程获取经过被监听网卡的流量流级统计特征，解决从网络数据流层面获取流量统计特征的问题；通过第二子进程实现对网络流量的切分、清洗、转换和裁剪，获取使用tls协议的加密流量的字节特征；从统计特征和加密流量字节特征两方面分析流量数据，实现对入侵行为的高效检测。同时依靠lightGBM强大的分类与并行运算能力，使得在不降低检测准确率的同时，还具有较好的检测速率。
[0025]本公开兼顾时间维度与空间维度，在对加密流量进行检测时考虑到其独特的字节特性与入侵行为发生的相关性，提高系统的吞吐量和响应速度，增加系统的可靠性和稳定性。
附图说明
[0026]构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0027]图1为本公开实施例入侵检测方法总体框架图；
[0028]图2为本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于lightGBM的流量多进程入侵检测方法，其特征在于，包括：设定入侵检测的父进程，所述父进程下设定两个并行的子进程，分别为第一子进程和第二子进程；父进程启动两个并行的第一子进程和第二子进程同时对网卡进行监听，分别获取网络数据的流级统计特征以及流量；其中，第二子进程以相同的时间为间隔对监听的流量进行拆分存储，再以五元组信息将流量文件拆分为多个单独的会话，判断每个会话是否采用tls协议进行加密传输，对采用tls协议加密传输的会话进行特征提取，获取加密流量的字节特征；两个子进程分别将获取的流级统计特征和字节特征输入至基于决策树的lightGBM的模型中，判断是否发生入侵检测行为。2.如权利要求1所述的基于lightGBM的流量多进程入侵检测方法，其特征在于，所述获取加密流量的字节特征的具体步骤为：对获取到的流量文件依照是否具有相同的五元组信息进行细粒度拆分，拆分为多个单独的会话数据包；分别对会话中的流量或者含有协议层数据进行分析，判断是否是采用的tls协议的加密流量；若是采用tls协议的加密流量，则对其字节特征进行提取；以二进制的形式对采用tls协议的加密流量会话文件读取字节并进行分组，然后将每组的二进制数据进行十进制数据的转化处理后，获取最后的字节特征。3.如权利要求2所述的基于lightGBM的流量多进程入侵检测方法，其特征在于，所述五元组信息包括源ip地址、源mac地址、目的ip地址、目的mac地址以及协议类型信息。4.如权利要求1所述的基于lightGBM的流量多进程入侵检测方法，其特征在于，所述第二子进程以相同的时间为间隔对监听的流量进行拆分存储的方法为：自开始对流量进行捕获计时，每间隔一段相同的时间就将捕获的流量保存到本地文件中。5.如权利要求1所述的基于lightGBM的流量多进程入侵检测方法，其特征在于，在解析五元组信息时，网络流量中的五元组信息包含在数据包的IP...

【专利技术属性】
技术研发人员：娄国庆，徐丽娟，赵大伟，杨淑棉，赵梓程，杨志，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：