本申请公开了一种网络全流量会话流快速查找方法及系统。本方法首先将从网络流量抓取到的原始报文缓存到内存中；在缓存原始报文的同时，建立TCP会话索引；然后将TCP会话索引缓存到内存队列中；当原始报文缓存达到预设条件时，按照内存队列中的TCP会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中；最后基于TCP会话索引，创建IP和端口的布隆索引，根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载。本申请通过建立会话流的布隆索引、提升会话流的查找速度，为后续异常数据挖掘、分析、取证建立基础。
【技术实现步骤摘要】
本专利技术涉及通信，特别涉及一种网络全流量会话流快速查找方法及系统。
技术介绍
1、网络全流程回溯分析系统的核心是收集并存储所有的原始流量信息，有了原始流量的存储，就能够将当前检测到的攻击行为与历史流量进行关联，实现完整的攻击溯源和取证分析，但在收集抓取网络流量报文时，同一个会话流的报文通常是非连续且无序的，因此需要遍历所有原始流量才能提取满足条件的会话流信息，极大地影响了后续的检索、提取、分析的性能。
2、目前网络全流量会话流数据存储的方法仍采用实时存储方法：实时存储方法是对网卡抓取到的原始流量进行文件存储，通过对原始流量实时解析，建立tcp会话索引，存储tcp会话的五元组信息(源ip、源端口、目的ip、目的端口、协议名)、会话中所有报文位置及长度信息、报文所属存储文件信息等，这样后续提取会话流时需要依次判断索引文件读取满足条件的会话中的报文所在存储位置与长度信息，影响提取速度。
技术实现思路
1、基于此，本申请实施例提供了一种网络全流量会话流快速查找方法及系统，本申请会对网卡抓取到的原始流量和会话报文流的会话索引额外再生成ip、端口的布隆索引，这样后续提取指定ip或端口的数据时，优先判断是否存在布隆索引中，只有存在才会继续加载会话索引，提取指定的流量，极大的提高了提取速度。解决了全流量回溯分析中会话流导出的性能瓶颈问题。
2、第一方面，提供了一种网络全流量会话流快速查找方法，该方法包括：
3、将从网络流量抓取到的原始报文缓存到内存中；
4、在缓存原始报文的同时，对报文进行解析，提取出五元组信息建立tcp会话索引；其中，所述五元组信息包括源ip、源端口、目的ip、目的端口、协议名；
5、将tcp会话索引缓存到内存队列中；
6、当原始报文缓存达到预设条件时，按照内存队列中的tcp会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中；
7、基于tcp会话索引，创建ip和端口的布隆索引；
8、根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载。
9、可选地，将从网络流量抓取到的原始报文缓存到内存中，包括：
10、通过网卡监听网络流量，实时捕获经过的报文；
11、捕获的报文被立即传输到内存中，形成临时的缓存区域；
12、并在缓存过程中，监控内存的使用情况。
13、可选地，当原始报文缓存达到预设条件包括原始报文缓存达到预设的大小限制或采集时间限制。
14、可选地，按照内存队列中的tcp会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中，包括：
15、按照内存队列中的tcp会话索引顺序，依次从内存队列中获取tcp会话索引；其中，每个索引包含会话的五元组信息和报文在缓存中的位置与长度信息；
16、检查索引中的五元组信息，以确定报文是否属于同一会话；
17、根据索引中的报文位置和长度信息，系统在内存中定位到具体的报文数据；
18、将定位到的报文数据从内存中读取，并按照会话的顺序写入到磁盘文件中；
19、报文写入磁盘后，更新会话索引中的报文位置信息。
20、可选地，基于tcp会话索引，创建ip和端口的布隆索引，包括：
21、确定布隆索引的哈希函数和位数组的大小；
22、从tcp会话索引中提取每个会话的ip和端口信息；
23、设计多个不同的哈希函数，用于将ip和端口信息映射到位数组中的不同位置；
24、初始化位数组，所有位初始状态为0，对于每个会话的ip和端口信息，使用选定的哈希函数计算其在位数组中的多个位置，并将这些位置上的位设置为1。
25、可选地，根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载，包括：
26、根据查询需求，确定五元组信息，使用布隆索引的哈希函数对五元组中的ip和端口信息进行处理，计算出在布隆索引位数组中的位置；
27、对于每个哈希函数计算出的位置，检查布隆索引位数组中相应的位是否为1；其中，当所有计算出的位置的位都是1，则认为该会话存在于tcp会话索引中；如果任何一个位为0，则可以确定该会话不存在于索引中；
28、如果布隆索引查询命中，则进行会话索引加载，布隆索引查询命中时，根据五元组信息加载相应的tcp会话索引；
29、使用加载的会话索引，根据会话的起始和结束位置信息，定位到磁盘文件中存储的会话数据；
30、根据索引中的信息，从磁盘文件中提取出完整的会话数据。
31、第二方面，提供了一种网络全流量会话流快速查找系统，该系统包括：
32、抓取模块，用于将从网络流量抓取到的原始报文缓存到内存中；
33、建立模块，用于在缓存原始报文的同时，建立tcp会话索引；
34、缓存模块，用于将tcp会话索引缓存到内存队列中；
35、写入模块，用于当原始报文缓存达到预设条件时，按照内存队列中的tcp会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中；
36、索引模块，用于基于tcp会话索引，创建ip和端口的布隆索引；
37、查询模块，用于根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载。
38、第三方面，提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一所述的网络全流量会话流快速查找方法。
39、第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一所述的网络全流量会话流快速查找方法。
40、第五方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面任一所述的网络全流量会话流快速查找方法。
41、本申请实施例首先将从网络流量抓取到的原始报文缓存到内存中；在缓存原始报文的同时，建立tcp会话索引；然后将tcp会话索引缓存到内存队列中；当原始报文缓存达到预设条件时，按照内存队列中的tcp会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中；最后基于tcp会话索引，创建ip和端口的布隆索引，根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载。可以看出，提供的技术方案带来的有益效果包括能够有效解决全流量回溯分析中会话流下载的性能瓶颈问题，通过建立会话流的布隆索引、提升会话流的查找速度，为后续异常数据挖掘、分析、取证建立扎实基础。
本文档来自技高网...
【技术保护点】
1.一种网络全流量会话流快速查找方法，其特征在于，所述方法包括：
2.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，将从网络流量抓取到的原始报文缓存到内存中，包括：
3.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，当原始报文缓存达到预设条件包括原始报文缓存达到预设的大小限制或采集时间限制。
4.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，按照内存队列中的TCP会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中，包括：
5.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，基于TCP会话索引，创建IP和端口的布隆索引，包括：
6.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，根据五元组信息查询会话判断是否命中布隆索引，在命中时加载会话流索引，提取满足条件的会话进行下载，包括：
7.一种网络全流量会话流快速查找系统，其特征在于，所述系统包括：
8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6任一所述的网络全流量会话流快速查找方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一所述的网络全流量会话流快速查找方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一所述的网络全流量会话流快速查找方法。
...
【技术特征摘要】
1.一种网络全流量会话流快速查找方法，其特征在于，所述方法包括：
2.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，将从网络流量抓取到的原始报文缓存到内存中，包括：
3.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，当原始报文缓存达到预设条件包括原始报文缓存达到预设的大小限制或采集时间限制。
4.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，按照内存队列中的tcp会话索引顺序，将同一会话的原始报文连续写入到磁盘文件中，包括：
5.根据权利要求1所述的网络全流量会话流快速查找方法，其特征在于，基于tcp会话索引，创建ip和端口的布隆索引，包括：
6.根据权利要求1所述的网络全流量会话流快速查找方...
【专利技术属性】
技术研发人员：刘庆林，马洪波，吕宗辉，陈健，李小琼，魏海宇，柳博文，谢辉，杨晓峰，刘海洋，姜小光，
申请(专利权)人：北京中睿天下信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。