pcap文件的快速数据索引方法及装置制造方法及图纸

本发明专利技术实施例公开了一种pcap文件的快速数据索引方法及装置，方法包括：抓取网络数据包；根据网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；将一个或多个索引文件读入到内存中；接收用户输入的查询条件，并根据查询条件生成当前索引值；根据当前索引值查找索引文件中的文件偏移和数据长度；根据文件偏移和数据长度从对应的pcap文件中读取查找的内容；将查找的内容展示给用户。实施本发明专利技术实施例，构建pcap文件的同时生成索引文件，保存了数据在pcap文件中的偏移和数据长度，从而加快了检索大流量pcap文件或多pcap文件中数据的速度，进而提高了数据分析的效率。

Fast data index method and device of pcap file

【技术实现步骤摘要】
pcap文件的快速数据索引方法及装置
本专利技术涉及计算机
，具体涉及一种pcap文件的快速数据索引方法及装置。
技术介绍
pcap格式文件是网络数据持久化的的一种方式，通常被用于网络数据统计、网络监控、网络分析等场景下。而构建pcap格式文件可以使用wireshark、libpcap、winpcap等程序和库。目前对于pcap的使用大致流程为使用一种工具或调用libpcap库编写代码，对网络进行抓包生成pcap格式文件，然后使用wireshark等工具打开pcap文件，对网络进行分析。传统构建和分析pcap的缺点是，当数据流量巨大时，无法对pcap中具体的五元组(源ip、目的ip、源端口、目的端口、协议)对应的数据进行快速索引。目前需要使用工具(wireshark)或编写代码将巨大的pcap文件读到内存中，逐条匹配数据的五元组信息，这将是一个非常缓慢的过程。即使将网络流量分到多个pcap文件进行，仍然会面对需要将所有pcap文件读到内存中才能索引到具体数据的问题，这个过程不光慢而且耗费内存。
技术实现思路
本专利技术实施例的目的在于提供一种pcap文件的快速数据索引方法及装置，以加快检索大流量pcap文件或多pcap文件中数据的速度，提高数据分析的效率。为实现上述目的，第一方面，本专利技术实施例提供了一种pcap文件的快速数据索引方法，包括：抓取网络数据包；根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；r>将一个或多个所述索引文件读入到内存中；接收用户输入的查询条件，并根据所述查询条件生成当前索引值，所述查询条件包括源ip地址、目的ip地址、源端口、目的端口和协议中的一种或多种；根据所述当前索引值查找索引文件中的文件偏移和数据长度；根据所述文件偏移和数据长度从对应的pcap文件中读取查找的内容；将查找的内容展示给用户。作为本申请的一种具体实施方式，该快速数据索引方法包括：步骤S1：根据五元组信息生成原始索引值；步骤S2：判断所述原始索引值是否存入当前pcap文件，若否，则执行步骤S3，反之，执行步骤S4；步骤S3：创建pcap格式文件；步骤S4：计算pcap文件的当前写入位置和数据包大小，并生成三元组，所述三元组包括索引值、文件偏移和数据长度；步骤S5：将三元组持久化固化到硬盘，并生成所述索引文件；步骤S6：生成与所述索引文件同名的pcap文件。其中，所述五元组信息包括源ip地址、目的ip地址、源端口、目的端口和协议。作为本申请的一种具体实施方式，根据所述当前索引值查找索引文件中的文件偏移和数据长度，具体包括：若所述当前索引值与所述所述原始索引值一致，则获取索引文件中的文件偏移和数据长度。第二方面，本专利技术实施例提供了一种pcap文件的快速数据索引装置，包括构建模块和解析模块。其中，所述构建模块用于：抓取网络数据包；根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；所述解析模块用于：将一个或多个所述索引文件读入到内存中；接收用户输入的查询条件，并根据所述查询条件生成当前索引值，所述查询条件包括源ip地址、目的ip地址、源端口、目的端口和协议中的一种或多种；根据所述当前索引值查找索引文件中的文件偏移和数据长度；根据所述文件偏移和数据长度从对应的pcap文件中读取查找的内容；将查找的内容展示给用户。进一步地，所述构建模块具体用于执行以下步骤：步骤S1：根据五元组信息生成原始索引值；步骤S2：判断所述原始索引值是否存入当前pcap文件，若否，则执行步骤S3，反之，执行步骤S4；步骤S3：创建pcap格式文件；步骤S4：计算pcap文件的当前写入位置和数据包大小，并生成三元组，所述三元组包括索引值、文件偏移和数据长度；步骤S5：将三元组持久化固化到硬盘，并生成所述索引文件；步骤S6：生成与所述索引文件同名的pcap文件。进一步地，所述解析模块具体用于：若所述当前索引值与所述所述原始索引值一致，则获取索引文件中的文件偏移和数据长度。第三方面，本专利技术实施例还提供了另一种pcap文件的快速数据索引装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。实施本专利技术实施例，构建pcap文件的同时生成索引文件，保存了数据在pcap文件中的偏移和数据长度，从而加快了检索大流量pcap文件或多pcap文件中数据的速度，进而提高了数据分析的效率。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。图1是本专利技术实施例提供的pcap文件的快速数据索引方法的示意流程图；图2是图1中步骤S101的子流程图；图3是索引文件格式示意图；图4是本专利技术一实施例提供的pcap文件的快速数据索引装置的结构示意图；图5是本专利技术另一实施例提供的pcap文件的快速数据索引装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，是本专利技术实施例提供的pcap文件的快速数据索引方法的流程示意图。如图所示，该方法可以包括：S101，抓取网络数据包以构建pcap文件和索引文件。具体地，请参考图2，步骤S101包括：步骤S1：根据五元组信息生成原始索引值。该五元组信息包括源ip地址(SRCIP)、目的ip地址(DESTIP)、源端口(SRCPORT)、目的端口(DESTPORT)和协议(PROTOCOL)。步骤S2：判断所述原始索引值是否存入当前pcap文件，若否，则执行步骤S3，反之，执行步骤S4。步骤S3：创建pcap格式文件。步骤S4：计算pcap文件的当前写入位置和数据包大小，并生成三元组，所述三元组包括索引值、文件偏移和数据长度。步骤S5：将三元组持久化固化到硬盘，并生成索引文件。其中，索引文件格式如图3所示。步骤S6：生成与索引文件同名的pcap文件。S102，将一个或多个所述索引文件读入到内存中。S103，接收用户输入的查询条件，并根据所述查询条件生成当前索引值。其中，所述查询条件包括源ip地址、目的ip地址、本文档来自技高网...

【技术保护点】
1.一种pcap文件的快速数据索引方法，其特征在于，包括：/n抓取网络数据包；/n根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；/n将一个或多个所述索引文件读入到内存中；/n接收用户输入的查询条件，并根据所述查询条件生成当前索引值，所述查询条件包括源ip地址、目的ip地址、源端口、目的端口和协议中的一种或多种；/n根据所述当前索引值查找索引文件中的文件偏移和数据长度；/n根据所述文件偏移和数据长度从对应的pcap文件中读取查找的内容；/n将查找的内容展示给用户。/n

【技术特征摘要】
1.一种pcap文件的快速数据索引方法，其特征在于，包括：
抓取网络数据包；
根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中；
将一个或多个所述索引文件读入到内存中；
接收用户输入的查询条件，并根据所述查询条件生成当前索引值，所述查询条件包括源ip地址、目的ip地址、源端口、目的端口和协议中的一种或多种；
根据所述当前索引值查找索引文件中的文件偏移和数据长度；
根据所述文件偏移和数据长度从对应的pcap文件中读取查找的内容；
将查找的内容展示给用户。


2.如权利要求1所述的pcap文件的快速数据索引方法，其特征在于，根据所述网络数据包生成同名的索引文件和pcap文件，并将同名的索引文件和pcap文件保存至硬盘中，具体包括：
步骤S1：根据五元组信息生成原始索引值；
步骤S2：判断所述原始索引值是否存入当前pcap文件，若否，则执行步骤S3，反之，执行步骤S4；
步骤S3：创建pcap格式文件；
步骤S4：计算pcap文件的当前写入位置和数据包大小，并生成三元组，所述三元组包括索引值、文件偏移和数据长度；
步骤S5：将所述三元组持久化固化到硬盘，并生成所述索引文件；
步骤S6：生成与所述索引文件同名的pcap文件。


3.如权利要求2所述的pcap文件的快速数据索引方法，其特征在于，所述五元组信息包括源ip地址、目的ip地址、源端口、目的端口和协议。


4.如权利要求2所述的pcap文件的快速数据索引方法，其特征在于，根据所述当前索引值查找索引文件中的文件偏移和数据长度，具体包括：
若所述当前索引值与所述所述原始索引值一致，则获取索引文件中的文件偏移和数据长度。


5.一种pcap文件的快速数据索引装置，包括构建模块和解析模块，其特征在于，所述构建模块用于：
抓取网络数...

【专利技术属性】
技术研发人员：迟贤书，赵宇，仪智奇，
申请(专利权)人：杭州九略智能科技有限公司，
类型：发明
国别省市：浙江;33