【技术实现步骤摘要】
本专利技术涉及计算机网络安全领域的网络数据分析,具体涉及针对海量网络数据包进行索引和查询分析的方法。
技术介绍
在网络监测和网络安全的研究中,对抓取的网络数据包进行分析是一个重要的主题。通过对其进行抓取和分析,实现对网络有效的监控,准确定位网络中出现的故障。而当前的网络数据分析任务,例如协议性能评估、网络监测及辩证分析,在分析错误和评估性能时,网络数据包查询过程需要快速而有效地完成。事实上,该过程为一个CPU计算密集任务,特别是当处理一个包含复杂通信方式的大文件时,会给CPU带来很大负担。与此同时,随着网络飞速发展,网络通信越来越复杂,导致数据包路径的长度变得更大,同时查询条件也变得更为复杂,因此查询延时也随之快速地增加。因此在该环境下,对网络数据包的查询效率的提升变得十分重要,而在此过程中最重要的是查询的精度与速度。目前,主要通过以下途径来提高海量数据的查询性能,一是改变数据的存储结构使其更好地满足上层查询;二是建立高效的索引提高数据检索的效率;其三是通过查询优化技术来优化查询语句,如启发式优化、基于代价的优化等。而索引技术是上述几种方法中最常用的提高查询效率速度的手段。目前常用的索引结构主要有三种,B-树索引、R-树索引和位图索引。与前面两者,位图索引将比较、连接和聚集都变成了位逻辑运算,大大减少了运行时间,从而得到性能上的极大的提升。但将位图索引技术运用到网络数据包查询环境下,当数据包数量上升为百万时,采用 ...
【技术保护点】
一个基于Wavelet Tree的网络数据包索引系统。基于Wavelet Tree的网络数据包索引系统主要针对包含大量网络数据包的文件进行有效的数据检索,其索引和查询均是基于Wavelet Tree的数据结构。需要较少的空间来存储建立的索引文件,且支持多种复杂的查询,对某一属性给出确定值查询、范围查询、最值的查询以及按照升序或降序的顺序进行排序。
【技术特征摘要】
1.一个基于WaveletTree的网络数据包索引系统。
基于WaveletTree的网络数据包索引系统主要针对包含大量网络数据包的文件进行
有效的数据检索,其索引和查询均是基于WaveletTree的数据结构。需要较少的空间来存
储建立的索引文件,且支持多种复杂的查询,对某一属性给出确定值查询、范围查询、最值
的查询以及按照升序或降序的顺序进行排序。
2.如权利要求1所述的对文件进行索引建立的具体实现为:首先选取需要建立的索引
数据,然后将所有的索引数据被保存在相应的数组中,数组均包含相同的元素个数,与文件
中的总数据包个数相同。最后对选取的索引数据建立相应的索引文件。
3.如权利要求1所述的对文件进行查询的具体步骤为:
1)将需要满足的查询条件写入文件中;
2)解析查询...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。