当前位置: 首页 > 专利查询>湖南大学专利>正文

一个基于Wavelet Tree的网络数据包索引系统技术方案

技术编号:13332789 阅读:96 留言:0更新日期:2016-07-12 02:12
本发明专利技术涉及计算机网络安全领域的网络数据分析,具体涉及针对海量网络数据包进行索引和查询分析的方法。该发明专利技术能够快速准确地从海量的网络数据包中检索出符合条件的数据包,它基于一种新型的数据结构Wavelet Tree,同时索引和查询的功能也是通过该数据结构来实现,查询功能的过程如图1所示。该发明专利技术需要较少的空间来存储建立的索引文件,且支持多种复杂的查询,对某一属性的准确查询、范围查询以及最值的查询等等。

【技术实现步骤摘要】

本专利技术涉及计算机网络安全领域的网络数据分析,具体涉及针对海量网络数据包进行索引和查询分析的方法。
技术介绍
在网络监测和网络安全的研究中,对抓取的网络数据包进行分析是一个重要的主题。通过对其进行抓取和分析,实现对网络有效的监控,准确定位网络中出现的故障。而当前的网络数据分析任务,例如协议性能评估、网络监测及辩证分析,在分析错误和评估性能时,网络数据包查询过程需要快速而有效地完成。事实上,该过程为一个CPU计算密集任务,特别是当处理一个包含复杂通信方式的大文件时,会给CPU带来很大负担。与此同时,随着网络飞速发展,网络通信越来越复杂,导致数据包路径的长度变得更大,同时查询条件也变得更为复杂,因此查询延时也随之快速地增加。因此在该环境下,对网络数据包的查询效率的提升变得十分重要,而在此过程中最重要的是查询的精度与速度。目前,主要通过以下途径来提高海量数据的查询性能,一是改变数据的存储结构使其更好地满足上层查询;二是建立高效的索引提高数据检索的效率;其三是通过查询优化技术来优化查询语句,如启发式优化、基于代价的优化等。而索引技术是上述几种方法中最常用的提高查询效率速度的手段。目前常用的索引结构主要有三种,B-树索引、R-树索引和位图索引。与前面两者,位图索引将比较、连接和聚集都变成了位逻辑运算,大大减少了运行时间,从而得到性能上的极大的提升。但将位图索引技术运用到网络数据包查询环境下,当数据包数量上升为百万时,采用该技术所建立的索引大小会异常地增加。因此,在抽取一个大的数据包的路径时,需在索引数据大小和数据包提取性能之间有一个折衷点。针对于该问题,有学者提出了一个新型的数据结构WaveletTree,采用该结构所建立的索引在索引数据的大小和数据包提取性能两者之间获取了一个平衡点,而且同时满足快速查找的性能和提供了高压缩比。WaveletTree是一种存储压缩字符串的简洁的数据结构。它将字符串转换成由位向量组成的平衡二叉树,该树除叶子节点外的每个节点存储一个位序列,位序列的每个位置由0或1来标记。把字符串的字符集从根部开始分成两部分,左子树的符号被标记为0,其剩余的为右子树,标记为1。以这种方式递归生成下面的子树。WaveletTree的递归定义如下:1)将字符串所包含的字符集前半部分编码为0,后半部分编码为1:例如对于序列S={1,5,1,1,8,6,3,8,7,5,7,4,3,2,8,8本文档来自技高网...

【技术保护点】
一个基于Wavelet Tree的网络数据包索引系统。基于Wavelet Tree的网络数据包索引系统主要针对包含大量网络数据包的文件进行有效的数据检索,其索引和查询均是基于Wavelet Tree的数据结构。需要较少的空间来存储建立的索引文件,且支持多种复杂的查询,对某一属性给出确定值查询、范围查询、最值的查询以及按照升序或降序的顺序进行排序。

【技术特征摘要】
1.一个基于WaveletTree的网络数据包索引系统。
基于WaveletTree的网络数据包索引系统主要针对包含大量网络数据包的文件进行
有效的数据检索,其索引和查询均是基于WaveletTree的数据结构。需要较少的空间来存
储建立的索引文件,且支持多种复杂的查询,对某一属性给出确定值查询、范围查询、最值
的查询以及按照升序或降序的顺序进行排序。
2.如权利要求1所述的对文件进行索引建立的具体实现为:首先选取需要建立的索引
数据,然后将所有的索引数据被保存在相应的数组中,数组均包含相同的元素个数,与文件
中的总数据包个数相同。最后对选取的索引数据建立相应的索引文件。
3.如权利要求1所述的对文件进行查询的具体步骤为:
1)将需要满足的查询条件写入文件中;
2)解析查询...

【专利技术属性】
技术研发人员:孙建华姚姝娜
申请(专利权)人:湖南大学
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1