基于相似数据集的网络监测数据压缩存储和联合检测方法技术

本发明专利技术公开了一种基于相似数据集的网络监测数据压缩存储和联合检测方法，要解决的技术问题是针对存在较多相同数据项的多个数据集提出一种基于表的关系数据库压缩存储和联合检测方法。技术方案是采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储；使用查询语句恢复出原始的数据集；通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测。本发明专利技术利用大量数据集之间的相似性，将多个数据集增量式地压缩到数据库的同一个表中，可以应用于多种类型网络监测数据的压缩存储，也可用于存储其他类型的网络历史数据或相似数据集。

【技术实现步骤摘要】

【技术保护点】
一种基于相似数据集的网络监测数据压缩存储和联合检测方法，其特征在于采用关系模型对数据建模，利用关系数据库对数据进行存储和管理，采用基于状态标记序列的压缩方法对同一关系框架下的多个相似数据集进行压缩存储，使用查询语句恢复出原始的数据集，通过对压缩后的数据表进行查询实现对多个原始数据集的多种类型的联合检测；基于状态标记序列的压缩方法的过程是：令Ｒ↓［１］＝〈Ｘ↓［１］，Ｘ↓［２］，…，Ｘ↓［ｎ］〉，Ｒ↓［２］＝〈ｓｔａｍｐ〉，ｓｔａｍｐ是一个字符串，Ｒ＝Ｒ↓［１］×Ｒ↓［２］；Ｓ↓［１］、Ｓ↓［２］、…、Ｓ↓［Ｋ］互为关系框架Ｒ↓［１］上的相似数据集；Ｓ↓［０］是关系框架Ｒ上的具体关系，作为Ｓ↓［１］、Ｓ↓［２］、…、Ｓ↓［Ｋ］的压缩集，用来记录压缩之后的数据集，其初始值为空集；结合状态标记序列，先后将Ｓ↓［１］、Ｓ↓［２］、…、Ｓ↓［Ｋ］逐个压缩存入数据库，压缩存储过程是：输入：关系框架Ｒ↓［１］上的Ｋ个相似数据集Ｓ↓［１］、Ｓ↓［２］、…、Ｓ↓［Ｋ］，数据集的状态标记标识ＳＴＡＭＰ［１］＝“１”、ＳＴＡＭＰ［２］＝“２”、…、ＳＴＡＭＰ［ Ｋ］＝“Ｋ”；输出：带状态标记序列的压缩数据集Ｓ↓［０］，Ｓ↓［０］是关系框架Ｒ上的具体关系；１）Ｓ↓［０］初始时是一个空集；２）ｉ＝１，２，…，Ｋ，重复执行以下步骤：３）ｊ＝１，２，…，＃Ｓ↓［ｉ］（数据集 Ｓ↓［ｉ］的元素个数），重复执行以下步骤：４）从数据集Ｓ↓［ｉ］中任取一个元素ｒ，并将ｒ从Ｓ↓［ｉ］去除；５）如果存在ｒ′∈Ｓ↓［０］使得它的各个属性值都和ｒ相同，即ｒ′．ｘ↓［１］＝ｒ．ｘ↓［１］、ｒ′．ｘ↓［２］＝ｒ．ｘ ↓［２］、…、ｒ′．ｘ↓［ｎ］＝ｒ．ｘ↓［ｎ］，则修改ｒ′对应的状态标记序列：ｒ′．ｓｔａｍｐ＝ｒ′．ｓｔａｍｐ＋ＳＴＡＭＰ［ｉ］；６）否则，构造一个新的ｓｔａｍｐ，ｓｔａｍｐ＝ＳＴＡＭＰ［ｉ］，把〈ｒ，ｓｔａｍｐ〉作为一条新的记录 添加到Ｓ↓［０］中。...

【技术特征摘要】

【专利技术属性】
技术研发人员：朱培栋，宁洪，邓文平，蔡开裕，赵建强，周丽涛，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：43[中国|湖南]