基于隐条件随机场的入侵事件检测方法技术

本发明专利技术公开了一种隐条件随机场的入侵事件检测方法，主要解决传统安全防御技术对网络攻击防护能力不足的问题。首先对KDD99数据集中原始训练集和测试集进行特征筛选，对筛选出的特征分别建立训练特征属性序列和测试特征属性序列；利用训练特征属性序列和对应的类别标签组成训练数据集，将测试特征属性序列组成测试数据集；根据训练数据计算模型参数构建HCRF的入侵事件检测模型；最后利用已建立的HCRF模型计算测试数据对应不同类别标签的概率，用最大概率对应的标签作为测试数据的预测标签，完成入侵事件检测。本发明专利技术能够准确检测网络数据中的攻击行为，具有较高检测性能，可用于移动互联网、局域网等需要对网络入侵行为的实时监测。

【技术实现步骤摘要】
基于隐条件随机场的入侵事件检测方法
本专利技术属于网络信息安全领域，涉及网络入侵类型的识别分析，可用于对网络数据流的行为识别检测中，以准确、全面的区分网络行为提高网络的安全性。
技术介绍
随着计算机和网络技术应用的日益普及，计算机网络安全越来越受到人们的重视。近年来，互联网的主干网络、网络应用、TCP/IP网络协议三个层次都受到了各种各样的安全威胁或攻击，信息安全特别是网络安全问题越来越凸显出来了，入侵检测作为网络安全研究的重要内容，更是引起了国内外学者的广泛关注。现有的入侵检测方法主要有：1.国际商业机器公司在其专利申请“计算机网络入侵检测系统和方法”（申请号：200680016585.X，公开号：CN101176331）中提出了一种用于标识试图入侵基于TCP/IP协议的网络的设备的方法。该方法允许在两个独立的信息级别，一方面是TCP/IP栈信息而另一方面是Windows安全事件日志信息之间创建链接。允许在存储于所述安全事件日志中的攻击者设备的计算机名称与涉及该计算机名称的TCP/IP信息之间建立关系。该方法的缺点是：过多依赖于TCP/IP协议栈的信息和操作系统的安全日志，系统普适性不强。2.饶鲜，董春曦，杨绍全.基于支持向量机的入侵检测系统[J].软件学报,2003,14(4):798-803.这种方法将支持向量机应用到入侵检测中，利用在先验知识不足的情况下，支持向量机分类器仍有较好的分类正确率的特性，使得整个入侵检测系统具有较好的检测性能。该方法的缺点是：只能对当前网路是否收到入侵进行判决，而不能对数据的入侵类型进行标记。3.俞研，郭山清，黄皓.基于数据流的异常入侵检测[J].计算机科学,2007,34(5):66-71.这种方法首先在线生成网络数据的统计信息，并利用最能反映当前网络行为的统计信息检测入侵行为。实验结果表明，其DoS攻击检测准确率达到97.86%，Probe攻击准确率达到77.64%，R2L和U2R攻击准确率达到55.52%，并克服了内存等系统资源不足的问题，增加了系统的灵活性与并行性。但是该方法仅仅通过建立聚类特征矢量，得到基于距离的聚类分析模型，并没有对网络数据进行更深层次的数据建模来挖掘其潜在的规律，限制了检测准确率的提高。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出一种基于隐条件随机场的入侵检测方法，以利用少量的特征，简化复杂模型构建过程，提高入侵检测的准确率。为实现上述目的，本专利技术的技术方案包括如下步骤：（1）将DARPA公布的KDD99数据集中的原始数据进行降维处理，从该数据库原有的41个特征中筛选出26个特征，作为特征属性集合D；（2）对特征属性集合D进行最大值归一化处理，以消除属性度量差异带来的影响，得到规范化的特征属性集ε＝{s1,s2,…,s26}，其中，s1,s2,…,s26表示26种特征属性；（3）定义类别标签集：3a)定义入侵事件检测的隐条件随机场模型的类别标签集为：α1＝{0,1}，其中，0表示入侵事件检测的隐条件随机场模型的输入是安全的会话，1表示入侵事件检测的隐条件随机场模型的输入是含有攻击的会话；3b)定义入侵检测攻击分类的隐条件随机场模型的类别标签集为：α2＝{0,1,2,3}，其中，0表示攻击类型为DoS攻击，即拒绝服务攻击，1表示攻击类型为Probe攻击，即网络探针攻击，2表示攻击类型为R2L攻击，即非法远程闯入攻击，3表示攻击类型为U2R攻击，即非法提升权限攻击；（4）在数据集合ε中选取N1个训练会话样本和N2个测试会话样本，得到第d个训练会话样本的特征属性序列Od和第e个测试会话样本的特征属性序列Ze，其中，d∈{1,2,…,N1}，e∈{1,2,…,N2}；（5）对第d个训练会话样本，人工判断是否包含入侵事件，得到第d个训练会话样本的类别标签λd，λd∈α1；（6）将N1个训练会话样本的特征序列O1,O2,和N1个训练会话样本的类别标签λ1,λ2,作为训练数据集将N2个测试会话样本的特征序列Z1,Z2,作为测试数据集（7）根据训练数据集O中的N1个特征序列O1,O2,和对应的N1个类别标签λ1,λ2,调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算入侵事件的隐条件随机场的兼容性度量参数θ；（8）根据已计算出的兼容性度量参数θ和测试数据集Z，调用Matlab工具包HCRF2.0b中testHCRF函数，计算测试数据集Z中第e个测试会话样本的特征序列Ze对应于类别标签为0的概率βe,0，以及该特征序列Ze对应于类别标签为1的概率βe,1；（9）根据类别标签为0的概率βe,0和类别标签为1的概率βe,1，判断第e个测试会话样本的特征序列Ze的类别标签：若βe,0＞βe,1，则第e个测试会话样本的特征序列Ze的类别标签为0，即该测试会话数据不包含入侵事件；若βe,0＜βe,1，则第e个测试会话样本的特征序列Ze的类别标签为1，即该测试会话数据包含入侵事件；若βe,0＝βe,1，则无法判断第e个测试会话样本的特征序列Ze是否包含入侵事件；（10）在特征属性集ε中选取全部的攻击会话，得到攻击特征集合A，从攻击特征集合A中选取N3个训练会话样本和N4个测试会话样本，得到第f个训练会话样本的特征属性序列Of'和第g个测试会话样本的特征属性序列Zg'，其中，f∈{1,2,…,N3}，g∈{1,2,…,N4}；（11）对第f个训练会话样本，人工判断各种攻击行为的类型，得到第f个训练会话样本的类别标签λf'，λf'∈α2；（12）将N3个训练会话样本的特征序列O1',O2',和N3个训练会话样本的类别标签λ1',λ2',作为训练数据集将N4个测试会话样本的特征序列Z1',Z2',作为测试数据集（13）根据训练数据集O'中的N3个特征序列O1',O2',和对应的N3个类别标签λ1',λ2',调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算攻击行为分类的隐条件随机场的兼容性度量参数θ'；（14）根据步骤（12）和步骤（13）已计算出的兼容性度量参数θ'和测试数据集Z'，调用Matlab工具包HCRF2.0b中testHCRF函数，计算测试数据集Z'中第g个测试会话样本的特征序列Zg'中分别对应于类别标签为0的概率γf,0、对应于类别标签为1的概率γf,1、对应于类别标签为2的γf,2、对应于类别标签为3的概率γf,3；（15）根据类别标签为0的概率γf,0、类别标签为1的概率γf,1、类别标签为2的概率γf,2和类别标签为3的概率γf,3，判断第g个测试会话样本的特征序列Zg'的类别标签：若则第g个测试会话样本的特征序列Zg'的类别标签为0，即该包含入侵事件的测试会话的攻击为DoS攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为1，即该包含入侵事件的测试会话的攻击为Probe攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为2，即该包含入侵事件的测试会话的攻击为R2L攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为3，即该包含入侵事件的测试会话的攻击为U2R攻击。本专利技术与现有技术相比具有以下优点：第一，本专利技术在处理高维数样本时，不需要复杂的训练，就能达到较高的检测率，有效降本文档来自技高网...

【技术保护点】
一种基于隐条件随机场的入侵事件检测方法，包括如下步骤：（1）将DARPA公布的KDD99数据集中的原始数据进行降维处理，从该数据库原有的41个特征中筛选出26个特征，作为特征属性集合D；（2）对特征属性集合D进行最大值归一化处理，以消除属性度量差异带来的影响，得到规范化的特征属性集ε＝{s1,s2,…,s26}，其中，s1,s2,…,s26表示26种特征属性；（3）定义类别标签集：3a)定义入侵事件检测的隐条件随机场模型的类别标签集为：α1＝{0,1}，其中，0表示入侵事件检测的隐条件随机场模型的输入是安全的会话，1表示入侵事件检测的隐条件随机场模型的输入是含有攻击的会话；3b)定义入侵检测攻击分类的隐条件随机场模型的类别标签集为：α2＝{0,1,2,3}，其中，0表示攻击类型为DoS攻击，即拒绝服务攻击，1表示攻击类型为Probe攻击，即网络探针攻击，2表示攻击类型为R2L攻击，即非法远程闯入攻击，3表示攻击类型为U2R攻击，即非法提升权限攻击；（4）在数据集合ε中选取N1个训练会话样本和N2个测试会话样本，得到第d个训练会话样本的特征属性序列Od和第e个测试会话样本的特征属性序列Ze，其中，d∈{1,2,…,N1}，e∈{1,2,…,N2}；（5）对第d个训练会话样本，判断是否包含入侵事件，得到第d个训练会话样本的类别标签λd，λd∈α1；（6）将N1个训练会话样本的特征序列O1,O2,,ON1和N1个训练会话样本的类别标签λ1,λ2,作为训练数据集O＝{(O1,λ1),(O2,λ2),将N2个测试会话样本的特征序列Z1,Z2,N2作为测试数据集（7）根据训练数据集O中的N1个特征序列O1,O2,和对应的N1个类别标签λ1,λ2,N1，调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算入侵事件检测的隐条件随机场的兼容性度量参数θ；（8）根据已计算出的入侵事件检测的隐条件随机场的兼容性度量参数θ和测试数据集Z，调用Matlab工具包HCRF2.0b中testHCRF函数，计算测试数据集Z中第e个测试会话样本的特征序列Ze对应于类别标签为0的概率βe,0，以及该特征序列Ze对应于类别标签为1的概率βe,1；（9）根据类别标签为0的概率βe,0和类别标签为1的概率βe,1，判断第e个测试会话样本的特征序列Ze的类别标签：若βe,0＞βe,1，则第e个测试会话样本的特征序列Ze的类别标签为0，即该测试会话数据不包含入侵事件；若βe,0＜βe,1，则第e个测试会话样本的特征序列Ze的类别标签为1，即该测试会话数据包含入侵事件；若βe,0＝βe,1，则无法判断第e个测试会话样本的特征序列Ze是否包含入侵事件；（10）在特征属性集ε中选取全部的攻击会话，得到攻击特征集合A，从攻击特征集合A中选取N3个训练会话样本和N4个测试会话样本，得到第f个训练会话样本的特征属性序列Of'和第g个测试会话样本的特征属性序列Zg'，其中，f∈{1,2,…,N3}，g∈{1,2,…,N4}；（11）对第f个训练会话样本，判断各种攻击行为的类型，得到第f个训练会话样本的类别标签λf'，λf'∈α2；（12）将N3个训练会话样本的特征序列O1',O2',和N3个训练会话样本的类别标签λ1',λ2',N3'作为训练数据集O'＝{(O1',λ1'),(O2',λ2'),将N4个测试会话样本的特征序列Z1',Z2',作为测试数据集Z'＝{Z1',Z2',（13）根据训练数据集O'中的N3个特征序列O1',O2',,和对应的N3个类别标签λ1',λ2',调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算攻击行为分类的隐条件随机场的兼容性度量参数θ'；（14）根据步骤（12）和步骤（13）已计算出的攻击行为分类的隐条件随机场的兼容性度量参数θ'和测试数据集Z'，调用Matlab工具包HCRF2.0b中testHCRF函数，计算测试数据集Z'中第g个测试会话样本的特征序列Zg'中分别对应于类别标签为0的概率γf,0、对应于类别标签为1的概率γf,1、对应于类别标签为2的γf,2、对应于类别标签为3的概率γf,3；（15）根据类别标签为0的概率γf,0、类别标签为1的概率γf,1、类别标签为2的概率γf,2和类别标签为3的概率γf,3，判断第g个测试会话样本的特征序列Zg'的类别标签：若则第g个测试会话样本的特征序列Zg'的类别标签为0，即该包含入侵事件的测试会话的攻击为DoS攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为1，即该包含入侵事件的测试会话的攻击为Probe攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为2，即该包含入侵事件的测试会话的攻击为R2L攻击；若则第g个测试会话样本的特征序列Zg'的类别标签为...

【技术特征摘要】
1.一种基于隐条件随机场的入侵事件检测方法，包括如下步骤：(1)将DARPA公布的KDD99数据集中的原始数据进行降维处理，从该数据集原有的41个特征中筛选出26个特征，作为特征属性集合D；(2)对特征属性集合D进行最大值归一化处理，以消除属性度量差异带来的影响，得到规范化的特征属性集ε＝{s1,s2,…,s26}，其中，s1,s2,…,s26表示26种特征属性；(3)定义类别标签集：3a)定义入侵事件检测的隐条件随机场模型的类别标签集为：α1＝{0,1}，其中，0表示入侵事件检测的隐条件随机场模型的输入是安全的会话，1表示入侵事件检测的隐条件随机场模型的输入是含有攻击的会话；3b)定义入侵检测攻击分类的隐条件随机场模型的类别标签集为：α2＝{0,1,2,3}，其中，0表示攻击类型为DoS攻击，即拒绝服务攻击，1表示攻击类型为Probe攻击，即网络探针攻击，2表示攻击类型为R2L攻击，即非法远程闯入攻击，3表示攻击类型为U2R攻击，即非法提升权限攻击；(4)在数据集合ε中选取N1个训练会话样本和N2个测试会话样本，得到第d个训练会话样本的特征属性序列Od和第e个测试会话样本的特征属性序列Ze，其中，d∈{1,2,…,N1}，e∈{1,2,…,N2}；(5)对第d个训练会话样本，判断是否包含入侵事件，得到第d个训练会话样本的类别标签λd，λd∈α1；(6)将N1个训练会话样本的特征序列和N1个训练会话样本的类别标签作为训练数据集将N2个测试会话样本的特征序列作为测试数据集(7)根据训练数据集O中的N1个特征序列和对应的N1个类别标签调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算入侵事件检测的隐条件随机场的兼容性度量参数θ；(8)根据已计算出的入侵事件检测的隐条件随机场的兼容性度量参数θ和测试数据集Z，调用Matlab工具包HCRF2.0b中testHCRF函数，计算测试数据集Z中第e个测试会话样本的特征序列Ze对应于类别标签为0的概率βe,0，以及该特征序列Ze对应于类别标签为1的概率βe,1；(9)根据类别标签为0的概率βe,0和类别标签为1的概率βe,1，判断第e个测试会话样本的特征序列Ze的类别标签：若βe,0>βe,1，则第e个测试会话样本的特征序列Ze的类别标签为0，即该测试会话数据不包含入侵事件；若βe,0<βe,1，则第e个测试会话样本的特征序列Ze的类别标签为1，即该测试会话数据包含入侵事件；若βe,0＝βe,1，则无法判断第e个测试会话样本的特征序列Ze是否包含入侵事件；(10)在特征属性集ε中选取全部的攻击会话，得到攻击特征集合A，从攻击特征集合A中选取N3个训练会话样本和N4个测试会话样本，得到第f个训练会话样本的特征属性序列Of'和第g个测试会话样本的特征属性序列Zg'，其中，f∈{1,2,…,N3}，g∈{1,2,…,N4}；(11)对第f个训练会话样本，判断各种攻击行为的类型，得到第f个训练会话样本的类别标签λf'，λf'∈α2；(12)将N3个训练会话样本的特征序列和N3个训练会话样本的类别标签作为训练数据集将N4个测试会话样本的特征序列作为测试数据集(13)根据训练数据集O'中的N3个特征序列和对应的N3个类别标签调用Matlab工具包HCRF2.0b中的trainHCRF函数，计算攻击行为分类的隐条件随机场的兼容性度量...

【专利技术属性】
技术研发人员：同鸣，唐梦楠，刘聪峰，王纲，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61