一种网络威胁检测系统及检测方法技术方案

本发明专利技术涉及一种网络威胁检测系统及检测方法，其中，检测系统包括：网络数据获取模块，实时采集网络流量数据；特征提取模块，用于获取网络流量数据的特征信息；流量分析模块，根据特征信息对网络流量数据进行特征匹配，获得可疑网络威胁事件；网络威胁确认模块，利用测试语句对可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，深度分析知识库存储多种带有相应检测规则的威胁模型；威胁态势生成模块，对可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。与现有技术相比，本发明专利技术具有网络威胁检出率高、误报率低等优点。

Network threat detection system and detection method

The invention relates to a network threat detection system and detection method, the detection system comprises a network data acquisition module, real-time traffic data acquisition network; feature extraction module is used for acquiring the characteristic information of network traffic data; traffic analysis module, according to the feature information matching in network traffic data characteristics, get suspicious network threats; network threat confirmation module, the depth detection of suspicious network threats by test statement, real network threats the existence of cyber threats, the threat model in depth analysis with the corresponding knowledge base store a variety of detection rules; threat generation module, big data analysis and data mining to the network threats and real network threats the relationship, a plurality of real network events or a threat The frequency of real network threat events poses a threat situation. Compared with the prior art, the invention has the advantages of high detection rate of network threats, low false positive rate, etc..

【技术实现步骤摘要】

本专利技术涉及网络安全
，尤其是涉及一种网络威胁检测系统及检测方法。
技术介绍
随着现代网络尤其是互联网的不断发展和应用，网络已成为人们生活和工作的一部分。与此同时，来自各个层面的网络威胁也与日俱增，层出不穷。如何发现和检测网络威胁保障网络安全摆在每个网络用户尤其是网络运维人员的面前。目前，针对发现和检测网络威胁，一种是：被动式监测，主要是IDS、IPS及防火墙。IDS、IPS及防火墙主要是对流量进行被动的检测，产生海量的信息，并且存在较多的误报，另外系统提供的安全威胁问题运维人员无法准确定位或还原，导致网络运维人员要花极大的精力来维护网络安全威胁。另一种是：主动扫描技术，主要是各种网络漏洞扫描器，通过扫描等手段对指定的远程或者本地计算机系统或网络的安全脆弱性进行检测，发现可利用的网络威胁。但是，主动扫描技术对当前的网络威胁状态无法及时感知，不能第一时间发现当前环境下的网络安全威胁。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种网络威胁检出率高、误报率低的网络威胁检测系统及检测方法。本专利技术的一个目的可以通过以下技术方案来实现：一种网络威胁检测系统，包括：网络数据获取模块，用于实时采集在互联网或局域网上所有的网络流量数据；特征提取模块，用于获取所述网络流量数据的特征信息；流量分析模块，用于调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；网络威胁确认模块，用于调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；威胁态势生成模块，用于调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。所述网络流量数据包括网络设备、终端或服务器等设备上的网络数据，所述网络设备包括路由器、网关和分光器等，所述网络数据获取模块采用镜像方式获取网络流量中的网络数据包。所述特征信息包括网络流量数据的五元组和数据载荷，所述五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。所述网络数据获取模块部署于IDC机房、云计算数据中心、网络运营商出口或局域网等环境。该系统还包括：展示模块，用于将所述威胁态势进行web展示。本专利技术的另一个目的可以通过以下技术方案来实现：一种网络威胁检测方法，包括以下步骤：1)实时采集在互联网或局域网上所有的网络流量数据；2)获取所述网络流量数据的特征信息；3)调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；4)调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；5)调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。所述网络流量数据包括网络设备、终端或服务器等设备上的网络数据，所述网络设备包括路由器、网关和分光器等，所述网络数据获取模块采用镜像方式获取网络流量的网络数据包。所述特征信息包括网络流量数据的五元组和数据载荷，所述五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。进行所述特征匹配时，将实时采集的网络流量数据分发到多个处理器同时处理，且在同一个处理器内，利用多进程多线程技术进行数据处理。该方法还包括：将所述威胁态势进行web展示。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术通过多级分析引擎来进行网络安全威胁检测，合并压缩大量的海量信息并采用被动检测、主动检测-验证相结合来极大的提高网络威胁的检出率和降低误报率。(2)本专利技术具有web展示功能，把网络威胁的切入点十分清晰的提供给运维人员，，便于管理人员对网络的威胁态势进行及时感知及维护网络的安全性。(3)本专利技术依次利用流量分析特征库、深度分析知识库和关联分析模型库进行流量分析、深度检测和关联分析，流量分析特征库包含大量的规则特征，深度分析知识库包含多种威胁模型，关联分析模型库包含多种网络威胁的关联分析模型，分析速度快，精度高。(4)本专利技术检测系统功能模块高内聚，模块间松耦合，系统可扩展性强，利用响应式交换页面，用户交互良好，具有良好的人性化设计。(5)本专利技术网络数据获取模块可以部署到大型IDC机房、云计算数据中心、网络运营商出口等，也可以处于大的局域网中，为威胁检测提供充足的数据流量，有利于提高检测准确度。(6)本专利技术利用并行计算技术，将大规模网络实时流量分发到多个处理器同时进行处理，在同一个处理器内，利用多进程多线程技术，对报文抓取、协议解析、数据存储等进行高效处理。附图说明图1为本专利技术检测方法的流程示意图；图2为本专利技术检测系统的结构示意图；图3为本专利技术实施例中JBoss威胁分析的流程示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。如图1所示，本实施例提供一种网络威胁检测方法，包括：步骤101：实时采集在互联网或局域网上所有的网络流量数据。该步骤中，支持多节点部署、100Gb以上聚合流量实时采集，可以实时采集在互联网或局域网上所有的网络流量数据，检测系统或者检测系统中的分析服务器可以捕获网络设备(比如路由器、网关或分光器等)上的网络数据，但并不限于此，也可以是终端、服务器上的网络数据等，或者采用镜像的方式，从网络设备(比如路由器，网关等)处获取网络数据包。步骤102：获取所述网络流量数据中的五元组及数据载荷等，并对其中的恶意流量进行分析。五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。其中，源IP地址，可能是攻击者的IP地址，也可能是被攻击者的IP地址。源端口是源IP地址对应的端口。目标IP地址可能是被攻击者的IP地址，也可能是攻击者的IP地址。目标端口是目标IP地址对应的端口。传输层协议可能是TCP协议或UDP协议，其中TCP协议包含FTP、HTTP、POP3、TELNET等协议。数据载荷主要包含载荷数据及URL等信息，其中URL在FTP、HTTP等协议下才有，URL可能是恶意URL，也可能是正常URL，载荷数据也就是人们常说的payloaddata，即有效载荷数据，记载着信息的那部分数据。对恶意流量进行分析具体是：调用流量分析特征库，根据五元组及数据载荷对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中。步骤103：对可疑网络威胁事件，通过深度分析知识库中的检测规则构成测试语句，利用测试语句来确认网络威胁是否真实存在，将发现的网络威胁事件存储到真实网络威胁事件库中。深度检测过程中，对识别出的某个可疑事件会进行多个测本文档来自技高网...

【技术保护点】
一种网络威胁检测系统，其特征在于，包括：网络数据获取模块，用于实时采集在互联网或局域网上所有的网络流量数据；特征提取模块，用于获取所述网络流量数据的特征信息；流量分析模块，用于调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；网络威胁确认模块，用于调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；威胁态势生成模块，用于调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。

【技术特征摘要】
1.一种网络威胁检测系统，其特征在于，包括：网络数据获取模块，用于实时采集在互联网或局域网上所有的网络流量数据；特征提取模块，用于获取所述网络流量数据的特征信息；流量分析模块，用于调用流量分析特征库，根据所述特征信息对所述网络流量数据进行特征匹配，获得可疑网络威胁事件，存储于可疑网络威胁事件库中；网络威胁确认模块，用于调用深度分析知识库中的检测规则构成测试语句，利用测试语句对所述可疑网络威胁事件进行深度检测，获得确实存在网络威胁的真实网络威胁事件，存储于真实网络威胁事件库中，所述深度分析知识库存储多种带有相应检测规则的威胁模型；威胁态势生成模块，用于调用关联分析模型库对所述可疑网络威胁事件和真实网络威胁事件进行大数据分析及数据挖掘，得出多个真实网络威胁事件的关联关系或者某个真实网络威胁事件的发生频率，形成威胁态势。2.根据权利要求1所述的网络威胁检测系统，其特征在于，所述网络流量数据包括网络设备、终端或服务器的网络数据，所述网络设备包括路由器、网关和分光器，所述网络数据获取模块采用镜像方式获取网络流量中的网络数据包。3.根据权利要求1所述的网络威胁检测系统，其特征在于，所述特征信息包括网络流量数据的五元组和数据载荷，所述五元组包括源IP地址、源端口、目标IP地址、目标端口和传输层协议。4.根据权利要求1所述的网络威胁检测系统，其特征在于，所述网络数据获取模块部署于IDC机房、云计算数据中心、网络运营商出口或局域网。5.根据权利要求1所述的网络威胁检测系统，其特征在于，该系统还包括：展示模块，用于将所述威胁...

【专利技术属性】
技术研发人员：汪为农，陈志俊，易达许，丁飞，汪开先，
申请(专利权)人：上海百太信息科技有限公司，上海瀛太信息科技有限公司，
类型：发明
国别省市：上海;31