一种大数据驱动的网络安全态势监测及可视化方法技术

本发明专利技术涉及一种大数据驱动的网络安全态势监测及可视化方法。该方法包括：1)提取不同维度的网络安全基础数据；2)采用Storm与Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；3)Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；4)Strom从实时数据中提取出相关的安全特征项，将其与网络安全特征知识库进行特征匹配，判定网络安全态势；5)对Strom判定的网络安全态势进行动态可视化展示。本发明专利技术能够有效地监测网络安全态势，并全方位展现网络安全态势的可视化结果。

【技术实现步骤摘要】

本专利技术属于网络技术、信息安全
，具体涉及一种大数据驱动的网络安全态势监测及可视化方法。
技术介绍
当代信息技术的发展推动了数据的产生、收集、传输、共享与分析，使得科学与工程研究日益成为数据密集型的工作。伴随着网络流量的日益增加，攻击的类型和复杂度也逐渐提升，部署在网络上的各种安全系统、设备和平台所提供的安全数据具有广泛分布、跨组织、格式差异大、海量、非数值型等特点，数据维度从单一维度提升至多维，无论从存储还是计算方面，都不能利用传统的存储整合技术完成网络安全态势的实时精确判断。另一方面，高维海量的数据增加了安全人员的工作难度：(1)认知负担过重，通过传统的日志分析方式分析人员在一天有限的时间内很难对上亿条报警做出详尽的分析和判断；(2)交互性不够，当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员作出进一步有效的判断；(3)缺乏对网络全局的认识，分析人员往往看到的都是单一的数据记录，很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。(4)基于传统数据库的日志分析难以发现一些新的攻击模式，不能提前对攻击的趋势做出预测或提前防范。
技术实现思路
基于以上的问题，本专利技术提出了一种实时大数据驱动的网络安全态势监测及可视化方法，能够有效地监测网络安全态势，并全方位展现网络安全态势的可视化结果。本专利技术采用的技术方案如下：一种大数据驱动的网络安全态势监测及可视化方法，包括如下步骤：1)提取不同维度的网络安全基础数据，包括实时数据和历史数据；2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；4)实时计算系统Strom从实时数据中提取出相关的安全特征项，将其与所述网络安全特征知识库进行特征匹配，并根据匹配结果判定网络安全态势；5)对实时计算系统Strom判定的网络安全态势进行动态可视化展示。进一步地，步骤1)所述不同维度的网络安全基础数据包括网站、主机、经纬度、IP地址、漏洞、安全等；所述历史数据包括每季度网站扫描评估报告和每季度主机扫描评估报告。进一步地，步骤2)对于实时数据的处理过程是：首先将实时数据将发送至海量日志聚合系统Flume，同时在HDFS系统上进行数据备份；Flume将收集到的实时数据发送至分布式消息系统Kafka以做进一步处理；经过Kafka处理后的数据流逐条送入实时计算系统Storm，在Strom中完成所有的实时业务逻辑；最后将处理结果以类似栈的形式压入Redis存储系统，同时Web前端从Redis中提取结果并进行显示。进一步地，步骤2)对于历史数据的处理过程是：将历史数据送至预处理整合模块进行简单的格式处理后，送到分布式计算系统Hadoop进行大数据分析处理，然后将统计的简单数据存至Mysql数据库，将非结构化的数据存储至Hbase数据库，Web前端无需再进行逻辑处理，直接读取数据库中的数据进行展示。进一步地，步骤3)所述大数据处理方法包括下列中的一种或多种：聚类与融合、关联分析、熵分析、态势预测；所述安全特征项包括：IP源地址、IP目标地址、事件名称、事件类别、安全等级、漏洞代号。进一步地，步骤5)所述可视化展示包括基于网络实时流量的网络安全可视化和基于历史报告的网络安全可视化，具体的可视化展示的内容包括全球动态攻击图、国内动态攻击图、国内安全态势图、全国安全漏洞分布图、公告栏及其他功能等。本专利技术的有益效果如下：本专利技术为了实现强大的底层分析能力，采用了Hhadoop+Storm分布式架构；为了全面完整反映网络安全态势，提取了网站、主机、经纬度、IP地址、漏洞、安全事件等不同维度的网络安全基础数据；为了得到实时有效的安全态势评判结果，建立了自学习的安全异常特征库；为了全方位展现网络安全态势结果，采用了动态可视化技术。本专利技术借助强大的底层分布式存储与并行计算能力，智能化处理各个网络流量和来自各种安全设备的安全日志，得出当前最有效的网络安全态势评判标准，并在实时数据的驱动下进行实时评判筛选，将结果快速可视化，使安全分析人员能够在第一时间监测当前全网的全局安全态势、关注重点风险舆情。附图说明图1是本专利技术整体方案的技术架构图。图2是Storm实现的实时数据网络安全态势分析的整体处理逻辑图。图3是ReadBolt模块的处理流程图。图4是IPBolt模块的处理流程图。图5是RollCountBolt模块的处理流程图。图6是FieldRankBolt模块的处理流程图。图7是GlobalRankBolt模块的处理流程图。图8是海量数据可视化方案示意图。图9是国内动态攻击图示意图。具体实施方式下面通过具体实施例和附图，对本专利技术做进一步说明。本专利技术的实时大数据驱动的网络安全态势监测及可视化方法，其整体技术架构如图1所示，其总体上采用hadoop+storm分布式架构，以实现强大的底层分析能力。本专利技术的基础数据源主要包括：安全设备实时数据，每季度网站扫描评估报告(HTML)，每季度主机扫描评估报告(HTML)。其中安全设备实时数据可以采用网络中心的IDS(IntrusionDetectionSystems入侵检测系统)数据等。如图1所示，从硬件层面的数据收发服务器收集上述三种数据，其中，实时数据(如SYSLOG，即系统日志)将发送至Flume，同时，在HDFS上进行数据备份。Flume根据定制方案收集到数据后，将其发送至Kafka，进行进一步处理。Flume是一种海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据，同时，提供对数据进行简单处理，并写到各种数据接收方(可定制)的能力。Kafka是一种分布式消息系统，可以处理消费者规模的网站中的所有动作流数据，根据吞吐量的要求而通过处理日志和日志聚合来解决。经过Kafka处理后的数据流将逐条送入实时计算系统Storm，在Strom中，完成所有的实时业务逻辑，比如IP地址-机构信息匹配、地理定位、安全事件类型分类统计、高危研究所信息提取等。最后，将这些处理结果以类似栈的形式压入Redis存储系统，同时，Web前端从Redis中提取结果显示。而每季度网站扫描评估报告(HTML)和每季度主机扫描评估报告(HTML)，即图1中...

【技术保护点】
一种大数据驱动的网络安全态势监测及可视化方法，其特征在于，包括如下步骤：1)提取不同维度的网络安全基础数据，包括实时数据和历史数据；2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；4)实时计算系统Strom从实时数据中提取出相关的安全特征项，将其与所述网络安全特征知识库进行特征匹配，并根据匹配结果判定网络安全态势；5)对实时计算系统Strom判定的网络安全态势进行动态可视化展示。

【技术特征摘要】
1.一种大数据驱动的网络安全态势监测及可视化方法，其特征在于，包括如下步骤：
1)提取不同维度的网络安全基础数据，包括实时数据和历史数据；
2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处
理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；
3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，
并建立数据库表结构，形成网络安全特征知识库；
4)实时计算系统Strom从实时数据中提取出相关的安全特征项，将其与所述网络安全特
征知识库进行特征匹配，并根据匹配结果判定网络安全态势；
5)对实时计算系统Strom判定的网络安全态势进行动态可视化展示。
2.如权利要求1所述的方法，其特征在于，步骤1)所述不同维度的网络安全基础数据包括
网站、主机、经纬度、IP地址、漏洞、安全事件；所述历史数据包括每季度网站扫描评估
报告和每季度主机扫描评估报告。
3.如权利要求1所述的方法，其特征在于，步骤2)对于实时数据的处理过程是：首先将实
时数据将发送至海量日志聚合系统Flume，同时在HDFS系统上进行数据备份；Flume将
收集到的实时数据发送至分布式消息系统Kafka以做进一步处理；经过Kafka处理后的数
据流逐条送入实时计算系统Storm，在Strom中完成所有的实时业务逻辑；最后将处理结
果以类似栈的形式压入Redis存储系统，同时Web前端从Redis中提取结果并进行显示。
4.如权利要求3所述的方法，其特征在于，步骤2)对于历史数据的处理过程是：将历史数
据送至预处理整合模块进行简单的格式处理后，送到分布式计算系统Hadoop进行大数据
分析处理，然后将统计的简单数据存至Mysql数据库，将非结构化的数据存储至Hbase
数据库，Web前端无需再进行逻辑处理，直接读取数据库中的数据进行展示。
5.如权利要求1所述的方法，其特征在于，步骤3)所述大数据处理方法包括下列中的一种
或多种：聚类与融合、关联分析、熵分析、态势预测；所述安全特征项包括：IP源地址、
IP目标地址、事件名称、事件类别、安全等级、漏洞代号。
6.如权利要求1所述的方法，其特征在于，步骤3)所述网络安全特征知识库定期更新，随
着源源不断的数据接入，Hadoop不断更新迭代分析结果，并发现新威胁或进行预测。
7.如权利要求1所述的方法，其特征在于，步骤4)所述进行特征匹配的方法是：
a)根据IP目标地址，若IP目标地址与网络安全特征知识库中的危急主机IP匹配，则定
义该主机安全态势为危机，向上层即前端可视化层递交结果，并将该主机出现的危急次数
加1；
b)根据该条数据的安全等级，若为低，则直接过滤；若为中，则根据安全事件规则编号

\t匹配该条安全事件属于何种类别；若为分...

【专利技术属性】
技术研发人员：龙春，赵静，汪孔敏，于建军，万巍，高鹏，宋丹劼，王绍节，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：北京;11