基于大数据的安全事件相关性分析的方法及系统技术方案

本发明专利技术公开了基于大数据的安全事件相关性分析的方法及系统，一种基于告警关联图的方法及系统，包括事件归并、结构化分析、入侵路径分析和行为分析。通过本发明专利技术，可以帮助客户发现真正的安全威胁事件，能够降低安全运维服务平台的告警误报率和告警漏报率，也提升了安全运维服务平台的性能。

【技术实现步骤摘要】

本专利技术涉及信息安全、大数据应用
，尤其涉及到基于告警关联图的安全事件相关性分析的实现方法。
技术介绍
本专利技术中包含的英文简称如下：SOC：Security Operation Center安全管理中心IDS：Intrusion Detection Systems入侵检测系统SNMP：Simple Network Management Protocol简单网络管理协议CLF：Common Log Format 普通日志格式JSON：JavaScript Object Notation JAVA脚本对象符号HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。当前，企业IT系统都不同程度地部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦网络及各业务系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行；日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营。然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。目前，已有的基于大数据的安全事件相关性分析的实现方法，缺乏告警关联图（或事件关联图），存在告警漏报和告警误报大的缺陷，已无法胜任当前企业的安全运维服务平台对告警准确率的任务。因此，迫切需要一种全新的安全事件相关性分析方法来对海量日志和漏洞信息等进行实时分析和管理。为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。
技术实现思路
本专利技术提供了一种基于大数据的安全事件相关性分析的方法及系统，以解决现有技术问题只是简单的事件归并，存在漏报和误报大的缺陷。本专利技术的一种基于大数据的安全事件相关性分析的方法及系统，应用于能够为多个企业提供各种安全服务和运维监控服务的安全运维监控服务平台中。所述安全服务包括配置管理、安全风险评估、威胁检测、漏洞扫描、防病毒等。所述运维监控服务包括配置管理、故障管理、性能管理、问题管理、变更管理等。所述方法及系统包括事件归并、结构化分析、入侵路径分析和行为分析。所述事件归并，通过引用事件归并规则，生成告警关联图（或元告警）；所述结构化分析，通过与漏洞库模型进行匹配，提高事件/告警的压缩率和优化告警关联图（或元告警）；所述入侵路径分析，根据与系统实时运行状态的匹配，来进一步提高告警的压缩率和进一步优化告警关联图（或元告警）；所述行为分析，通过与安全配置库进行匹配，更进一步提高告警的压缩率和更进一步优化告警关联图（或元告警）。优选地，通过告警关联图（或元告警）之间比较，可以划分告警关联图（或元告警）的告警级别，为后续派工单等流程提供依据。优选地，通过告警关联图（或元告警）的聚合，可以压缩告警关联图（或元告警）的数量，从而提升安全运维服务平台的性能。本专利技术的安全事件相关性分析，一种基于告警关联图（或元告警meta-alert）的方法及系统，包括事件归并技术、结构化分析技术、入侵路径分析技术和行为分析技术。通过本专利技术，可以帮助客户发现真正的安全威胁事件，能够降低安全运维服务平台的告警误报率和告警漏报率，也提升了安全运维服务平台的性能。附图说明图1为本专利技术所述的一种基于大数据的安全事件相关性分析的方法的示意图。图2为本专利技术所述的一种基于大数据的安全事件相关性分析的方法的告警关联图的示意图。具体实施方式下面是根据附图和实例对本专利技术的进一步详细说明：在整个安全事件管理过程中，系统收集各种安全设备，主机设备和网络设备等的产生的事件信息，然后，从这些安全信息、主机信息和网络信息等中找出那些可能造成威胁的安全事件，并且对被识别出的安全威胁进行分析评估，以确定真正的威胁根源。由于安全事件数量庞大，种类繁多，而且很多的安全事件具有很强的隐蔽性。因此，如何发现真正可能带来威胁的安全事件，以及排除掉绝大多数的垃圾事件，是安全事件管理的底层核心。通过建立告警关联图，就是为了能够准确、有效的发现安全事件及安全威胁，并呈现给客户，帮助客户发现真正的安全威胁事件。为了实现事件相关性分析的目的，并产生简单的，合成的和准确的告警事件。为了产生这样的合格的事件，一般地来说，将执行五个关联操作：第一个操作是过滤重复的事件，将各个设备发送的重复信息合成一条（或间隔很短的同一个事件），这既包括一个设备来的重复信息，也包括跨设备的重复信息。第二个操作是序列模式匹配，也是事件相关性分析引擎执行的最常见的操作。它的目的是识别具有入侵特征的消息序列。它可以识别正在进行的入侵的全过程，以及复杂的入侵场景。第三个操作是时间模式匹配，它是入侵分析的另一个重要维度：时间。例如，DDOS的一个特征就是几乎在同一个时刻内，具有不同IP的设备向同一个目标IP发起端口扫描。第四个操作是临界风险分析，它提供了通过目标系统的漏洞、系统状态来检测入侵。在安全运维服务平台上通过与漏洞匹配、系统状态匹配生成告警；另一方面，它提供对业务（或企业IT系统）的影响程度的分析，这有助于派工单优先级别的制定。第五个操作是安全策略匹配，它是基于行为的过滤器。消除与安全策略匹配的事件。图1为本专利技术所述的一种基于大数据的安全事件相关性分析的方法及系统的示意图。通过事件相关性分析，可以准确地判断被管网络及其设备发生了什么事件。面对每天检测到的海量日志文件和告警信息，采用相关性分析是十分必要的。相关性分析，通过对来自不同安全设备和网络设备的日志信息和告警信息进行实时的关联分析，精准地定位告警与事件，发现和预测网络攻击。相关性分析的整个过程都是在内存中进行的，并根据威胁程度的大小对安全事件进行排序，对不同威胁程度的安全事件和告警通过不同颜色来着重显示等。由图1所示，相关性分析是安全运维服务平本文档来自技高网...

【技术保护点】
本专利技术提供了基于大数据的安全事件相关性分析的方法及系统，所述方法及系统包括事件归并、结构化分析、入侵路径分析和行为分析。

【技术特征摘要】
1.本发明提供了基于大数据的安全事件相关性分析的方法及系统，所述方法及系统包括事件归并、结构化分析、入侵路径分析和行为分析。2.如权利要求1所述的一基于大数据的安全事件相关性分析的方法及系统，所述事件归并，通过引用事件归并规则，生成告警关联图（或元告警）。3.如权利要求1所述的一基于大数据的安全事件相关性分析的方法及系统，所述结构化分析，通过与漏洞库模型匹配，压缩告警的数量和优化告警关联图（或元告警）。4.如权利要求1所述的一基于大数据的安全事件相关性分析的方法及系统，所述入侵路径分析，根据与系统实时运行状态的匹配，来进一步压缩告警的数量和进一步优化告...

【专利技术属性】
技术研发人员：李木金，凌飞，
申请(专利权)人：南京联成科技发展有限公司，
类型：发明
国别省市：江苏;32