一种日志关联分析系统与方法技术方案

本发明专利技术提供了一种日志事件关联分析方法，其包括收集日志数据；通过预设的正则表达式提取日志数据的特征数据；根据提取到的特征数据构建统一格式的日志事件；查询日志事件的处理策略；根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及进行日志事件风险评估并自动响应的步骤。本发明专利技术的方法有效地减少了虚警，提高了风险评估的客观性，且其告警对用户具有更高的实际指导性。本发明专利技术还提供了一种对应上述方法的日志事件关联分析系统。

【技术实现步骤摘要】

本专利技术涉及一种网络安全管理系统及方法，具体涉及。
技术介绍
随着网络的迅速普及，网络安全管理逐渐成为一个重点，其中，通过日志获取网络系统情况是网络安全管理的一个重要分支。复杂网络系统由种类繁多的安全设备、网络设备、主机系统及其应用等组成，每天产生大量日志信息。如何对之进行统一管理，通过对它们分析及时了解系统状况，发现潜在威胁和攻击，并在第一时间对异常事件做出快速响应，是网络与系统管理亟待解决的问题，也是提高网络系统化整体安全性能的关键。基于日志的安全事件管理和分析关联系统就是为达到这一目标而诞生的只能反馈部件，其连接了评估、检测、防护、响应、恢复这些关键点安全过程，把海量的日志数据转化为人们可理解可管理的安全知识，从而促进安全闭环反馈系统的形成。该系统的难点在于 (1)日志信息来源各异，格式存在诸多差异，如防火墙日志、IDS日志、安全审计系统相互间无法比较。 (2)日志数据信息量巨大，真实安全时间存在于大量的冗余日志中，仅依靠人工分析，建立日志时间关联将费时费力，故需要借助安全事件关联分析技术快速有效的从中挖掘有用的信息，找出事件的关联，及时响应和应对安全问题。 (3)网络系统中各部件运行环境各异，没有一套统一的协议规则来协调，无法实现各部件整体应对安全事件。 (4)安全产品大都基于单数据包进行检测，而网络攻击行为仅仅通过单一安全组件无法检测到，需要将各组件产生的时间报警进行关联分析和综合判断，才能准确发现并及时制止这些攻击。 目前，针对事件关联分析，有攻击建模的规则关联方法和聚类关联技术。其中攻击建模的规则关联方法包括建立详细的攻击描述库，从条件、环境等多个角度对每种攻击进行描述；建立用于分析攻击特性的自动机，对攻击描述库进行处理，产生关联规则；建立报警匹配机，根据关联规则对原始报警时间进行模式匹配并产生安全事件。 但其缺点是在于依赖于对攻击场景预先进行合理准确的描述，如果攻击过程中包含未知的或未被检测的攻击步骤，则无法进行关联处理，因此对于新的或未知的攻击方式没有防范能力 聚类关联技术，采用的是一种算法，而不是规则匹配的方式关联。这种方法的处理方式如下针对实践中的每个字段设计相似性函数，用于计算两个事件的对应之间的相似程度；在上一步的基础上，针对事件本身设计相似性函数，用于计算两个事件之间相似的程度；处理原始报警事件时，将彼此相似的事件关联起来，利用调节函数参数的方法，从不同角度得到不同层次的结果。 此方法的缺点在于采用统计的方式进行处理，得出的结果往往缺乏明确的实际意义。
技术实现思路
本专利技术的目的在于克服现有技术中的不足之处，提供一种可有效地减少了虚警，具有高风险评估客观性的日志事件关联分析方法和系统。 为实现上述目的，本专利技术提供了一种日志事件关联分析方法，其包括以下步骤 收集日志数据； 通过预设的正则表达式提取日志数据的特征数据； 根据提取到的特征数据构建统一格式的日志事件； 查询日志事件的处理策略； 根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及， 进行日志事件风险评估并自动响应。 优选的是，所述特征数据，至少包含服务器、时间、源IP、源端口、目的IP、目标端口、协议、探测器标识、事件标识、可信度和优先级；所述探测器用于采集设备状态和性能参数，侦测安全弱点，并提交日志数据，其标识统一分配；所述事件标识用于表明事件的具体类型；所述探测器在提交日志数据中，明确了所述事件标识；所述可信度，用于标识所述日志事件的自信程度；所述优先级，由于标识所述日志事件的关注程度。 本专利技术所述一种日志事件关联分析方法中，所述处理策略，用于指导所述事件的处理，包括源地址、目标地址、优先级、端口组、探测器、时间范围、交叉关联标志、逻辑关联标志和风险评估标志；所述查询日志事件的处理策略，是依据所述日志事件的源IP、目的IP、目标端口、探测器标识和事件标识属性的组合为条件，查找处理策略表。 优选的是所述交叉关联分析包括漏洞关联分析和资产关联分析；所述漏洞关联分析，是通过所述日志事件中所携带的目的IP查找相应资产后，将事件与所述资产上已发现的漏洞关联；以及，所述资产关联分析，是依据所述日志事件中所携带的事件标识查找到漏洞所针对的操作系统和应用信息后，将事件与所述资产上的操作系统、应用服务以及活动端口与协议关联；以及，关联分析后，依据预设的规则，更新所述日志事件的可信度和优先级。 本专利技术所述一种日志事件关联分析方法中，所述事件流逻辑关联分析，包括 (a)测试所述日志事件是否从属于当前已有事件链的后续事件；所述日志事件的探测器标识和事件标识属性与所述事件链的活动关联规则所要求的标识相匹配后，再比较所述日志事件的源IP、目的IP、源端口和目标端口属性与所述事件链中上已有事件的源IP、目的IP、源端口和目标端口比较；完全匹配时，构造并提交新的日志事件；或 (b)测试所述日志事件是否可用于新建事件链；所述日志事件的探测器标识和事件标识属性与所有预设的事件链规则的第一个关联规则比较，匹配成功后，所述日志事件为事件链事件；以及， 所述关联规则，包括事件源IP、源端口、目的IP、目的端口、新事件标识、新事件描述、探测器标识、日志事件标识、时间间隔和重复次数；所述关联规则，通过“和关系”，和/或“或关系”组成关联规则树，用于将所述日志事件关联成事件链，并产生新的事件； 本专利技术所述一种日志事件关联分析方法中，日志事件风险评估，包含 利用所述日志事件的优先级、可信度和所述日志事件所针对的目标主机的价值结算而成的攻击威胁值，通过查找风险等级映射表，计算出攻击风险等级；更新目标主机以及目标网络的攻击威胁值；以及 利用所述日志事件的优先级、可信度和所述日志事件源主机的价值结算而成的危害威胁值，通过查找风险等级映射表，计算出危害风险等级；更新源主机以及源网络的危害威胁值；以及 以所计算的攻击威胁值和危害威胁值间的大者作为所述日志事件的风险值，并对风险值大于特定阈值，如1，的日志事件示警；且依据所述日志事件的事件标识自动响应。 本专利技术还提供了一种日志事件关联分析系统，其包括日志采集模块、日志规范化模块、关联分析模块、事件风险评估模块和告警模块； 所述日志采集模块用于采集网络设备、主机设备、终端以及各类业务应用的日志数据，提交到所述日志规范化模块； 所述日志规范化模块用于集中处理日志数据，转化为统一格式的日志事件后，提交到关联分析模块； 所述关联分析模块用于对规整化后的日志事件进行分析，包括更新日志事件的可信度和优先级；并在事件流中挖掘出新的事件；将分析后的事件提交到事件风险评估模块； 所述事件风险评估模块用于依据事件的可信度和优先级，并基于事件目标资产的价值，计算该事件的攻击威胁值，并计算攻击威胁风险等级；基于事件源主机的价值，计算该事件的危害威胁值，并计算危害威胁风险等级；以计算所得的攻击威胁值和危害威胁值间的大者为该事件的威胁值，提交事件到所述告警模块； 所述告警模块用于事件告警，并依据事件的事件标识属性值，自动响应。 优选的是，所述的日志事件关联分析系统，还包括数据库模块，用于保存所述管理分析模块、所述风险评估模块以及所述告警模块本文档来自技高网...

【技术保护点】
一种日志事件关联分析方法，其特征在于，包括以下步骤：　收集日志数据，　通过预设的正则表达式提取日志数据的特征数据；　根据提取到的特征数据构建统一格式的日志事件；　查询日志事件的处理策略；　根据策略指示对事件进行 交叉关联分析和事件流逻辑关联分析；以及　进行日志事件风险评估并自动响应。

【技术特征摘要】
1.一种日志事件关联分析方法，其特征在于，包括以下步骤收集日志数据，通过预设的正则表达式提取日志数据的特征数据；根据提取到的特征数据构建统一格式的日志事件；查询日志事件的处理策略；根据策略指示对事件进行交叉关联分析和事件流逻辑关联分析；以及进行日志事件风险评估并自动响应。2.根据权利要求1所述的日志事件关联分析方法，其特征在于所述特征数据，至少包含服务器、时间、源IP、源端口、目的IP、目标端口、协议、探测器标识、事件标识、可信度或优先级中的一种或多种。3.根据权利要求1所述的日志事件关联方法，其特征在于，所述处理策略用于指导所述事件的处理，包括源地址、目标地址、优先级、端口组、探测器、时间范围、交叉关联标志、逻辑关联标志和风险评估标志；所述查询日志事件的处理策略，是依据所述日志事件的源IP、目的IP、目标端口、探测器标识和事件标识属性的组合为条件，查找处理策略表。4.根据权利要求3所述的日志事件关联方法，其特征在于，所述交叉关联分析包括漏洞关联分析和资产关联分析；所述漏洞关联分析，是通过所述日志事件中所携带的目的IP查找相应资产后，将事件与所述资产上已发现的漏洞关联；所述资产关联分析，是依据所述日志事件中所携带的事件标识查找到漏洞所针对的操作系统和应用信息后，将事件与所述资产上的操作系统、应用服务以及活动端口与协议关联；以及关联分析后，依据预设的规则，更新所述日志事件的可信度和优先级。5.根据权利要求4所述的日志事件关联方法，其特征在于，所述事件流逻辑关联分析，包括测试所述日志事件是否从属于当前已有事件链的后续事件；所述日志事件的探测器标识和事件标识属性与所述事件链的活动关联规则所要求的标识相匹配后，再比较所述日志事件的源IP、目的IP、源端口和目标端口属性与所述事件链中上已有事件的源IP、目的IP、源端口和目标端口比较；完全匹配时，构造并提交新的日志事件；或测试所述日志事件是否可用于新建事件链；所述日志事件的探测器标识和事件标识属性与所有预设的事件链规则的第一个关联规则比较，匹配成功后，所述日志事件为事件链事件；以及所述关联规则，包括事件源IP、源端口、目的IP、目的端口、新事件标识、新事件描述、探测器标识、日志事件标识、时间间隔和重复次数；所述关联规则，通过和关系，和/或或关系组成关联规则树，用于将所述日志事件关联成事件链，并产生新的事件。6.根据权利要求1所述的日志事件关联方法，其特征在于，日志事件风险评估，包含利用所述日志事件的优先级、可信度和所述日志事件所针对的...

【专利技术属性】
技术研发人员：戚建淮，曾旭东，唐娟，刘云，马诗真，
申请(专利权)人：深圳市永达电子股份有限公司，
类型：发明
国别省市：94[中国|深圳]