日志管理系统及其运行方法技术方案

本发明专利技术提出了一种日志管理系统及其运行方法，包括数据源层、数据平台层、场景应用层；数据采集层用于对数据源层的数据进行采集；解析与处理层用于将数据采集层采集到的数据经队列处理后，实时进入到数据平台层进行过滤与清洗，将不同格式的异构数据源经解析引擎进行实时规则解析处理后，接着加载进存储与分析层进行存储和分析；数据经算法引擎分析后，供场景应用层实时调用；所述场景应用层用于结合行内需求对可疑指标进行实时检测，对异常事件和问题快速响应，追根溯源，建立运维知识库；结合行内各类网络安全设备事件及规则，建立安全态势感知场景，实时感知各类安全事件及潜在威胁，做到及时响应与处理，提前预知，达到风险规避能力。

Log management system and its operation method

【技术实现步骤摘要】
日志管理系统及其运行方法
本专利技术涉及系统平台监测
，特别涉及一种日志管理系统及其运行方法。
技术介绍
目前对系统平台进行监测时，都是通过监测平台与该系统平台进行数据对接，然后对该数据进行分析，从而达到监测的目的，但是当监测平台与多个系统平台进行数据对接时，监测平台需获取每一个系统平台的权限后才可以完成数据对接，并且对数据进行监测时，还得需要进行大量的数据处理，才能够对多个系统平台进行监测，其处理效率非常低。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种日志管理系统及其运行方法，集中收集和分析处理信息系统指标、日志、业务数据、网络设备日志及内外部信息，并通过对数据的多维度、细粒度和趋势化分析，结合平台的智能算法引擎，实现统一的基础架构监控、数据的集中解析与处理建设。为了实现上述目的，本专利技术的实施例提供一种日志管理系统，包括数据源层、数据平台层、场景应用层；所述数据源层为行内信息基础架构内外部数据来源；所述数据平台层用于承担整个系统平台内部各模块之间的数据处理任务；所述数据平台层包括数据采集层、解析与处理层、存储与分析层；数据采集层用于对数据源层的数据进行采集，即对行内信息基础架构内外部数据源进行采集；解析与处理层用于将数据采集层采集到的数据经队列处理后，实时进入到数据平台层进行过滤与清洗，将不同格式的异构数据源经解析引擎进行实时规则解析处理后，进行统一标准化，接着加载进存储与分析层进行存储和分析；存储与分析层用于对解析与处理层处理后的海量日志及分析指标进行存储，经分片索引后，以集群方式进行存储，实时搜索与分析，以多副本方式提供高可用功能；存储与分析层除具备事件检索和分析外，对于大数据量、长时间统计需求支持以批处理方式处理后写入平台供后续统计分析；对于实时分析要求高事件，使用主流计算引擎处理后供其他分析模型调用；存储与分析层内的算法引擎对处理后的数据进行关联与分析，对关键指标进行实时检测和告警，对异常事件进行即时响应，快速定位；数据经算法引擎分析后，供场景应用层实时调用；所述场景应用层用于结合行内需求对可疑指标进行实时检测，对异常事件和问题快速响应，追根溯源，建立运维知识库；结合行内各类网络安全设备事件及规则，建立安全态势感知场景，实时感知各类安全事件及潜在威胁，做到及时响应与处理，提前预知，达到风险规避能力。在上述任一方案中优选的是，所述数据源层至少包括服务器、数据库、网络设备、流数据、资产信息、情报信息。在上述任一方案中优选的是，所述数据采集层的采集组件包括输入阶段、过滤阶段、输出阶段；所述输入阶段用于接受不同来源的数据流入；所述过滤阶段用于对流入数据进行过滤操作；所述输出阶段用于将数据传递到消息队列处理。在上述任一方案中优选的是，存储与分析层内至少包括结构化存储、数据挖掘算法、异常检测引擎、关联分析引擎、相似度分析算法、风险评分算法。在上述任一方案中优选的是，所述异常检测引擎对系统及应用指标进行实时检测与分析，找到故障发生的时间，并及时进行告警，提高事件处理速度。在上述任一方案中优选的是，所述关联分析引擎对异常检测结果进行深度分析，快速定位异常指标，找到事件发生的根本原因。在上述任一方案中优选的是，所述数据平台层内还包括数据安全治理层，所述数据安全治理层包括数据智能处理模块、数据动态保护模块、元数据，元数据贯穿系统平台整个生命周期，数据智能处理模块对元数据进行处理分析，结合安全设备事件进行安全威胁分析、登录绕行行为安全分析、越权运维操作行为安全分析、异常数据库访问安全分析、异常用户行为分析、高级持续性威胁分析，并通过数据动态保护模块对数据进行动态保护。一种基于上述的日志管理系统的运行方法，其特征在于，包括以下步骤：步骤S1，数据采集层采集行内信息基础架构的性能指标及日志信息，并将采集到性能指标及日志信息数据传输给解析与处理层，此外还实时监控和分析数据库的运行状态及性能开销，支持监控和分析慢SQL查询、数据库死锁、数据库运行错误、客户端连接、用户登录及用户操作行为；步骤S2，将数据采集层采集到的性能指标及日志信息数据经队列处理后，实时进入到数据平台层进行过滤与清洗，将不同格式的异构数据源经解析引擎进行实时规则解析处理后，进行统一标准化，接着加载进存储与分析层进行存储和分析；步骤S3，存储与分析层内部对性能指标及日志信息数据进行存储，经分片索引后，以集群方式进行存储，实时搜索与分析，以多副本方式提供高可用功能；存储与分析层内部还至少建立了数据库性能智能诊断模型、智能异常检测模型、智能根因分析模型、安全分析模型；数据库性能智能诊断模型通过数据挖掘算法针对数据的相似性和差异性将采集层采集到的性能指标及日志信息数据分为几个类别，并根据需要将分类后的数据至少传输给智能异常检测模型、智能根因分析模型、安全分析模型进行处理；智能异常检测模型通过异常检测引擎对系统及应用指标进行实时检测与分析，找到故障发生的时间，并及时进行告警；智能根因分析模型通过关联分析引擎对异常检测结果进行深度分析，快速定位异常指标，找到事件发生的根本原因，还可以通过关联分析引擎和相似度分析算法查找数据项之间关联规则，关联规则是隐藏在数据项之间的关联或相互关系，即根据一个数据项的出现推导出其他数据项的出现；关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组；第二阶段为根据所有的高频项目组产生高频项目组之间的关联规则；并根据数据项之间的关联规则找到事件发生的根本原因；安全分析模型首先在数据采集层与解析与处理层之间设立加密传输机制，此外，还针对数据采集层采集到的性能指标及日志信息数据结合安全设备事件进行安全威胁分析、登录绕行行为安全分析、越权运维操作行为安全分析、异常数据库访问安全分析、异常用户行为分析、高级持续性威胁分析；步骤S4，数据经存储与分析层中的算法引擎分析后，供场景应用层实时调用；场景应用层结合行内需求对可疑指标进行实时检测，对异常事件和问题快速响应，追根溯源，建立运维知识库；结合行内各类网络安全设备事件及规则，建立安全态势感知场景，实时感知各类安全事件及潜在威胁，做到及时响应与处理。在上述任一方案中优选的是，性能指标及日志信息至少包括CPU、内存、磁盘空间、io、网络设备日志、应用系统日志及配置文件信息。在上述任一方案中优选的是，存储与分析层除具备事件检索和分析外，对于大数据量、长时间统计需求支持以批处理方式处理后写入平台供后续统计分析；对于实时分析要求高事件，使用主流计算引擎处理后供其他分析模型调用。本专利技术的日志管理系统及其运行方法具有以下有益效果：1、本专利技术的日志管理系统能够集中收集和分析处理信息系统指标、日志、业务数据、网络设备日志及内外部信息，并通过对数据的多维度、细粒度和趋势化分析，结合平台的智能算法引擎，实现统一的基础架构监控、数本文档来自技高网...

【技术保护点】
1.一种日志管理系统，其特征在于，包括数据源层、数据平台层、场景应用层；/n所述数据源层为行内信息基础架构内外部数据来源；/n所述数据平台层用于承担整个系统平台内部各模块之间的数据处理任务；/n所述数据平台层包括数据采集层、解析与处理层、存储与分析层；/n数据采集层用于对数据源层的数据进行采集，即对行内信息基础架构内外部数据源进行采集；/n解析与处理层用于将数据采集层采集到的数据经队列处理后，实时进入到数据平台层进行过滤与清洗，将不同格式的异构数据源经解析引擎进行实时规则解析处理后，进行统一标准化，接着加载进存储与分析层进行存储和分析；/n存储与分析层用于对解析与处理层处理后的海量日志及分析指标进行存储，经分片索引后，以集群方式进行存储，实时搜索与分析，以多副本方式提供高可用功能；/n存储与分析层除具备事件检索和分析外，对于大数据量、长时间统计需求支持以批处理方式处理后写入平台供后续统计分析；对于实时分析要求高事件，使用主流计算引擎处理后供其他分析模型调用；/n存储与分析层内的算法引擎对处理后的数据进行关联与分析，对关键指标进行实时检测和告警，对异常事件进行即时响应，快速定位；/n数据经算法引擎分析后，供场景应用层实时调用；所述场景应用层用于结合行内需求对可疑指标进行实时检测，对异常事件和问题快速响应，追根溯源，建立运维知识库；结合行内各类网络安全设备事件及规则，建立安全态势感知场景，实时感知各类安全事件及潜在威胁，做到及时响应与处理，提前预知，达到风险规避能力。/n...

【技术特征摘要】
1.一种日志管理系统，其特征在于，包括数据源层、数据平台层、场景应用层；
所述数据源层为行内信息基础架构内外部数据来源；
所述数据平台层用于承担整个系统平台内部各模块之间的数据处理任务；
所述数据平台层包括数据采集层、解析与处理层、存储与分析层；
数据采集层用于对数据源层的数据进行采集，即对行内信息基础架构内外部数据源进行采集；
解析与处理层用于将数据采集层采集到的数据经队列处理后，实时进入到数据平台层进行过滤与清洗，将不同格式的异构数据源经解析引擎进行实时规则解析处理后，进行统一标准化，接着加载进存储与分析层进行存储和分析；
存储与分析层用于对解析与处理层处理后的海量日志及分析指标进行存储，经分片索引后，以集群方式进行存储，实时搜索与分析，以多副本方式提供高可用功能；
存储与分析层除具备事件检索和分析外，对于大数据量、长时间统计需求支持以批处理方式处理后写入平台供后续统计分析；对于实时分析要求高事件，使用主流计算引擎处理后供其他分析模型调用；
存储与分析层内的算法引擎对处理后的数据进行关联与分析，对关键指标进行实时检测和告警，对异常事件进行即时响应，快速定位；
数据经算法引擎分析后，供场景应用层实时调用；所述场景应用层用于结合行内需求对可疑指标进行实时检测，对异常事件和问题快速响应，追根溯源，建立运维知识库；结合行内各类网络安全设备事件及规则，建立安全态势感知场景，实时感知各类安全事件及潜在威胁，做到及时响应与处理，提前预知，达到风险规避能力。


2.如权利要求1所述的日志管理系统，其特征在于，所述数据源层至少包括服务器、数据库、网络设备、流数据、资产信息、情报信息。


3.如权利要求1所述的日志管理系统，其特征在于，所述数据采集层的采集组件包括输入阶段、过滤阶段、输出阶段；所述输入阶段用于接受不同来源的数据流入；所述过滤阶段用于对流入数据进行过滤操作；所述输出阶段用于将数据传递到消息队列处理。


4.如权利要求1所述的日志管理系统，其特征在于，存储与分析层内至少包括结构化存储、数据挖掘算法、异常检测引擎、关联分析引擎、相似度分析算法、风险评分算法。


5.如权利要求4所述的日志管理系统，其特征在于，所述异常检测引擎对系统及应用指标进行实时检测与分析，找到故障发生的时间，并及时进行告警，提高事件处理速度。


6.如权利要求4所述的日志管理系统，其特征在于，所述关联分析引擎对异常检测结果进行深度分析，快速定位异常指标，找到事件发生的根本原因。


7.如权利要求1所述的日志管理系统，其特征在于，所述数据平台层内还包括数据安全治理层，所述数据安全治理层包括数据智能处理模块、数据动态保护模块、元数据，元数据贯穿系统平台整个生命周期，数据智能处理模块对元数据进行处理分析，结合安全设备事件进行安全威胁分析、登录绕行行为安全分析、越权运维操作行为安全分析、异常数据库访问安全分析、异常用户行为分析、高级持续性威胁分析，并通过数据...

【专利技术属性】
技术研发人员：张卫民，
申请(专利权)人：天津浪淘科技股份有限公司，
类型：发明
国别省市：天津;12