一种基于大数据流式计算的日志管理方法技术

本发明专利技术公开了一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理；通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流IT运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。

【技术实现步骤摘要】
一种基于大数据流式计算的日志管理方法
本专利技术涉及运维管理
，尤其涉及一种基于大数据流式计算的日志管理方法。
技术介绍
大数据的计算模式可以分为批量计算(batchcomputing)和流式计算(streamcomputing)两种形态，两者需求及性能指标对比如下：性能指标大数据流式计算大数据批量计算计算方式实时批量常驻空间内存硬盘时效性短长有序性无有数据量无限有限数据速率突发稳定是否可重现难易移动对象数据移动程序移动数据精确度较低较高目前市面上主流的日志分析系统，如splunk，ELK，均使用了大数据批量计算的模式，强调大数据的存储，索引，结构化分析等特性。此种计算模式可以满足部分客户的日志分析要求，但是实际推广时发现覆盖面并不高，主要原因分析如下：1.此类日志分析系统部署的硬件要求高，一般要求专门的存储设备，索引服务器等。2.日志分析系统的开销随着时间的增长不断提高，因为涉及到硬件，需要定期维护更换。3.此类日志分析系统无法与主流的IT运维系统有效集成，造成客户运维负担增大。综上，大数据批量计算模式下的日志分析对于中小企业的客户并不友好。
技术实现思路
鉴于目前存在的上述不足，本专利技术提供一种基于大数据流式计算的日志管理方法，在日志分析系统中应用大数据流式计算，解决了传统日志分析系统成本高昂的问题。为达到上述目的，本专利技术的实施例采用如下技术方案：一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。依照本专利技术的一个方面，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。依照本专利技术的一个方面，所述处理触发逻辑单元包括：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取指标，计算统计指标；根据IT运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：预设有将日志KPI化形成的日志模板文件；收集待监控的日志文件类型，整理日志监控需求；将日志监控需求与预置的日志模板进行比对，确认是否符合需求；如果不符合需求则重新获取符合要求的日志模板；如果符合需求，则通过符合要求的日志模板对所有接收的日志进行处理。依照本专利技术的一个方面，所述重新获取符合要求的日志模板包括：开发或下载相应类型的日志模板后导入。依照本专利技术的一个方面，所述日志管理方法包括以下步骤：设置日志接收规则。依照本专利技术的一个方面，所述日志接收规则包含如下要素：源IP和/或源文件，日志模板，日志编码。依照本专利技术的一个方面，所述源IP用于Syslog日志接收规则和Trap日志接收规则；源文件用于文件日志接收规则；日志模板包含如下要素：模板类型，适用范围，提取指标，统计指标，源日志样例；日志模板内容取决于日志监控需求调研结果。其中统计指标支持对同一类型日志的发生频度进行历史记录或告警触发。依照本专利技术的一个方面，所述日志管理方法包括以下步骤：在被管对象安装日志监控探针监控文件日志。依照本专利技术的一个方面，所述日志管理方法包括以下步骤：设置被管对象的日志告警规则和日志智维规则。依照本专利技术的一个方面，所述日志管理方法包括以下步骤：日志接收处理流可在显示界面进行显示。本专利技术实施的优点：本专利技术所述的基于大数据流式计算的日志管理方法，包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理；通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流IT运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所述的一种基于大数据流式计算的日志管理方法示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一一种基于大数据流式计算的日志管理方法，所述日志管理方法的核心是：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。在实际应用中，所述处理触发逻辑单元包括如下功能：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取指标，计算统计指标；根据IT运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。通过该日志模板，可以应用于任何运维管理系统，以实现其日志管理功能，通过在日志分析系统中应用大数据流式计算，不但解决了传统日志分析系统成本高昂的问题，同时与主流IT运维系统有效集成，应用其告警，报表，智维策略，自定义面板等组件，实现客户日志无序，突发，无限数据量场景下的有效监控及分析，进一步提高企业的运维水平。实施例二一种基于大数据流式计算的日志管理方法，所述日志管理方法包括以下步骤：步骤S1：预设有将日志KPI化形成的日志模板文件；将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。在实际应用中，所述处理触发逻辑单元包括如下功能：接收发送到本机的日志项；根据日志接收规则进行过滤筛选；筛选后的日志项根据日志模板解析提取本文档来自技高网...

【技术保护点】
1.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。/n

【技术特征摘要】
1.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：将待管理的日志KPI化，形成日志模板文件，作为大数据流式计算所需的处理触发逻辑单元，所有的接收日志均通过该单元进行处理。


2.根据权利要求1所述的基于大数据流式计算的日志管理方法，其特征在于，所述处理触发逻辑单元包括决定该日志或忽略或触发告警或保存为历史记录的处理逻辑。


3.根据权利要求1所述的基于大数据流式计算的日志管理方法，其特征在于，所述处理触发逻辑单元包括：
接收发送到本机的日志项；
根据日志接收规则进行过滤筛选；
筛选后的日志项根据日志模板解析提取指标，计算统计指标；
根据IT运维系统的日志告警规则及日志智维规则，对提取指标和统计指标值进行告警触发或智维历史记录。


4.一种基于大数据流式计算的日志管理方法，其特征在于，所述日志管理方法包括以下步骤：
预设有将日志KPI化形成的日志模板文件；
收集待监控的日志文件类型，整理日志监控需求；
将日志监控需求与预置的日志模板进行比对，确认是否符合需求；
如果不符合需求则重新获取符合要求的日志模板；
如果符合需求，则通过符合要求的...

【专利技术属性】
技术研发人员：黄海舟，
申请(专利权)人：上海北塔软件股份有限公司，
类型：发明
国别省市：上海;31