日志解析系统及日志解析方法技术方案

本申请提供一种日志解析系统及日志解析方法，其中，所述方法包括：获取来自不同通信协议的日志数据；对来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；对解析成功的日志数据进行数据结构化处理，获得结构化数据；对解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；将修正后的结构化数据输出至终端；按照预定的时间对日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对日志解析系统进行更新配置；利用万维网页面实现对上述日志解析流程任务的配置可视化。本申请可以辅助进行日志解析，降低日志解析的难度。降低日志解析的难度。降低日志解析的难度。

【技术实现步骤摘要】
日志解析系统及日志解析方法


[0001]本申请涉及日志数据处理
，尤其涉及一种日志解析系统及日志解析方法。

技术介绍

[0002]随着5G技术的快速推行以及物联网的迅猛发展，日志数据
需要在万物互联的技术背景下，将日志数据用各种方式采集出来，进行大数据处理分析。在对日志数据进行采集的过程中，由于采集的介质多种多样且使用的协议也各不相同，导致采集出来的数字化信息杂乱、无序，将这样的信息直接上传云端，会导致云端数据处理的难度大幅提升。

技术实现思路

[0003]鉴于以上内容，有必要提供一种日志解析系统及日志解析方法，能够降低系统的各个模块之间的耦合度，便于对系统进行拓展，降低日志解析流程的难度。
[0004]所述日志解析系统包括多个模块，所述多个模块包括：日志接入模块，用于获取来自不同通信协议的日志数据；数据解析模块，用于对所获取的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；所述数据解析模块，还用于对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；数据处理模块，用于对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；数据输出模块，用于将所述修正后的数据输出至终端。
[0005]可选地，所述日志解析系统包含插件，所述插件用于拓展所述多个模块；所述日志解析系统还包括远程控制模块，所述远程控制模块用于按照预定的时间对所述日志解析系统的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述多个模块进行更新配置；所述远程控制模块还用于对所述多个模块进行控制；所述日志解析系统还包括可视化模块，所述可视化模块利用万维网页面实现对所述日志解析系统的配置可视化。
[0006]可选地，所述日志接入模块包含通用行读取器；所述远程控制模块控制所述日志接入模块基于所述通用行读取器获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到所述日志解析系统。
[0007]可选地，所述数据解析模块包含通用行解释器；所述远程控制模块控制所述数据解析模块，基于所述通用行解释器对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，对所述解析成功的日志数据进行所述数据结构化处理。
[0008]可选地，所述数据处理模块包含通用行解释器；所述远程控制模块控制所述数据处理模块，基于所述通用行解释器对所述解析失败的日志源数据和所述结构化数据进行修正，包括：删除或替换所述解析失败的日志数据、为所述结构化数据添加标签。
[0009]可选地，所述终端包括本地存储、通过通信协议连接的云端和控制台。
[0010]可选地，所述远程控制模块包含消息接收模块、信息解析器和控制库。
[0011]可选地，所述消息接收模块用于获取对所述多个模块的控制信息；所述信息解析器用于对所述控制信息进行解析，获得解析结果，所述解析结果包括访问控制修饰符；所述控制库用于根据所述访问控制修饰符对所述多个模块进行控制。
[0012]可选地，所述可视化模块通过万维网页面，对所述多个模块进行配置，生成所述多个模块的配置文件，使得所述多个模块根据所述配置文件对所述日志数据进行处理；及在万维网页面中显示所述多个模块的运行状态。
[0013]所述日志解析方法，利用所述日志解析系统，所述方法包括：获取来自不同通信协议的日志数据；对所述来自不同通信协议的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；将所述修正后的结构化数据输出至终端；按照预定的时间对所述日志解析系统的配置文件进行监听，根据监听到的配置文件的改变对所述日志解析系统进行更新配置；利用万维网页面实现对上述日志解析流程任务的配置可视化。
[0014]相较于现有技术，本申请的日志解析系统及日志解析方法中，所述日志解析系统通过解耦的方式形成多个独立模块，每个模块定义通用接口，所述日志解析系统以输入、解析、处理、输出的流程串联这些通用接口来实现所述日志解析方法中的流程；通过对通用接口的继承，实现适应多种复杂应用场景的功能；通过对接口参数的抽取，把日志解析流程按模块定义各自的行为到配置文件中，并形成定时任务；通过配置文件的定义将所述日志解析方法的流程的设计到可视化页面中，降低用户的使用难度。所述日志解析系统具有高内聚、低耦合、模块化和可拓展等特性，有利于系统的迭代升级。
附图说明
[0015]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0016]图1是本申请实施例提供的日志解析系统的功能模块图。
[0017]图2是本申请实施例提供的计算机装置的架构图。
[0018]图3本申请实施例提供的日志解析方法的流程图。
[0019]主要元件符号说明
[0020]日志解析系统1日志接入模块10数据解析模块11数据处理模块12数据输出模块13远程控制模块14可视化模块15计算机装置3存储器31
处理器32
[0021]如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
[0022]为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0023]在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
[0025]参阅图1所示，为本申请实施例提供的日志解析系统1的功能模块图。所述日志解析系统1包括多个模块，所述多个模块包括：日志接入模块10、数据解析模块11、数据处理模块12、数据输出模块13；所述日志解析系统1还包括远程控制模块14和可视化模块15，所述远程控制模块14用于作为所述日志解析系统1的控制中心。在本实施例中，所述日志解析系统1可以应用于计算机装置(例如图2所示的计算机装置3)中，对于需要进行日志解析任务的计算机装置，可以直接在计算机装置上集成本申请的方法所提供的用于日志解析的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在计算机装置上。
[0026]在一个实施例中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志解析系统，其特征在于，所述系统包括多个模块，所述多个模块包括：日志接入模块，用于获取来自不同通信协议的日志数据；数据解析模块，用于对所获取的日志数据进行并行解析，获得解析失败的日志数据和解析成功的日志数据；所述数据解析模块，还用于对所述解析成功的日志数据进行数据结构化处理，获得结构化数据；数据处理模块，用于对所述解析失败的日志数据和所述结构化数据进行修正，获得修正后的数据；数据输出模块，用于将所述修正后的数据输出至终端。2.根据权利要求1所述的日志解析系统，其特征在于，所述日志解析系统包含插件，所述插件用于拓展所述多个模块；所述日志解析系统还包括远程控制模块，所述远程控制模块用于按照预定的时间对所述日志解析系统的配置文件进行监听，并于监听到更新的配置文件时，加载所述更新的配置文件对所述多个模块进行更新配置；所述远程控制模块还用于对所述多个模块进行控制；所述日志解析系统还包括可视化模块，所述可视化模块利用万维网页面实现对所述日志解析系统的配置可视化。3.根据权利要求2所述的日志解析系统，其特征在于，所述日志接入模块包含通用行读取器；所述远程控制模块控制所述日志接入模块基于所述通用行读取器，获取所述来自不同通信协议的日志数据，将所述来自不同通信协议的日志数据统一接入到所述日志解析系统。4.根据权利要求2所述的日志解析系统，其特征在于，所述数据解析模块包含通用行解释器；所述远程控制模块控制所述数据解析模块，基于所述通用行解释器对所述来自不同通信协议的日志数据进行并行解析，并基于所述通用行解释器，对所述解析成功的日志数据进行所述数据结构化处理。5.根据权利要求2所述的日志解析系统，其特征在于，所述数据处理模块包含通用行...

【专利技术属性】
技术研发人员：李汉生，
申请(专利权)人：深圳富桂精密工业有限公司，
类型：发明
国别省市：