一种日志解析的方法、装置、介质及计算机设备制造方法及图纸

本文是关于一种日志解析方法、装置、介质及计算机设备，涉及日志数据解析技术。本文提供的一种日志解析方法，包括：为待解析的日志数据选择解析器；将所述日志数据与选择的解析器对应的模板进行匹配；使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。本文通过为一个解析器配置多个模板，可以对来自同一个日志源的所有格式的日志数据使用同一个解析器进行解析。从而提高了解析器的灵活性和扩展性，大大增强了日志解析的适配性，提高了日志解析的解析效率。

【技术实现步骤摘要】
一种日志解析的方法、装置、介质及计算机设备
本文涉及日志数据解析技术，尤其涉及一种日志解析方法、装置、介质及计算机设备。
技术介绍
深度威胁识别系统Atd-rt实时引擎(advancedthreaddetection-real-time)，最核心的功能就是分析客户业务输入的实时日志流，分析出安全威胁事件。作为一个通用的大数据日志安全分析平台，面临的第一个问题便是输入日志源的多样性的解析及归一化。相关技术中对日志进行解析时，主要存在如下问题：目前的日志解析方式，都是预先设定了解析器的模板，然后基于该模板的标注方法去标注日志中的字段，达到解析的目的。例如，可以根据apache、ngnix的典型日志设定模板实现解析。但是，由于设定模板过于单一，这种解析方式提供的适配性服务是比较有限的。且除了设定模板以外，在面对复杂情况还需要应用正则匹配表达式，也就是说，目前的解析方式中解析功能是难以扩展的。目前的日志解析方式中的配置一般是固定的。而业务系统的日志格式随时间演化会不断发生更新，因此需要对固定的配置进行不断的更新，才可以对更新的日志格式实现解析操作。
技术实现思路
为克服相关技术中存在的问题，本文提供一种日志解析方法、装置、介质及计算机设备。根据本文的第一方面，提供一种日志解析方法，包括：为待解析的日志数据选择解析器；将所述日志数据与选择的解析器对应的模板进行匹配；使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。可选地，上述方法还包括：使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果后，从所述解析结果中提取满足预设的再解析的条件的字段；对提取的字段再次进行模板匹配和解析，直到解析结果中不存在满足预设的再解析的条件的字段时，停止解析操作。可选地，上述方法中，所述预设的再解析的条件至少包括如下任一个条件：字段长度达到或超过设定长度；字段内至少包含两种字段名称。可选地，上述方法中，所述为所述日志数据选择解析器，包括：当所述日志数据的格式类型属于基本解析类型时，根据所述日志数据的格式类型为所述日志数据选择基本解析器；当所述日志数据的格式类型不属于基本解析类型时，为所述日志数据选择正则解析器。可选地，上述方法，所述将所述日志数据与选择的解析器对应的模板进行匹配，包括：从所述日志数据中搜索与所述解析器对应的模板的关键词；当从所述日志数据中搜索到任一模板的关键词时，确定该模板为与所述日志数据匹配的模板。可选地，上述方法，所述从所述日志数据中搜索与所述解析器对应的模板的关键词，包括：使用选择的解析器对应的模板索引字典树，搜索与所述日志数据匹配的模板，其中，所述模板索引字典树包括，所述解析器对应的所有模板的索引信息及每个模板的关键词。根据本文的另一方面，提供一种日志解析装置，包括：解析器选择模块，用于为待解析的日志数据选择解析器；模板匹配模块，用于将所述日志数据与选择的解析器对应的模板进行匹配；解析模块，用于使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。可选地，上述装置还包括：局部字段提取模块，用于在使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果后，从所述解析结果中提取满足预设的再解析的条件的字段；所述解析模块，用于对提取的字段再次进行模板匹配和解析，直到解析结果中不存在满足预设的再解析的条件的字段时，停止解析操作。可选地，上述装置中，所述预设的再解析的条件至少包括如下任一个条件：字段长度达到或超过设定长度；字段内至少包含两种字段名称。可选地，上述装置中，所述为所述日志数据选择解析器，包括：当所述日志数据的格式类型属于基本解析类型时，根据所述日志数据的格式类型为所述日志数据选择基本解析器；当所述日志数据的格式类型不属于基本解析类型时，为所述日志数据选择正则解析器。可选地，上述装置中，所述将所述日志数据与选择的解析器对应的模板进行匹配，包括：从所述日志数据中搜索与所述解析器对应的模板的关键词；当从所述日志数据中搜索到任一模板的关键词时，确定该模板为与所述日志数据匹配的模板。可选地，上述装置中，所述从所述日志数据中搜索与所述解析器对应的模板的关键词，包括：使用选择的解析器对应的模板索引字典树，搜索与所述日志数据匹配的模板，其中，所述模板索引字典树包括，所述解析器对应的所有模板的索引信息及每个模板的关键词。根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被执行时实现如上所述的日志解析方法的步骤。根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的日志解析方法的步骤。本文通过为一个解析器配置多个模板，可以对来自同一个日志源的所有格式的日志数据使用同一个解析器进行解析。从而提高了解析器的灵活性和扩展性，大大增强了日志解析的适配性，提高了日志解析的解析效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。附图说明构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：图1是相关技术中进行日志解析的流程图。图2是根据一示例性实施例示出的一种日志解析方法的流程图。图3是根据一示例性实施例示出的一种日志解析方法中并联解析方式的流程图。图4是根据一示例性实施例示出的一种日志解析方法中层级解析方式的流程图。图5是根据一示例性实施例示出的一种日志解析装置的框图。图6是根据一示例性实施例示出的一种计算机设备的框图。(服务器的一般结构)具体实施方式为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。相关技术中，解析日志数据的基本过程如图1所示。首先，根据日志格式选择可使用的基本解析器，每种基本解析器都有一套具有简单语法规则的配置模板，根据所选择的解析器的配置模板，对输入的日志数据进行语法标注后，得到解析结果。如果日志格式是基本解析器无法解析的，就只能采用正则解析器，编写正则匹配表达式对输入的日志数据进行匹配解析。而在实际应用中，对于同一种服务类型的日志数据，也有可能具有多种相似的格式。而每种基本解析器只能针对同一种格式的本文档来自技高网...

【技术保护点】
1.一种日志解析方法，其特征在于，包括：/n为待解析的日志数据选择解析器；/n将所述日志数据与选择的解析器对应的模板进行匹配，；/n使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。/n

【技术特征摘要】
1.一种日志解析方法，其特征在于，包括：
为待解析的日志数据选择解析器；
将所述日志数据与选择的解析器对应的模板进行匹配，；
使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果。


2.如权利要求1所述的方法，其特征在于，所述方法还包括：
使用与所述日志数据匹配的模板对所述日志数据进行解析，得到解析结果后，从所述解析结果中提取满足预设的再解析的条件的字段；
对提取的字段再次进行模板匹配和解析，直到解析结果中不存在满足预设的再解析的条件的字段时，停止解析操作。


3.如权利要求2所述的方法，其特征在于，所述预设的再解析的条件至少包括如下任一个条件：
字段长度达到或超过设定长度；
字段内至少包含两种字段名称。


4.如权利要求1至3任一项所述的方法，其特征在于，所述为所述日志数据选择解析器，包括：
当所述日志数据的格式类型属于基本解析类型时，根据所述日志数据的格式类型为所述日志数据选择基本解析器；
当所述日志数据的格式类型不属于基本解析类型时，为所述日志数据选择正则解析器。


5.如权利要求1至3任一项所述的方法，其特征在于，所述将所述日志数据与选择的解析器对应的模板进行匹配，包括：
从所述日志数据中搜索与所述解析器对应的模板的关键词；
当从所述日志数据中搜索到任一模板的关键词时，确定该模板为与所述日志数据匹配的模板。


6.如权利要求5所述的方法，其特征在于，所述从所述日志数据中搜索与所述解析器对应的模板的关键词，包括：
使用选择的解析器对应的模板索引字典树，搜索与所述日志数据匹配的模板，其中，所述模板索引字典树包括，所述解析器对应的所有模板的索引信息及每个模板的关键词。


7.一种日志解析装置，其特征在于，包括：
解析器选择模块，用于为待解析的日志数据选择解析器；
模板匹配模块，用于将所述日志数据与选择的解析器对应的模板进行匹配；
解析模块，用于使用与所述日志...

【专利技术属性】
技术研发人员：刘一雄，汪海，
申请(专利权)人：北京数安鑫云信息技术有限公司，
类型：发明
国别省市：北京;11