一种处理日志数据的方法和装置制造方法及图纸

本发明专利技术公开了一种处理日志数据的方法和装置，其中，该方法包括：对输入的一条样例日志进行解析处理，输出格式化的解析结果；接收用户的解析结果确认指令后，记录解析所述样例日志所采用的日志解析规则；根据所记录的所述日志解析规则，对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。该技术方案利用对样例日志进行解析得到的日志解析规则，实现了对业务的日志数据的格式化解析、统一管理入库，规范、有秩序地实现了对日志数据的管控。

Method and device for processing log data

The invention discloses a method and a device for processing log data, the method comprises: a sample log analytical treatment of the input and output format of the analytical results; analytical results confirm receiving user instructions after analyzing the sample log records collected by log parsing rules; according to the log the rules of the record source log data to the user specified service for analytical processing, save the log data obtained the business format and the data warehouse. Log parsing rules parsed for sample log using the technical scheme, the realization of the storage management log data on business format analysis, in order to achieve, control standard, log data.

【技术实现步骤摘要】
一种处理日志数据的方法和装置
本专利技术涉及计算机
，具体涉及一种处理日志数据的方法和装置。
技术介绍
企业、公司尤其是互联网公司，日常业务往往会产生大量的日志数据，对这些数据进行管理是一项非常浩大而又需要规范化设计的任务。例如，有些数据是无用数据需要丢弃，有些数据需要按生成时间进行入库等等。由于这些数据繁杂不一，格式各异，在统一管理上存在难题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的处理日志数据的方法和装置。依据本专利技术的一个方面，提供了一种处理日志数据的方法，包括：对输入的一条样例日志进行解析处理，输出格式化的解析结果；接收用户的解析结果确认指令后，记录解析所述样例日志所采用的日志解析规则；根据所记录的所述日志解析规则，对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。可选地，该方法还包括：接收关于指定业务的日志统计请求；根据所述日志统计请求，对数据仓库中的所述指定业务的格式化的日志数据进行统计计算，输出统计计算结果。可选地，所述对用户输入的一条样例日志进行解析处理，输出格式化的解析结果包括：预设多个日志内容识别引擎，用于分别识别不同格式的日志内容并解析成一个或多个字段；将所述样例日志依次输入到所述多个日志内容识别引擎中；将各日志内容识别引擎的输出各字段进行汇总得到所述格式化的解析结果。可选地，其中，所述记录解析所述样例日志所采用的日志解析规则包括：将有输出结果的各日志内容识别引擎的识别解析规则汇总记录为解析所述样例日志所采用的日志解析规则。可选地，该方法还包括：当所述样例日志中存在各日志内容识别引擎均无法识别的内容时，通过自定义识别接口输出该内容；通过自定义识别接口接收人工识别后输入的识别结果和相应的识别解析规则；将该人工识别后输入的识别解析规则记录为解析所述样例日志所采用的日志解析规则的一部分。可选地，所述多个日志内容识别引擎包括如下中的一种或多种：IP地址识别引擎；时间戳识别引擎；用户ID识别引擎；渠道识别引擎；JSON格式内容识别引擎。可选地，该方法还包括：提供日志内容识别引擎编辑接口，通过该接口接收增加/删除/修改日志内容识别引擎的指令，根据指令执行相应的日志内容识别模块增加/删除/修改操作。可选地，所述多个日志内容识别引擎包括IP地址识别引擎；所述IP地址识别引擎在识别出IP地址后，进一步解析IP地址，IP地址解析结果包括如下一个或多个字段：国家、省、市、运营商。可选地，该方法还包括：提供解析结果编辑界面，通过该界面接收输入的对解析结果中的各字段进行操作的指令，并执行相应的操作；所述对解析结果中的各字段进行操作的指令包括如下中的一种或多种：调整各字段的排序顺序的指令；修改指定字段的名称的指令；删除指定字段的指令。可选地，一个日志内容识别引擎的识别解析规则包括：对识别并解析出的一个或多个字段中的指定字段的参数值设置限定阈值；对于参数值超出限定阈值的日志数据进行丢弃处理。依据本专利技术的另一方面，提供了一种处理日志数据的装置，包括：样例解析单元，适于对输入的一条样例日志进行解析处理，输出格式化的解析结果；解析规则记录单元，适于接收用户的解析结果确认指令后，记录解析所述样例日志所采用的日志解析规则；日志解析单元，适于根据所记录的所述日志解析规则，对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。可选地，该装置还包括：统计计算单元，适于接收关于指定业务的日志统计请求；根据所述日志统计请求，对数据仓库中的所述指定业务的格式化的日志数据进行统计计算，输出统计计算结果。可选地，所述样例解析单元包括：多个日志内容识别引擎，用于分别识别不同格式的日志内容并解析成一个或多个字段；汇总处理单元，适于将所述样例日志依次输入到所述多个日志内容识别引擎中，将各日志内容识别引擎的输出各字段进行汇总得到所述格式化的解析结果。可选地，所述解析规则记录单元，适于将有输出结果的各日志内容识别引擎的识别解析规则汇总记录为解析所述样例日志所采用的日志解析规则。可选地，该装置还包括：自定识别单元，适于当所述样例日志中存在各日志内容识别引擎均无法识别的内容时，通过自定义识别接口输出该内容；通过自定义识别接口接收人工识别后输入的识别结果和相应的识别解析规则；将该人工识别后输入的识别解析规则记录为解析所述样例日志所采用的日志解析规则的一部分。可选地，所述多个日志内容识别引擎包括如下中的一种或多种：IP地址识别引擎；时间戳识别引擎；用户ID识别引擎；渠道识别引擎；JSON格式内容识别引擎。可选地，该装置还包括：识别引擎管理单元，适于提供日志内容识别引擎编辑接口，通过该接口接收增加/删除/修改日志内容识别引擎的指令，根据指令执行相应的日志内容识别模块增加/删除/修改操作。可选地，所述多个日志内容识别引擎包括IP地址识别引擎；所述IP地址识别引擎在识别出IP地址后，进一步解析IP地址，IP地址解析结果包括如下一个或多个字段：国家、省、市、运营商。可选地，所述样例解析单元，还适于提供解析结果编辑界面，通过该界面接收输入的对解析结果中的各字段进行操作的指令，并执行相应的操作；所述对解析结果中的各字段进行操作的指令包括如下中的一种或多种：调整各字段的排序顺序的指令；修改指定字段的名称的指令；删除指定字段的指令。可选地，一个日志内容识别引擎的识别解析规则包括：对识别并解析出的一个或多个字段中的指定字段的参数值设置限定阈值；所述日志解析单元，适于对于参数值超出限定阈值的日志数据进行丢弃处理。由上述可知，本专利技术的技术方案，对输入的一条样例日志进行解析处理，输出格式化的解析结果，经用户确认后将其记录为解析样例日志所采用的日志解析规则，利用该规则对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。该技术方案利用对样例日志进行解析得到的日志解析规则，实现了对业务的日志数据的格式化解析、统一管理入库，规范、有秩序地实现了对日志数据的管控。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了日志数据平台的工作流程示意图；图2示出了根据本专利技术一个实施例的一种处理日志数据的方法的流程示意图；图3示出了根据本专利技术一个实施例的一种处理日志数据的装置的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术的技术方案可以应用于日志数据平台，图1示出了日志数据平台的工作流程示意图。如图1所示，该日志数据平台本文档来自技高网...

【技术保护点】
一种处理日志数据的方法，其中，该方法包括：对输入的一条样例日志进行解析处理，输出格式化的解析结果；接收用户的解析结果确认指令后，记录解析所述样例日志所采用的日志解析规则；根据所记录的所述日志解析规则，对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。

【技术特征摘要】
1.一种处理日志数据的方法，其中，该方法包括：对输入的一条样例日志进行解析处理，输出格式化的解析结果；接收用户的解析结果确认指令后，记录解析所述样例日志所采用的日志解析规则；根据所记录的所述日志解析规则，对用户指定的业务的源日志数据进行解析处理，得到该业务的格式化的日志数据并保存到数据仓库中。2.如权利要求1所述的方法，其中，该方法还包括：接收关于指定业务的日志统计请求；根据所述日志统计请求，对数据仓库中的所述指定业务的格式化的日志数据进行统计计算，输出统计计算结果。3.如权利要求1所述的方法，其中，所述对用户输入的一条样例日志进行解析处理，输出格式化的解析结果包括：预设多个日志内容识别引擎，用于分别识别不同格式的日志内容并解析成一个或多个字段；将所述样例日志依次输入到所述多个日志内容识别引擎中；将各日志内容识别引擎的输出各字段进行汇总得到所述格式化的解析结果。4.如权利要求3所述的方法，其中，所述记录解析所述样例日志所采用的日志解析规则包括：将有输出结果的各日志内容识别引擎的识别解析规则汇总记录为解析所述样例日志所采用的日志解析规则。5.如权利要求3所述的方法，其中，该方法还包括：当所述样例日志中存在各日志内容识别引擎均无法识别的内容时，通过自定义识别接口输出该内容；通过自定义识别接口接收人工识别后输入的识别结果和相应的识别解析规则；将该人工识别后输入的识别解析规则记录为解析所述样例日志所采用的日志解析规则的一部分。6.一种处理日志数据...

【专利技术属性】
技术研发人员：李铮，侯怀锋，高飞龙，郑超平，张超，郑扬，张娟娜，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京,11