一种日志处理方法和装置制造方法及图纸

本申请提供了一种日志处理方法和装置。其中的方法包括：提取日志报文的待识别字段序列；对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列。本申请实施例能够提高日志报文的识别效率。

Log processing method and device

The invention provides a method and a device for processing log. The method includes: extracting the log message to be identified on the field sequence; sequence recognition sequence and preset field field field sequence in the tree matching; and the preset to be identified for field sequence field does not match the sequence, to identify the log message corresponding to the type of log, and add preset field corresponding to the sequence in the sequence tree in the field after the completion of the identification. This application can improve the recognition efficiency of log messages.

【技术实现步骤摘要】

本申请涉及网络
，特别是涉及一种日志处理方法和装置。
技术介绍
作为信息系统的综合性管理平台，综合日志审计平台通过对网络设备、安全设备、主机和应用系统产生的日志进行全面的标准化处理，可以及时发现各种安全威胁、异常行为事件。然而，随着网络技术的发展，部署在网络中的设备和应用系统越来越多，很多安全产品厂商的日志格式并不相同，而且日志格式还可能随着系统的更新或升级而改变，上述因素导致网络中产生的日志呈现“海量”、“异构”的特点，从而为日志的分析带来困难。目前，综合日志审计平台通常采用代码或脚本的方式来识别异构的日志报文，而对于综合日志审计平台不能识别的日志格式，通常需要人工方式进行处理。具体地，上述人工方式的实施过程具体可以包括：首先通过抓包工具抓取综合日志审计平台未识别的日志报文；然后通过人工分析日志报文的格式，以提取日志报文的特征信息；最后根据提取的特征信息，修改代码或者脚本，使得综合日志审计平台可以识别新的日志报文格式。可以看出，通过现有的人工方式对网络中海量未知格式的日志报文进行识别，不仅需要耗费大量的人力资源，而且人工分析以及修改代码或者脚本的操作过程较为繁琐，导致日志报文的识别效率较低。
技术实现思路
本申请所要解决的技术问题是提供一种日志处理方法和装置，以提高日志报文的识别效率。为了解决上述问题，本申请公开了一种日志处理方法，包括：提取日志报文的待识别字段序列；对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列。另一方面，本申请公开了一种日志处理装置，包括：提取模块，用于提取日志报文的待识别字段序列；匹配模块，用于对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；新增模块，用于针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列。与现有技术相比，本申请具有以下优点：本申请实施例针对接收到的日志报文提取待识别字段序列，并且对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；进而在所述待识别字段序列与所述预置字段序列不匹配时，在所述字段序列树中新增识别后的字段序列。这样，在下次接收到与所述日志报文具有相同字段序列的其它日志报文时，该其它日志报文的待识别字段序列可以与字段序列树中的预置字段序列匹配成功，则可以确定匹配成功的待识别字段序列对应的日志报文为可识别的日志报文，进而可以实现新增的字段序列所对应日志报文的识别。由于本申请实施例在字段序列树中新增可识别的字段序列，故可以实现新增格式的日志报文的自动识别。从而，相对于现有技术中通过修改代码或者脚本识别新增格式的日志报文，本申请实施例能够简化日志识别的操作过程，并且可以提高日志识别的效率。附图说明图1是本申请其中一个实施例的一种日志处理方法的步骤流程图；图2是本申请其中一个实施例的一种在字段序列树中加入待识别字段序列的步骤流程图；图3是本申请的一种字段序列树的结构示意图；图4是本申请的另一种字段序列树的结构示意图；图5是本申请其中一个实施例的一种日志处理装置的结构框图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。本申请实施例的专利技术构思之一在于，采用字段序列树对日志报文的待识别字段序列进行匹配，并且对于不能匹配的待识别字段序列，对其进行识别，以及在识别完成后在所述字段序列树中新增对应的预置字段序列。这样，在下次接收到与所述日志报文具有相同待识别字段序列的其它日志报文时，该待识别字段序列可以与字段序列树中的预置字段序列匹配成功，也即，可以对新增字段序列的日志报文进行识别。由此，本申请实施例只需在字段序列树中新增可识别的字段序列，就可以实现自动识别新增格式的日志报文。相对于现有技术中需要修改代码或者脚本才能识别新增格式的日志报文，本申请实施例简化了日志识别的操作过程，并且可以提高日志识别的效率。参照图1，示出了本申请其中一个实施例的一种日志处理方法的步骤流程图。在本申请实施例中，所述日志处理方法包括：步骤101、提取日志报文的待识别字段序列；本申请实施例可用于对网络中部署的不同设备厂商的网络设备、安全设备、主机或者应用系统产生的日志报文进行分析处理，自动识别未知日志报文的格式，相对于现有技术中需要人工识别未知日志报文的格式，本申请实施例可以节省大量的人力资源以及提高日志处理的效率。本申请实施例对于日志报文的类型不加以限制，例如按照类型其可以包括：攻击日志、数据请求日志、查询日志等，为便于说明，本申请实施例中主要以攻击日志为例进行描述，其它类型的日志处理过程相互参照即可。在具体应用中，在接收到日志报文时，可以提取日志报文对应的待识别字段序列，所述待识别字段序列可用于表示日志报文的字段组成的序列，通常一个日志报文可以对应一个字段序列。通过对待识别字段序列进行识别，以判定所述日志报文是否为未知日志报文。其中，所述待识别字段序列中可以包括日志报文中各字段的字段名称。在此以syslog(系统日志)标准日志协议的日志报文为例，说明待识别字段序列的提取过程。具体地，所述提取日志报文的待识别字段序列的步骤，可以包括如下子步骤：子步骤S11、根据所述日志报文中的分段符对所述日志报文进行切分，得到所述日志报文的字段；子步骤S12、根据所述日志报文中的分隔符对所述字段进行切分，得到字段名称；子步骤S13、根据所述字段名称得到待识别字段序列。在具体应用中，对于syslog标准日志协议的日志报文，日志报文中携带的日志内容通常以“字段名称+字段内容”的方式成对出现，例如，日志报文中携带的日志内容的格式可以如下：<Tag1|分隔符|Content1|分段符|Tag2|分隔符|Content2|分段符……>其中，Tag1、Tag2表示字段名称，Content1、Content2表示字段内容，分段符用于分隔两个字段，分隔符用于分隔一个字段中的字段名称和字段内容。在具体应用中，可以通过扫描日志报文，根据分段符对日志报文进行切分，以得到每一个字段，再根据分隔符对每一个字段进行切分，以得到字段名称和字段内容，提取每个字段的字段名称，并且将提取得到的字段名称组成字段序列。在具体应用中，大多数的日志报文通常包括分段符和分隔符，本申请实施例通过扫描分段符和分隔符来提取待识别字段序列，提取效率较高。可以理解，上述通过扫描日志报文中的分段符和分隔符来获取待识别字段序列，仅作为本申请的一种应用示例，在具体应用中，本申请实施例对于提取待识别字段序列的具体方式不加以限制。例如，对于没有分隔符和分段符的特殊日志报文，也可以通过匹配具体的字段名称来直接提取待识别字段序列。在实际应用中，由于不同设备厂商可以采用不同格式的日志报文，也即不同厂商的日志报文可以具有不同的字段名称和字段内容，因此，提取得到的字段序列也可能不同。以攻击日志为例，参照表1，示出了本申请的一种根据标准格式的攻击日志报文提取得到的字段序列。以及参照表2，示出了本申请的一种根据厂商A的攻击日志报文提取得到的字本文档来自技高网...

【技术保护点】
一种日志处理方法，其特征在于，包括：提取日志报文的待识别字段序列；对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列。

【技术特征摘要】
1.一种日志处理方法，其特征在于，包括：提取日志报文的待识别字段序列；对所述待识别字段序列与字段序列树中的预置字段序列进行匹配；针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列。2.根据权利要求1所述的方法，其特征在于，所述针对与所述预置字段序列不匹配的待识别字段序列，对所述日志报文对应的日志类型进行识别，并在识别完成后在所述字段序列树中新增对应的预置字段序列的步骤，包括：将所述与所述预置字段序列不匹配的待识别字段序列标记为未识别字段序列，并将所述未识别字段序列加入所述字段序列树中；上报所述与所述预置字段序列不匹配的待识别字段序列及其对应的日志报文，以对所述日志报文对应的日志类型进行识别；在识别完成后，将所述字段序列树中对应的未识别字段序列标记为预置字段序列。3.根据权利要求2所述的方法，其特征在于，所述将所述与所述预置字段序列不匹配的待识别字段序列标记为未识别字段序列，并将所述未识别字段序列加入所述字段序列树中的步骤，包括：依次查找所述字段序列树的根节点的下一层节点中是否存在所述与所述预置字段序列不匹配的待识别字段序列中第一个字段对应的节点，若不存在，则在所述根节点下新建所述第一个字段对应的节点，以及依次在新建的节点下新建下一个字段对应的节点，直到最后一个字段对应的节点建立完成；若所述根节点的下一层节点中存在所述第一个字段对应的节点，则依次查找所述第一个字段对应的节点的下一层节点中是否存在下一个字段对应的节点；循环执行上述步骤，直到查找到所述与所述预置字段序列不匹配的待识别字段序列中最后一个字段对应的节点。4.根据权利要求1所述的方法，其特征在于，所述对所述待识别字段序列与字段序列树中的预置字段序列进行匹配的步骤，包括：依次查找字段序列树的根节点的下一层节点中是否存在所述待识别字段序列中第一个字段对应的节点，若不存在，则匹配失败；若存在，则以当前节点为根节点，遍历其下一层节点中是否存在待识别字段序列中第二个字段对应的节点，循环递归直到查找到待识别字段序列中最后一个字段对应的节点，如果最后一个字段对应的节点为叶子结点，则匹配成功；如果最后一个字段对应的节点不是叶子节点，则匹配失败。5.根据权利要求1所述的方法，其特征在于，所述提取日志报文的待识别字段序列的步骤，包括：根据所述日志报文中的分段符对所述日志报文进行切分，得到所述日志报文的字段；根据所述日志报文中的分隔符对所述字段进行切分，得到字段名称；根据所述字段名称得到待识别字段序列。6.根据权利要求1至5中任一所述的方法，其特征在于，所述方法还包括：针对与所述预置字段序列相匹配的待识别字段序列，在所述字段序列树中查询得到所述预置字段序列对应的索引值；依据所述索引值查询标准字段序列与预置字段序列之间的映射关系；将所述待识别字段序列中与所述标准字段序列中的标准字段对应的字段...

【专利技术属性】
技术研发人员：龚一斌，
申请(专利权)人：杭州华三通信技术有限公司，
类型：发明
国别省市：浙江;33