日志采集方法及系统技术方案

本发明专利技术提供一种日志采集方法及系统，涉及通信技术领域。该日志采集方法包括：多个所述采集组件采集多个日志文件，多个所述采集组件将多个所述日志文件存储至多个所述消息队列，多个所述解析组件对多个所述消息队列中的所述日志文件进行解析，得到多个解析后的日志文件，多个所述解析组件将多个所述解析后的日志文件存储至所述数据库。通过日志采集系统中的多个采集组件对多个日志文件进行采集，并通过多个解析组件对日志文件进行解析，避免了任意一个采集组件或解析组件出现异常时无法对日志文件进行采集分析的情况，降低了采集日志文件过程中的耦合度，提高了采集日志文件的可靠性和灵活性。

Log Acquisition Method and System

【技术实现步骤摘要】
日志采集方法及系统
本专利技术涉及通信
，具体而言，涉及一种日志采集方法及系统。
技术介绍
随着互联网和大数据的不断发展，网络设备产生的日志也越来越多，用户可以基于日志进行大数据分析，获取日志中有价值的数据。相关技术中，可以通过采集组件对各个网络设备生成的日志文件进行采集，并通过解析组件对采集得到的日志文件进行解析，最后将解析得到的数据存储至预先设置的数据存储系统中。但是，采集日志的流程是线性关联的，耦合度较高，当采集组件、解析组件或数据存储系统出现异常时，导致无法正常采集并存储日志。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种日志采集方法及装置，以解决采集日志的耦合度较高，当采集组件、解析组件或数据存储系统出现异常时，无法正常采集并存储日志的问题。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种日志采集方法，应用于日志采集系统，所述日志采集系统包括：多个采集组件、多个解析组件、多个消息队列和数据库，所述方法包括：多个所述采集组件采集多个日志文件；多个所述采集组件将多个所述日志文件存储至多个所述消息队列；多个所述解析组件对多个所述消息队列中的所述日志文件进行解析，得到多个解析后的日志文件；多个所述解析组件将多个所述解析后的日志文件存储至所述数据库。可选的，所述多个所述采集组件采集多个日志文件，包括：根据缓存目录监控各个所述日志文件的采集状态；对于每个所述日志文件，若所述采集状态指示所述日志文件处于待采集状态，通过多个所述采集组件中的任意一个空闲采集组件对所述日志文件进行采集。可选的，所述方法还包括：若检测到对多个所述日志文件中的任意一个日志文件采集完毕，则将所述缓存目录中采集完毕的日志文件所对应采集状态更新为采集完毕；若检测到所述缓存目录中多个所述日志文件对应的采集状态均为采集完毕，则删除所述缓存目录。可选的，所述多个所述采集组件中的任意一个空闲采集组件对所述日志文件进行采集，包括：若多个所述采集组件中的第一空闲采集组件在采集所述日志文件的过程中出现异常状态，生成异常位置信息；多个所述采集组件中的第二空闲采集组件，根据所述异常位置信息继续对所述日志文件进行采集。可选的，所述生成异常位置信息，包括：获取中断位置，所述中断位置用于指示所述第一空闲采集组件中断采集所述日志文件的位置；根据所述中断位置生成所述异常位置信息。可选的，所述多个所述采集组件将多个所述日志文件存储至多个所述消息队列，包括：多个所述采集组件按照每个所述日志文件对应的采集时刻，将多个所述日志文件保存在缓存队列中，所述采集时刻用于指示采集完成日志文件所对应的时刻；其中，所述缓存队列中的任意一个所述日志文件被随机存储至多个所述消息队列中的一个消息队列。可选的，所述多个所述解析组件对多个所述消息队列中的所述日志文件进行解析，得到多个解析后的日志文件，包括：监测多个所述解析组件的工作状态；对于每个所述解析组件，若检测到所述解析组件处于空闲状态，通过所述空闲解析组件随机读取一个所述消息队列中的一个所述日志文件进行解析，得到所述解析后的日志文件。可选的，所述多个所述解析组件将多个所述解析后的日志文件存储至所述数据库，包括：多个所述解析组件根据多个所述解析后的日志文件所对应的日志标识，将每个所述解析后的日志文件存储至所述数据库中与所述日志标识相对应的存储空间。第二方面，本专利技术实施例还提供了一种日志采集系统，所述日志采集系统包括：多个采集组件、多个消息队列、多个解析组件和数据库；多个所述采集组件用于采集多个日志文件；多个所述消息队列用于存储多个所述日志文件；多个所述解析组件用于对多个所述日志文件进行解析，得到多个解析后的日志文件；所述数据库用于存储多个所述解析后的日志文件。可选的，多个所述采集组件，具体用于根据缓存目录监控各个所述日志文件的采集状态；对于每个所述日志文件，若所述采集状态指示所述日志文件处于待采集状态，通过多个所述采集组件中的任意一个空闲采集组件对所述日志文件进行采集。可选的，多个所述采集组件，还具体用于按照每个所述日志文件对应的采集时刻，将多个所述日志文件保存在缓存队列中，所述采集时刻用于指示采集完成日志文件所对应的时刻；其中，所述缓存队列中的任意一个所述日志文件被随机存储至多个所述消息队列中的一个消息队列。可选的，多个所述解析组件，具体用于监测多个所述解析组件的工作状态；对于每个所述解析组件，若检测到所述解析组件处于空闲状态，通过所述空闲解析组件随机读取一个所述消息队列中的一个所述日志文件进行解析，得到所述解析后的日志文件。可选的，多个所述解析组件，具体用于根据多个所述解析后的日志文件所对应的日志标识，将每个所述解析后的日志文件存储至所述数据库中与所述日志标识相对应的存储空间。本专利技术的有益效果是：本专利技术实施例通过多个采集组件对多个日志文件进行采集，并将采集得到的日志文件存储在多个消息队列中，则多个解析组件可以对多个消息队列中的日志文件进行解析，得到多个解析后的日志文件，最后将解析后的日志文件存储在数据库中。通过日志采集系统中的多个采集组件对多个日志文件进行采集，并通过多个解析组件对日志文件进行解析，避免了任意一个采集组件或解析组件出现异常时无法对日志文件进行采集分析的情况，降低了采集日志文件过程中的耦合度，提高了采集日志文件的可靠性和灵活性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本专利技术提供的一种日志采集方法所涉及的日志采集系统的结构示意图；图2为本专利技术一实施例提供的日志采集方法的流程示意图；图3为本专利技术另一实施例提供的日志采集方法的流程示意图；图4为本专利技术一实施例提供的日志采集系统的示意图；图5为本专利技术一实施例提供的日志采集装置的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。图1为本专利技术提供的一种日志采集方法所涉及的日志采集系统的结构示意图；如图1所示，该日志采集系统包括：采集组件集群110、消息队列集群120、解析组件集群130和数据库140。其中，采集组件集群110可以包括多个采集组件，消息队列集群120可以包括多个消息队列，解析组件集群130可以包括多个解析组件，数据库140可以包括多个存储空间。另外，消息队列集群120还可以包括主消息队列和备消息队列，主消息队列为消息队列集群120中各个用于存储日志文件的消息队列，而备消息队列则是各个主消息队列的备份，当任意一个主消息队列出现故障时，可以通过对应的备消息队列继续存储日志文件。在采集日志的过程中，采集组件集群110可以根据采集目录中各个日志文件对应的日志标识生成缓存目录，而且，采集组件集群110中的各个采集组件可以根据缓存目录中各个日志文件对应的日志标识以及每个日志文件对应的采集状态，对各个日志文件进行采集，并根据每个日志文件本文档来自技高网...

【技术保护点】
1.一种日志采集方法，其特征在于，应用于日志采集系统，所述日志采集系统包括：多个采集组件、多个解析组件、多个消息队列和数据库，所述方法包括：多个所述采集组件采集多个日志文件；多个所述采集组件将多个所述日志文件存储至多个所述消息队列；多个所述解析组件对多个所述消息队列中的所述日志文件进行解析，得到多个解析后的日志文件；多个所述解析组件将多个所述解析后的日志文件存储至所述数据库。

【技术特征摘要】
1.一种日志采集方法，其特征在于，应用于日志采集系统，所述日志采集系统包括：多个采集组件、多个解析组件、多个消息队列和数据库，所述方法包括：多个所述采集组件采集多个日志文件；多个所述采集组件将多个所述日志文件存储至多个所述消息队列；多个所述解析组件对多个所述消息队列中的所述日志文件进行解析，得到多个解析后的日志文件；多个所述解析组件将多个所述解析后的日志文件存储至所述数据库。2.如权利要求1所述的方法，其特征在于，所述多个所述采集组件采集多个日志文件，包括：根据缓存目录监控各个所述日志文件的采集状态；对于每个所述日志文件，若所述采集状态指示所述日志文件处于待采集状态，通过多个所述采集组件中的任意一个空闲采集组件对所述日志文件进行采集。3.如权利要求2所述的方法，其特征在于，所述方法还包括：若检测到对多个所述日志文件中的任意一个日志文件采集完毕，则将所述缓存目录中采集完毕的日志文件所对应采集状态更新为采集完毕；若检测到所述缓存目录中多个所述日志文件对应的采集状态均为采集完毕，则删除所述缓存目录。4.如权利要求2所述的方法，其特征在于，所述多个所述采集组件中的任意一个空闲采集组件对所述日志文件进行采集，包括：若多个所述采集组件中的第一空闲采集组件在采集所述日志文件的过程中出现异常状态，生成异常位置信息；多个所述采集组件中的第二空闲采集组件，根据所述异常位置信息继续对所述日志文件进行采集。5.如权利要求4所述的方法，其特征在于，所述生成异常位置信息，包括：获取中断位置，所述中断位置用于指示所述第一空闲采集组件中断采集所述日志文件的位置；根据所述中断位置生成所述异常位置信息。6.如权利要求1所述的方法，其特征在于，所述多个所述采集组件将多个所述日志文件存储至多个所述消息队列，包括：多个所述采集组件按照每个所述日志文件对应的采集时刻，将多个所述日志文件保存在缓存队列中，所述采集时刻用于指示采集完成日志文件所对应的时刻；其中，所述缓存队列中的任意一个所述日志文件被随机存储至多个所述消息队列中的一个消息队列。7.如权利要求1所述的方法，其特征在于，所述多个所述解析组件对多个所述消息队列...

【专利技术属性】
技术研发人员：张凯顺，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41