日志分析方法、装置、设备及可读存储介质制造方法及图纸

本申请提出了一种日志分析方法、装置、设备及可读存储介质。该方法包括：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；根据所述日志采集任务采集日志数据，并上传至消息队列；根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；根据所述日志元数据进行分析，生成日志分析结果。本申请通过对不同节点的日志进行聚合分析处理，可以对日志进行统一的分析和查看，无需逐个节点查看日志，从而提高日志采集和分析的效率。从而提高日志采集和分析的效率。从而提高日志采集和分析的效率。

【技术实现步骤摘要】
日志分析方法、装置、设备及可读存储介质


[0001]本申请涉及计算机及数据处理
，具体涉及一种日志分析方法、装置、设备及可读存储介质。

技术介绍

[0002]如今，随着通信技术和互联网技术的飞速发展，在给人们的生活带来极大的便利的同时，也带来了严峻的网络安全威胁问题。例如垃圾邮件、挖矿病毒、勒索病毒、分布式拒绝服务(Distributed Denial
‑
of
‑
Service，DDOS)攻击乃至高级持续性威胁(Advanced Persistent Threat，APT)攻击，都给网络安全建设提出了很高的挑战。目前无论是入侵检测、攻击溯源还是安全运营等都依赖于对海量日志的分析，包括访问日志、系统日志、审计日志等。
[0003]在构思及实现本申请过程中，专利技术人发现至少存在如下问题：常用的日志采集工具资源消耗过于庞大，不仅依赖性能繁重和配置麻烦，部署时较为麻烦，并且使用限制过多，灵活性和实用性较低，无法满足用户实际使用需求。
[0004]前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

技术实现思路

[0005]针对上述技术问题，本申请提供一种日志分析方法、装置、设备及可读存储介质，通过对日志进行聚合分析处理，从而提高日志采集和分析的效率。
[0006]为解决上述技术问题，本申请提供一种日志分析方法，至少包括如下步骤：
[0007]S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；
[0008]S20：根据所述日志采集任务采集日志数据，并上传至消息队列；
[0009]S30：根据所述日志采集任务信息对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；
[0010]S40：根据所述日志元数据进行分析，生成日志分析结果。
[0011]可选地，所述S10步骤可以包括：
[0012]接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；
[0013]根据更新后的日志采集任务信息生成日志采集任务；
[0014]根据所述日志采集任务创建所述目标信息集合。
[0015]可选地，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：
[0016]根据所述日志采集请求确定对应的日志采集节点实例；
[0017]注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。
[0018]可选地，所述S20步骤可以包括：
[0019]提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、采集日志数据的类型及其对应的数据流管道配置；
[0020]根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。
[0021]可选地，所述S30步骤可以包括：
[0022]获取需要消费的消息队列和数据流管道配置；
[0023]根据所述日志采集任务对所述消息队列中的日志数据进行消费，并生成对应的日志元数据；
[0024]将所述日志元数据发送至对应的日志集合。
[0025]可选地，在将所述日志元数据发送至对应的日志集合之后，还包括：
[0026]根据所述数据流管道配置获取所述日志集合对应的数据流管道；
[0027]根据预设运行顺序运行所述数据流管道中的插件，对所述日志元数据进行数据流处理。
[0028]可选地，所述S40步骤可以包括：
[0029]从所述日志集合中获取目标日志元数据，并对所述目标日志元数据进行ES持久化处理；
[0030]对ES持久化处理后的目标日志元数据进行日志分析，生成日志分析结果。
[0031]相应地，本申请还提供一种日志分析装置，包括：
[0032]采集任务模块，用于获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；
[0033]日志采集模块，用于根据所述日志采集任务采集日志数据，并上传至消息队列；
[0034]日志消费模块，用于根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；
[0035]日志分析模块，用于根据所述日志元数据，生成日志分析结果。
[0036]本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的日志分析方法的步骤。
[0037]本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的日志分析方法的步骤。
[0038]实施本专利技术实施例，具有如下有益效果：
[0039]如上所述，本申请提供的一种日志分析方法、装置、设备及可读存储介质，所述方法包括：首先获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；然后根据所述日志采集任务采集日志数据，并上传至消息队列；接着根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；最后根据所述日志元数据进行分析，生成日志分析结果。本申请的日志分析方法，通过分布式键值集群根据日志采集任务信息在若干个分布式节点进行日志数据的采集，在采集完后上传至同一个消息队列中，对该消息队列中的日志数据进行消费，生成日志元数据并发送至日志集合中，在运行管道中的插件对日志集合中的日志元数据进行数据流处理后，对日志数据进行分析，通过上述技术方案，当用户需要对若干个不同节点进行日志采集和分析时，无需逐一对每个节点的日志数据进行采集和分析，通过将各个节点的日志聚合分析，进行统一的分析和
查看，从而实现日志采集、存储、解析、分析和告警的一站式运行，极大提高日志采集和分析的效率。
附图说明
[0040]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本申请实施例提供的日志分析方法的流程示意图；
[0042]图2是本申请实施例提供的日志分析装置的结构示意图；
[0043]图3是本申请实施例提供的计算机设备的结构示意框图。
[0044]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志分析方法，其特征在于，包括如下步骤：S10：获取目标信息集合，所述目标信息集合至少包括一个日志采集任务；S20：根据所述日志采集任务采集日志数据，并上传至消息队列；S30：根据所述日志采集任务对所述消息队列中的日志数据进行消费，生成日志元数据后发送至日志集合中；S40：根据所述日志元数据，生成日志分析结果。2.根据权利要求1所述的日志分析方法，其特征在于，所述S10步骤包括：接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息；根据更新后的日志采集任务信息生成日志采集任务；根据所述日志采集任务创建所述目标信息集合。3.根据权利要求2所述的日志分析方法，其特征在于，所述接收日志采集请求，更新所述日志采集请求对应的日志采集任务信息，包括：根据所述日志采集请求确定对应的日志采集节点实例；注册目标日志采集节点的名称，并根据所述日志采集请求生成日志采集任务信息；所述日志采集任务信息包括采集日志类型、日志名称、日志格式、目标日志采集节点的名称以及所述目标日志采集节点所发送至的日志集合。4.根据权利要求1所述的日志分析方法，其特征在于，所述S20步骤包括：提取所述日志采集任务中的配置信息，所述配置信息包括日志采集方式、目标日志采集节点、日志数据的类型及其对应的数据流管道配置；根据所述配置信息采集日志数据，并通过分布式键值数据库将所述日志数据上传至所述消息队列。5.根据权利要求1所述的日志分析方法，其特征在于，所述S30步骤包括：获取需要消费的消息队...

【专利技术属性】
技术研发人员：谢宇轩，
申请(专利权)人：爱集微咨询厦门有限公司，
类型：发明
国别省市：