一种分布式日志采集处理方法、系统技术方案

本公开涉及网络日志处理技术领域，涉及一种分布式日志采集处理方法、系统。本公开实施例的系统包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点。主节点包括前端指令获取模块、指令编辑模块、主采集模块、主分析处理模块、日志打包模块。子节点包括子采集模块、子分析处理模块。主节点与子节点根据前端发送的分析任务指令进行日志文件、配置文件采集、分析处理，得到分析结果后由主节点反馈给前端。本公开实施例的方法基于上述系统实现。本公开实施例可根据前端需求进行日志采集、分析处理，且通过主节点完成分布式架构内多个节点的分析结果反馈，日志处理效率高。高。高。

【技术实现步骤摘要】
一种分布式日志采集处理方法、系统


[0001]本公开的实施例涉及网络日志处理
，尤其涉及一种分布式日志采集处理方法、系统。

技术介绍

[0002]HDFS（Hadoop Distributed File System）是一个分布式文件系统。对于HDFS上的日志采集、分析处理，无法直接利用业界常用的ansible分布式运维工具实现。ansible分布式运维工具虽然能实现批量系统配置、批量程序部署、批量运行命令等功能，但无法与前端直接交互。此外，其还存在其他问题：扩展功能需要修改源代码，可扩展性比较差；不能提供一键式的处理功能；不能提供问题定位的能力。
[0003]CNP(cloud network platform)控制器项目服务大多是分布式部署，虽然可访问任意分布式文件系统，但是，当需要查看不同主机上的日志文件、配置文件时，需要查看所有相关主机，无法一次性获得所有主机上的日志文件、配置文件；而在开发定位问题时，需要频繁的跳转到不同的主机上进行日志查看、配置文件查看、分析问题等，比较消耗时间，日志采集、分析处理的效率不高。
[0004]为此，如何在与前端交互下，基于CNP控制器实现日志高效处理（包括查看、扩展功能、定位等）是本公开实施例亟待解决的问题。

技术实现思路

[0005]本公开的实施例提供了一种分布式日志采集处理方法、系统，旨在解决上述问题以及其他潜在的问题中的一个或多个。
[0006]为实现上述目的，提供以下技术方案：根据本公开的第一方面，提供了一种分布式日志采集处理系统，包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点；所述主节点包括：前端指令获取模块，用于接收前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入指令编辑模块；指令编辑模块，用于存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；HDFS主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；本地主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；主分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果；日志打包模块，用于将主节点和/或子节点的分析结果打包，以反馈给前端；
所述子节点包括：HDFS子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；本地子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；子分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果。
[0007]本公开实施例的系统利用若干CNP控制器构建分布式系统进行日志采集、分析处理。通过将一CNP控制器设定为主节点与前端进行交互，通过主节点获取前端的分析任务指令，继而将基于分析任务指令获得的采集信息、分析信息发送给相关子节点，以实现分布式系统下各节点对日志文件和配置文件采集、分析，最终主节点的分析结果和其他节点的分析结果可通过主节点反馈给前端。这样利用主节点实现了分布式系统与前端的一次性信息反馈，并且根据前端需求，能完成HDFS和本地日志文件和配置文件采集，日志采集处理效率高。
[0008]在一些实施例中，所述指令编辑模块为XML编辑模块。
[0009]在一些实施例中，当指令编辑模块将采集信息发送给HDFS子采集模块时，所述采集信息包括HDFS的接口信息；当指令编辑模块将采集信息发送给HDFS主采集模块时，所述HDFS主采集模块能直接调用HDFS接口。
[0010]在一些实施例中，所述本地主采集模块和所述本地子采集模块通过shell脚本实现日志文件、配置文件的采集。
[0011]在一些实施例中，所述主节点还包括问题定位模块，用于通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端。
[0012]在一些实施例中，所述关键字包括ERROR、WARN、NULL指针。
[0013]在一些实施例中，所述前端指令获取模块包括：接收单元，用于接收前端发送的分析任务指令；校验单元，用于对接收到的分析任务指令进行校验，当校验通过时，触发解析单元工作；解析单元，用于将所述分析任务指令解析为日志文件、配置文件的采集信息和分析信息，并写入指令编辑模块。
[0014]在一些实施例中，所述系统与前端之间架设B/S模式。
[0015]根据本公开的第二方面，提供了一种分布式日志采集处理方法，基于上述分布式日志采集处理系统实现，方法包括：主节点的前端指令获取模块获取前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入主节点的指令编辑模块；主节点的指令编辑模块存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；收到采集信息的主节点、子节点，通过其采集模块采集日志文件、配置文件；收到分析信息的主节点、子节点，通过其分析处理模块对采集的日志文件、配置文件进行分析处理并得到分析结果；
子节点将得到的分析结果发送给主节点；主节点的日志打包模块将在主节点得到的分析结果和/或从子节点得到分析结果打包，以反馈给前端。
[0016]在一些实施例中，所述主节点还包括问题定位模块，通过识别主节点和/或子节点的分析结果内的关键字或异常函数，获得异常结果，并将异常结果反馈给前端；方法还包括：主节点的前端指令获取模块获取前端发送的问题定位指令，根据问题定位指令触发所述问题定位模块工作；所述问题定位模块在获得异常结果后将异常结果反馈给前端。
附图说明
[0017]通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出本公开的若干实施例。
[0018]图1示出了本公开实施例的一种分布式日志采集处理系统的框架示意图；图2示出了本公开实施例的一种分布式日志采集处理系统实现的实例图。
具体实施方式
[0019]下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0020]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式日志采集处理系统，包括若干CNP控制器，将一个CNP控制器设为主节点，将剩余CNP控制器设为子节点；其特征在于，所述主节点包括：前端指令获取模块，用于接收前端发送的分析任务指令，并根据所述分析任务指令将日志文件、配置文件的采集信息和分析信息分别写入指令编辑模块；指令编辑模块，用于存储日志文件、配置文件的采集信息和分析信息，并将采集信息发送给相关节点的采集模块，将分析信息发送给相关节点的分析处理模块；HDFS主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；本地主采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；主分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果；日志打包模块，用于将主节点和/或子节点的分析结果打包，以反馈给前端；所述子节点包括：HDFS子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于HDFS上的日志文件、配置文件；本地子采集模块，用于根据接收到的日志文件、配置文件的采集信息，采集存储于本地上的日志文件、配置文件；子分析处理模块，用于根据写入的日志文件、配置文件的分析信息，基于采集的日志文件、配置文件进行分析处理并得到分析结果。2.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述指令编辑模块为XML编辑模块。3.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，当指令编辑模块将采集信息发送给HDFS子采集模块时，所述采集信息包括HDFS的接口信息；当指令编辑模块将采集信息发送给HDFS主采集模块时，所述HDFS主采集模块能直接调用HDFS接口。4.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述本地主采集模块和所述本地子采集模块通过shell脚本实现日志文件、配置文件的采集。5.根据权利要求1所述的一种分布式日志采集处理系统，其特征在于，所述...

【专利技术属性】
技术研发人员：韩亚彪，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：