一种基于容器云系统的日志处理方法、装置及其系统制造方法及图纸

本发明专利技术公开了一种基于容器云系统的日志处理方法，用于容器云系统的主节点，包括发送收集请求至相应的子节点，供接收到收集请求的子节点收集自身包含的各个容器的日志并发送至主节点；对接收到的日志进行数据过滤处理；对过滤后的日志进行存储并发送至显示界面进行显示。本发明专利技术不需要在各个子节点内进行日志过滤等操作，对各个子节点的资源占用率低。本发明专利技术还公开了一种采用上述方法的基于容器云系统的日志处理的装置及系统，在此不再赘述。

Log processing method, device and system based on container cloud system

The invention discloses a log processing method for container cloud system based on master node for container cloud system, including sending request to collect the corresponding sub node for the received node collection request collection of each container contains the log and sent to the master node; data filtering on the received log for storage; and sent to the display interface to display the filtered log. The invention does not need to perform the log filtering operation in each sub node, and the resource occupation rate of each sub node is low. The invention also discloses a device and a system for logging processing based on the container cloud system adopting the above method, which is not repeated here.

【技术实现步骤摘要】
一种基于容器云系统的日志处理方法、装置及其系统
本专利技术涉及容器日志
，特别是涉及一种基于容器云系统的日志处理方法、装置及其系统。
技术介绍
近年来，随着互联网的快速发展，以docker(一个开源的应用容器引擎)为主的容器技术受到了越来越多大型公司的使用，容器内封装有相应的业务及应用，不同容器之间相互独立。目前，Docker容器技术的日志处理机制多采用ELK(elasticsearch、logstash、kibana)来对容器云系统(即面向容器的云操作系统，这里简称容器云系统)中的容器的日志进行收集、搜索及展示。其中，容器云系统包括主节点以及多个子节点，每个子节点内包括若干个容器；Elasticsearch是一个基于Lucene的搜索服务器，Logstash是一款轻量级的日志搜索处理框架，Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。但是，采用ELK技术对容器云系统进行日志处理时，在采集每个子节点内的容器日志的过程中，会将采集到的日志先进行过滤处理，之后才会发送至主节点，即需要在每个子节点均进行采集和过滤等处理，运行占用子节点的CPU和内存高，消耗子节点的资源较大。因此，如何提供一种能够减少对子节点的资源占用率的基于容器云系统的日志处理方法、装置及其系统是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术的目的是提供一种基于容器云系统的日志处理方法、装置及其系统，不需要在各个子节点内进行日志过滤等操作，对各个子节点的资源占用率低。为解决上述技术问题，本专利技术提供了一种基于容器云系统的日志处理方法，用于容器云系统的主节点，包括：发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；对接收到的日志进行数据过滤处理；对过滤后的日志进行存储并发送至显示界面进行显示。优选地，将所述过滤后的日志发送至显示界面进行显示的过程具体为：对所述过滤后的日志进行日志挖掘操作，得到挖掘结果；将所述挖掘结果发送至所述显示界面进行显示。优选地，所述对所述过滤后的日志进行日志挖掘操作，得到挖掘结果的过程具体包括：按照预设的挖掘标准对所述过滤后的日志进行数据预处理，得到结构化日志数据；对所述结构化日志数据按照预设算法进行分析处理，得到所述挖掘结果。为解决上述技术问题，本专利技术还提供了一种基于容器云系统的日志处理装置，用于容器云系统的主节点，包括：收集层，用于发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；过滤层，用于对接收到的日志进行数据过滤处理；存储层，用于对过滤后的日志进行存储；显示层，用于将所述过滤后的日志发送至显示界面进行显示。优选地，所述显示层具体包括：数据挖掘单元，用于对所述过滤后的日志进行日志挖掘操作，得到挖掘结果；数据显示单元，用于将所述挖掘结果发送至所述显示界面进行显示。优选地，所述数据挖掘单元具体用于：按照预设的挖掘标准对所述过滤后的日志进行数据预处理，得到结构化日志数据；对所述结构化日志数据按照预设算法进行分析处理，得到所述挖掘结果。为解决上述技术问题，本专利技术还提供了一种基于容器云系统的日志处理系统，包括如以上任一项所述的日志处理装置，以及分别位于所述容器云系统的各个子节点内的若干个前置采集层；所述前置采集层，用于接收到主节点发送的收集请求后，收集自身所在的子节点包含的各个容器的日志并发送至所述主节点。优选地，所述前置采集层还包括：缓存单元，用于缓存自身所在的子节点内的前置采集层收集的日志。本专利技术提供了一种基于容器云系统的日志处理方法、装置及其系统，采集各个子节点的容器的日志后，先将这些日志发送至主节点，然后再在主节点内对这些日志进行后续的过滤处理。即本专利技术不需要在各个子节点内进行日志过滤等操作，减少了对各个子节点的CPU和内存等资源的占用，降低了对各个子节点的资源占用率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的一种基于容器云系统的日志处理方法的过程的流程图；图2为本专利技术提供的另一种基于容器云系统的日志处理方法的过程的流程图；图3为本专利技术提供的一种基于容器云系统的日志处理系统的结构示意图。具体实施方式本专利技术的核心是提供一种基于容器云系统的日志处理方法、装置及其系统，不需要在各个子节点内进行日志过滤等操作，对各个子节点的资源占用率低。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一本专利技术提供了一种基于容器云系统的日志处理方法，用于容器云系统的主节点，参见图1所示，图1为本专利技术提供的一种基于容器云系统的日志处理方法的过程的流程图；该方法包括：步骤s101：发送收集请求至相应的子节点，供接收到收集请求的子节点收集自身包含的各个容器的日志并发送至主节点；步骤s102：对接收到的日志进行数据过滤处理；其中，这里的过滤处理是为了滤除一些无用的日志数据，使得数据更有价值。步骤s103：对过滤后的日志进行存储并发送至显示界面进行显示。可以理解的是，过滤操作仅运行在主节点，能够降低子节点的运行负载，降低子节点因负载过高而出现运行故障的风险。本专利技术提供了一种基于容器云系统的日志处理方法，采集各个子节点的容器的日志后，先将这些日志发送至主节点，然后再在主节点内对这些日志进行后续的过滤处理。即本专利技术不需要在各个子节点内进行日志过滤等操作，减少了对各个子节点的CPU和内存等资源的占用，降低了对各个子节点的资源占用率。实施例二基于实施例一的基础上，本专利技术还提供了另一种基于容器云系统的日志处理方法。其中，步骤s103的过程具体为：对过滤后的日志进行日志挖掘操作，得到挖掘结果；将挖掘结果发送至显示界面进行显示。可以理解的是，目前的ELK方法没有对日志进行深层挖掘，用户想要得到的一些信息不能够直接得到，用户体验较差；而通过上述日志挖掘操作，能够将用户想要看到的一些处理结果展示出来，提高了用户体验。具体的，对过滤后的日志进行日志挖掘操作，得到挖掘结果的过程具体包括：按照预设的挖掘标准对过滤后的日志进行数据预处理，得到结构化日志数据；对结构化日志数据按照预设算法进行分析处理，得到挖掘结果。其中，这里的挖掘标准可由用户进行自定义设置。这里的预设算法包括聚类算法、分类算法、关联分析算法中的一种或多种，当然，预设算法也可以为其他算法，本专利技术对此不作特别限定。参见图2所示，图2为本专利技术提供的另一种基于容器云系统的日志处理方法的过程的流程图。与实施例一相比，本实施例增加了数据挖掘的操作，能够根据用户需要进行不同类型的数据挖掘，并将挖掘结果进行展示，尽可能满足了用户需求，提高了用户体验。本专利技术还提供了一种基于容器云系统的日志处理装本文档来自技高网...

【技术保护点】
一种基于容器云系统的日志处理方法，用于容器云系统的主节点，其特征在于，包括：发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；对接收到的日志进行数据过滤处理；对过滤后的日志进行存储并发送至显示界面进行显示。

【技术特征摘要】
1.一种基于容器云系统的日志处理方法，用于容器云系统的主节点，其特征在于，包括：发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；对接收到的日志进行数据过滤处理；对过滤后的日志进行存储并发送至显示界面进行显示。2.根据权利要求1所述的方法，其特征在于，将所述过滤后的日志发送至显示界面进行显示的过程具体为：对所述过滤后的日志进行日志挖掘操作，得到挖掘结果；将所述挖掘结果发送至所述显示界面进行显示。3.根据权利要求2所述的方法，其特征在于，所述对所述过滤后的日志进行日志挖掘操作，得到挖掘结果的过程具体包括：按照预设的挖掘标准对所述过滤后的日志进行数据预处理，得到结构化日志数据；对所述结构化日志数据按照预设算法进行分析处理，得到所述挖掘结果。4.一种基于容器云系统的日志处理装置，用于容器云系统的主节点，其特征在于，包括：收集层，用于发送收集请求至相应的子节点，供接收到所述收集请求的子节点收集自身包含的各个容器的日志并发送至所述主节点；过滤层，用于...

【专利技术属性】
技术研发人员：钟德财，
申请(专利权)人：深圳市深信服电子科技有限公司，
类型：发明
国别省市：广东,44