System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 集群日志采集方法、装置、计算机设备及存储介质制造方法及图纸_技高网

集群日志采集方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:40085448 阅读:12 留言:0更新日期:2024-01-23 15:23
本发明专利技术涉及日志监控技术领域,公开了一种集群日志采集方法、装置、计算机设备及存储介质,其方法通过接收配置选项信息,根据配置选项信息生成日志采集规则;对日志采集规则进行解析,获得日志采集配置参数,日志采集配置参数包括区域参数、集群参数、容器参数和文件路径参数;根据区域参数、集群参数和容器参数确定目标容器节点,根据文件路径参数生成日志采集器配置文件;根据日志采集器配置文件在目标容器节点运行日志采集器,以通过日志采集器采集目标日志。本发明专利技术的集群日志采集方法使得日志采集器的配置省时省力,降低了管理集群日志的难度,提高了日志采集效率,提升了用户体验。

【技术实现步骤摘要】

本专利技术涉及日志监控,尤其涉及一种集群日志采集方法、装置、计算机设备及存储介质


技术介绍

1、kubernetes集群,简称k8s集群,是用于自动部署、扩展和管理容器化应用程序的开源系统。金融机构(例如银行)和金融服务公司可以利用kubernetes集群来管理金融微服务基础数据,快速部署和扩展服务。数字医疗平台公司可以利用kubernetes集群来部署数据处理应用程序,管理大规模的分析数据。日志服务是k8s集群工作中的主要环节,集群日志记录了详细的访问请求和错误信息,在业务分析、问题定位等方面具有重要作用。k8s集群作为一个分布式的集群系统,管理着大量的容器,日志采集是实现日志服务的第一步,日志采集涉及到集群中每个容器的容器日志。

2、现有的k8s集群系统会选择在节点上部署filebeat来采集集群中的容器日志。filebeat是一个轻量级的传送工具,将filebeat作为代理安装在服务器上,可以监视指定的日志文件或位置,收集日志事件,并转发日志数据。当使用filebeat采集日志时,由于filebeat无法获知容器日志文件和容器之间的关系,再加上日志数据分散、数据量大,需要业务人员编写复杂的参数配置文件来管理集群中各个容器的日志,导致日志采集的配置工作费时费力,进而影响了日志采集的准确性和采集效率。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种集群日志采集方法、装置、计算机设备及存储介质,以解决集群日志采集时的采集配置费时费力、采集准确性差和采集效率低的问题。

2、一种集群日志采集方法,包括:

3、接收配置选项信息,根据所述配置选项信息生成日志采集规则;

4、对所述日志采集规则进行解析,获得日志采集配置参数,所述日志采集配置参数包括区域参数、集群参数、容器参数和文件路径参数;

5、根据所述区域参数、集群参数和容器参数确定目标容器节点,根据所述文件路径参数生成日志采集器配置文件;

6、根据所述日志采集器配置文件在所述目标容器节点运行日志采集器,以通过所述日志采集器采集目标日志。

7、一种集群日志采集装置,包括:

8、采集规则生成模块,用于接收配置选项信息,根据所述配置选项信息生成日志采集规则;

9、采集配置参数获取模块,用于对所述日志采集规则进行解析,获得日志采集配置参数,所述日志采集配置参数包括区域参数、集群参数、容器参数和文件路径参数;

10、采集器配置文件生成模块,用于根据所述区域参数、集群参数和容器参数确定目标容器节点,根据所述文件路径参数生成日志采集器配置文件;

11、日志采集器运行模块,用于根据所述日志采集器配置文件在所述目标容器节点运行日志采集器,以通过所述日志采集器采集目标日志。

12、一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述集群日志采集方法。

13、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如上述集群日志采集方法。

14、上述集群日志采集方法、装置、计算机设备及存储介质中,其方法通过接收配置选项信息,根据配置选项信息生成日志采集规则;对日志采集规则进行解析,获得日志采集配置参数,日志采集配置参数包括区域参数、集群参数、容器参数和文件路径参数;根据区域参数、集群参数和容器参数确定目标容器节点,根据文件路径参数生成日志采集器配置文件;根据日志采集器配置文件在目标容器节点运行日志采集器,以通过日志采集器采集目标日志。本专利技术的集群日志采集方法基于可视化页面的选项实现对日志采集参数的配置,并形成日志采集规则,使得配置省时省力,降低了管理集群日志的难度。同时,基于日志采集规则可以更高效准确地运行日志采集器,提高了日志采集效率,提升了用户体验。

本文档来自技高网...

【技术保护点】

1.一种集群日志采集方法,其特征在于,包括:

2.如权利要求1所述的集群日志采集方法,其特征在于,所述接收配置选项信息,根据所述配置选项信息生成日志采集规则,包括:

3.如权利要求2所述的集群日志采集方法,其特征在于,所述采集规则配置页面包括区域集群配置页面、容器配置页面和文件路径配置页面;

4.如权利要求1所述的集群日志采集方法,其特征在于,所述根据所述区域参数、集群参数和容器参数确定目标容器节点,包括:

5.如权利要求1所述的集群日志采集方法,其特征在于,所述根据所述文件路径参数生成日志采集器配置文件,包括:

6.如权利要求1所述的集群日志采集方法,其特征在于,所述通过所述日志采集器采集目标日志,包括:

7.如权利要求6所述的集群日志采集方法,其特征在于,所述通过所述日志采集器获取所述目标路径文件中的目标日志之后,还包括:

8.一种集群日志采集装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述集群日志采集方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至7中任一项所述集群日志采集方法。

...

【技术特征摘要】

1.一种集群日志采集方法,其特征在于,包括:

2.如权利要求1所述的集群日志采集方法,其特征在于,所述接收配置选项信息,根据所述配置选项信息生成日志采集规则,包括:

3.如权利要求2所述的集群日志采集方法,其特征在于,所述采集规则配置页面包括区域集群配置页面、容器配置页面和文件路径配置页面;

4.如权利要求1所述的集群日志采集方法,其特征在于,所述根据所述区域参数、集群参数和容器参数确定目标容器节点,包括:

5.如权利要求1所述的集群日志采集方法,其特征在于,所述根据所述文件路径参数生成日志采集器配置文件,包括:

6.如权利要求1所述的集群日志采集方法,其特征在于,所述通过所述日志...

【专利技术属性】
技术研发人员:冯洋
申请(专利权)人:平安科技上海有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1