日志采集工具的更新方法、日志采集系统、电子设备技术方案

技术编号:38666015 阅读:21 留言:0更新日期:2023-09-02 22:46
本发明专利技术公开了一种日志采集工具的更新方法、日志采集系统、电子设备,涉及大数据技术领域或其他相关领域,其中,该更新方法包括:接收目标日志采集工具的版本更新信息;查询标签器,获取与服务器筛选标签集合对应的服务器清单;基于版本更新信息和服务器清单生成更新指令;将更新指令发送至调度器,由调度器根据更新指令将最新版本的目标日志采集工具下发到服务器清单中的各目标服务器中。本发明专利技术解决了相关技术中在服务器上进行日志数据采集时,通过人工部署和更新日志采集工具的操作效率较低的技术问题。低的技术问题。低的技术问题。

【技术实现步骤摘要】
日志采集工具的更新方法、日志采集系统、电子设备


[0001]本专利技术涉及大数据领域及其他相关
,具体而言,涉及一种日志采集工具的更新方法、日志采集系统、电子设备。

技术介绍

[0002]在监控运维领域,需要实时关注服务器等对象上所运行的重要进程或服务,获取该进程或服务的运行日志是感知其运行状态的重要监控方式之一。
[0003]相关技术中,在进行日志信息采集时,通过人工检测需要监控的对象并手动在服务器等监控对象上部署对应进程或服务的日志采集工具,通过日志采集工具采集指定的日志对象。该数据采集方式存在以下弊端:第一,通过人工在服务器上部署日志采集工具时,操作效率较低,且对于需要更新的日志采集工具无法在服务器上及时更新;第二,当服务器上运行的多项程序都需要监控时,需要部署不同的日志采集工具采集不同的数据;第三,服务器的作用功能不同,且如果其上运行的进程或者服务发生改变,则需要停止原有的、部署新对应的采集工具,当服务器规模较大、数量较多、更新较频繁时,该采集方式的运行维护成本较高。
[0004]针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种日志采集工具的更新方法、日志采集系统、电子设备,以至少解决相关技术中在服务器上进行日志数据采集时,通过人工部署和更新日志采集工具的操作效率较低的技术问题。
[0006]根据本专利技术实施例的一个方面,提供了一种日志采集工具的更新方法,所述日志采集工具部署于服务器上,用于采集所述服务器上部署的服务或进程的运行日志,更新方法包括:接收目标日志采集工具的版本更新信息,其中,所述版本更新信息至少包括:工具标识、最新版本标识、服务器筛选标签集合,所述最新版本标识用于查询所述目标日志采集工具的最新版本;查询标签器,获取与所述服务器筛选标签集合对应的服务器清单,其中,所述标签器中预先存储有每个服务器对应的筛选标签,所述服务器清单中包含N个已部署所述目标日志采集工具的目标服务器,N为大于等于1的整数;基于所述版本更新信息和所述服务器清单生成更新指令;将所述更新指令发送至调度器,由所述调度器根据所述更新指令将最新版本的所述目标日志采集工具下发到所述服务器清单中的各目标服务器中。
[0007]可选地,在接收目标日志采集工具的版本更新信息之前,还包括:获取待监控的服务器集合,并在所述标签器中注册所述服务器集合中每个服务器,得到每个所述服务器对应的服务器特征和所述服务器特征对应的特征值;为每个所述服务器配置筛选标签集合,其中,所述筛选标签集合以键值对的形式存储在所述标签器中,所述键值对的主键为所述服务器特征,所述键值对的键值为所述特征值。
[0008]可选地,在为每个所述服务器配置筛选标签集合之后,还包括:定义所述筛选标签
的查询策略,其中,所述查询策略包括下述至少之一:通过所述键值对的主键查询、通过所述键值对的主键和所述键值对的键值预设值查询、通过所述键值对的主键和所述键值对的键值预设范围查询。
[0009]可选地,查询标签器,获取与所述服务器筛选标签集合对应的服务器清单的步骤,包括:将所述所述服务器筛选标签集合中每个筛选标签和查询策略输入到所述标签器的筛选区域;接收所述标签器输出的所有所述目标服务器,生成所述服务器清单。
[0010]可选地,在由所述调度器根据所述更新指令将最新版本的所述目标日志采集工具下发到所述服务器清单中的各目标服务器中之后,还包括:向所述服务器清单中的各目标服务器下发旧版本停止使用指令;向所述服务器清单中的各目标服务器下发最新版本开始使用指令。
[0011]可选地,在服务器上部署所述日志采集工具之后,还包括:为所述服务器配置守护进程,其中,所述守护进程用于监测在所述服务器上部署的各个所述日志采集工具的运行状态和所述服务器的运行状态,所述日志采集工具的运行状态包括:工具启动运行、工具正在运行、工具停止运行。
[0012]可选地,在为所述服务器配置守护进程之后,还包括:由所述守护进程收集每个所述日志采集工具采集到的运行日志;或者,在所述日志采集工具的运行状态为工具停止运行的情况下,基于预设清理策略回收所述运行日志。
[0013]可选地,在为所述服务器配置守护进程之后,还包括:由所述守护进程监测所述服务器的运行状态时,收集所述服务器的更新信息,并将所述更新信息同步到标签器,其中,所述更新信息包括下述至少之一:服务器新增服务信息、服务器下线服务信息、服务器新增进程信息、服务器下线进程信息。
[0014]根据本专利技术实施例的另一方面,还提供了一种日志采集系统,包括:管理中心,用于获取目标日志采集工具的版本更新信息并根据所述版本更新信息查询标签器确定服务器清单,基于所述版本更新信息和所述服务器清单生成更新指令,并向调度器下发所述更新指令,其中,各日志采集工具部署于服务器上,用于采集所述服务器上部署的服务或进程的运行日志;所述调度器,用于接收所述更新指令,并根据所述更新指令将最新版本的所述目标日志采集工具下发到服务器清单中的各目标服务器中。
[0015]可选地,所述日志采集系统还包括:标签器,用于对每个所述服务器进行注册并为每个所述服务器配置筛选标签集合;工具库,用于管理所有所述日志采集工具;守护进程,部署于各服务器上,用于监测在所述服务器上部署的各个所述日志采集工具的运行状态和所述服务器的运行状态。
[0016]可选地,所述日志采集系统还包括:所述管理中心,还用于接收各服务器上的所述守护进程发送的心跳包,并解析所述心跳包,得到所述日志采集工具的运行信息,其中,所述运行信息至少包括:版本信息、运行状态信息。
[0017]根据本专利技术实施例的另一方面,还提供了一种日志采集工具的更新装置,所述日志采集工具部署于服务器上,用于采集所述服务器上部署的服务或进程的运行日志,更新装置包括:接收单元,用于接收目标日志采集工具的版本更新信息,其中,所述版本更新信息至少包括:工具标识、最新版本标识、服务器筛选标签集合,所述最新版本标识用于查询所述目标日志采集工具的最新版本;查询单元,用于查询标签器,获取与所述服务器筛选标
签集合对应的服务器清单,其中,所述标签器中预先存储有每个服务器对应的筛选标签,所述服务器清单中包含N个已部署所述目标日志采集工具的目标服务器,N为大于等于1的整数;生成单元,用于基于所述版本更新信息和所述服务器清单生成更新指令;发送单元,用于将所述更新指令发送至调度器,由所述调度器根据所述更新指令将最新版本的所述目标日志采集工具下发到所述服务器清单中的各目标服务器中。
[0018]可选地,所述日志采集工具的更新装置还包括:第一获取模块,用于获取待监控的服务器集合,并在所述标签器中注册所述服务器集合中每个服务器,得到每个所述服务器对应的服务器特征和所述服务器特征对应的特征值;第一配置模块,用于为每个所述服务器配置筛选标签集合,其中,所述筛选标签集合以键值对的形式存储在所述标签器中,所述键值对的主键为所述服务器特征,所述键值对的键值为所述特征值本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种日志采集工具的更新方法,其特征在于,所述日志采集工具部署于服务器上,用于采集所述服务器上部署的服务或进程的运行日志,更新方法包括:接收目标日志采集工具的版本更新信息,其中,所述版本更新信息至少包括:工具标识、最新版本标识、服务器筛选标签集合,所述最新版本标识用于查询所述目标日志采集工具的最新版本;查询标签器,获取与所述服务器筛选标签集合对应的服务器清单,其中,所述标签器中预先存储有每个所述服务器对应的筛选标签,所述服务器清单中包含N个已部署所述目标日志采集工具的目标服务器,N为大于等于1的整数;基于所述版本更新信息和所述服务器清单生成更新指令;将所述更新指令发送至调度器,由所述调度器根据所述更新指令将最新版本的所述目标日志采集工具下发到所述服务器清单中的各目标服务器中。2.根据权利要求1所述的更新方法,其特征在于,在接收目标日志采集工具的版本更新信息之前,还包括:获取待监控的服务器集合,并在所述标签器中注册所述服务器集合中的每个服务器,得到每个所述服务器对应的服务器特征和所述服务器特征对应的特征值;为每个所述服务器配置筛选标签集合,其中,所述筛选标签集合以键值对的形式存储在所述标签器中,所述键值对的主键为所述服务器特征,所述键值对的键值为所述特征值。3.根据权利要求2所述的更新方法,其特征在于,在为每个所述服务器配置筛选标签集合之后,还包括:定义所述筛选标签的查询策略,其中,所述查询策略包括下述至少之一:通过所述键值对的主键查询、通过所述键值对的主键和所述键值对的键值预设值查询、通过所述键值对的主键和所述键值对的键值预设范围查询。4.根据权利要求1所述的更新方法,其特征在于,查询标签器,获取与所述服务器筛选标签集合对应的服务器清单的步骤,包括:将所述所述服务器筛选标签集合中每个筛选标签和查询策略输入到所述标签器的筛选区域;接收所述标签器输出的所有所述目标服务器,生成所述服务器清单。5.根据权利要求1所述的更新方法,其特征在于,在由所述调度器根据所述更新指令将最新版本的所述目标日志采集工具下发到所述服务器清单中的各目标服务器中之后,还包括:向所述服务器清单中的各目标服务器下发旧版本停止使用指令;向所述服务器清单中的各目标服务器下发最新版本开始使用指令。6.根据权利要求1所述的更新方法,其特征在于,在服务器上部署所述日志采集工具之后,还包括:为所述服务器配置守护进程,其中,所述守护进程用于监测在所述服务器上部署的各个所述日志采集工具的运行状态和所述服务器的运行状态,所述日志采集工具的运行状态包括:工具启动运行、工具正在运行、工具停止运行。7.根据权利要求6所述的更新方法,其特征在于,在为所述服务器配置守护进程之后,还包括:
由所述守护进程收集每个所述日志采集工具采集到的运行日志;或者,在所述日志采集工具的运行状态为工具停止运行的情况下,基于预设清理策略回收所述运行日志。8....

【专利技术属性】
技术研发人员:茅逸斐熊慧君徐修颖国欣宇
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1