一种日志采集方法及装置制造方法及图纸

一种日志采集方法及装置，用于在进行容器集管理与服务平台项目建设的过程中，针对K8S环境下，更有效灵活的采集容器集中的日志。在本申请中，方法包括：根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径，采集路径中包括目标容器集中待采集文件日志在宿主机中的存储路径；根据目标容器集的采集路径，采集目标容器集中的日志。采集目标容器集中的日志。采集目标容器集中的日志。

【技术实现步骤摘要】
一种日志采集方法及装置


[0001]本申请涉及计算机
，尤其涉及一种日志采集方法及装置。

技术介绍

[0002]Kubernetes(可简称K8S)，是一个开源的用于管理云平台中多个主机上的容器集(pod)的应用。K8S可用于快速有效地响应用户需求，部署以及扩展用户应用。
[0003]在K8S环境下，容器集是可以动态增减的。比如在应用更新版本后，或宿主机故障导致容器集发生迁移后，容器集名称会改变，旧的容器集会销毁，新的容器集会创建；再比如，容器集具有弹性伸缩的特性，容器集的数量也可以相应的增多或减少。
[0004]如此，在进行容器集管理与服务平台项目建设的过程中，针对K8S环境下，如何采集容器集中的应用日志，是目前亟需解决的问题。

技术实现思路

[0005]本申请提供一种日志采集方法及装置，用于在进行容器集管理与服务平台项目建设的过程中，针对K8S环境下，更有效灵活的采集容器集中的应用日志。
[0006]第一方面，本申请提供一种日志采集方法，包括：
[0007]根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径，采集路径中包括目标容器集中待采集文件日志在宿主机中的存储路径；根据目标容器集的采集路径，采集目标容器集中的日志。
[0008]上述技术方案中，根据目标容器集的资源文件，从容器运行时中获取目标容器集的采集路径，该采集路径是针对于一个目标容器集的，且该采集路径中包括有待采集文件日志在宿主机中的存储路径，如此，可基于该采集路径准确且高效地从宿主机的存储路径中获取到目标容器集中的日志。
[0009]在一种可能的实现方式中，根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径，包括：从目标容器集的资源文件中获取目标容器集对应的目标容器集标识，以及待采集文件日志对应的目标volume(数据卷)标识；根据目标容器集标识，从容器运行时中获取目标容器集的多个对应关系，对应关系中包括volume标识和volume标识对应宿主机路径；根据目标volume标识和多个对应关系，确定目标volume标识对应目标宿主机路径，以作为待采集文件日志在宿主机中的存储路径。
[0010]上述技术方案中，可从目标容器集的资源文件中获取目标容器集标识、目标volume标识，随后基于该目标容器集标识、目标volume标识，从容器运行时中获取到目标宿主机路径，该目标宿主机路径具体是待采集文件日志的目标容器集路径映射至宿主机中的路径，如此，可根据目标宿主机路径从宿主机中获取到待采集文件日志。
[0011]在一种可能的实现方式中，资源文件中包括待采集文件日志在目标容器集中的目标容器集路径，以及目标volume标识的对应关系；根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径之前，还包括：根据目标容器集的资源文件，在宿
主机中创建目标容器集，其中目标volume标识对应的目标volume用于将目标容器集路径映射至目标宿主机路径；将目标宿主机路径和目标volume标识对应存储于容器运行时。
[0012]上述技术方案中，容器运行时在创建目标容器集时，可以根据资源文件中目标容器集路径与目标volume标识之间的对应关系，将目标容器集路径映射到宿主机中的目标宿主机路径，且将目标volume标识与目标宿主机路径的对应关系记载于容器运行时中。如此，可以根据目标volume标识从容器运行时中获取到目标宿主机路径，进而根据目标宿主机路径从宿主机中获取到待采集文件日志。
[0013]在一种可能的实现方式中，根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径之前，还包括：获取用户下发的资源文件，资源文件中包括用户定义的、待采集文件日志在目标容器集中的目标容器集路径；生成与目标容器集路径相对应的目标volume；将目标volume标识写入至资源文件中。
[0014]上述技术方案中，在获取到用户下发的资源文件之后，可以根据资源文件中用户定义的、待采集文件日志的目标容器集路径生成对应的目标volume，随后将目标volume标识写入至资源文件中，该目标volume与目标容器集路径对应。如此，在容器运行时创建容器集时，可基于目标volume将目标容器集路径映射至目标宿主机路径。
[0015]在一种可能的实现方式中，根据目标容器集的采集路径，采集目标容器集中的日志，包括：根据目标容器集的采集路径，生成针对于目标容器集的配置文件；根据配置文件，通过热更新方式对已有的配置文件进行更新；并通过更新之后的配置文件，采集目标容器集中的日志。
[0016]上述技术方案中，可根据目标容器集的采集路径，生成针对于目标容器集的配置文件，该配置文件可以是通过热更新的方式对已有的配置文件进行更新，而无需中断当前的采集任务，有助于提高日志的采集效率。
[0017]在一种可能的实现方式中，采集路径中还包括目标容器集中标准输出日志在宿主机中的存储路径；根据目标容器集的采集路径，采集目标容器集中的日志，包括：根据待采集文件日志在宿主机中的存储路径，获取文件日志；根据标准输出日志在宿主机中的存储路径，获取标准输出日志；根据文件日志和标准输出日志，获取采集结果。
[0018]上述技术方案中，可以获取待采集文件日志在宿主机中的存储路径，从基于该存储路径采集目标容器集的文件日志；当然还可以获取标准输出日志在宿主机中的存储路径，从基于该存储路径采集目标容器集的标准输出日志，从而可以较为全面的获取到目标容器集中应用运行的日志。
[0019]在一种可能的实现方式中，根据文件日志和标准输出日志，获取采集结果，包括：获取待存储日志的日志标识；根据待存储日志的日志标识，从文件日志和标准输出日志中选择出待存储日志，将待存储日志作为采集结果。
[0020]上述技术方案中，还可以基于用户需求，从文件日志和标准输出日志中获取到待存储日志，然后将待存储日志进行持久化存储。
[0021]在一种可能的实现方式中，还包括：基于目标容器集的元数据信息中字段，生成采集结果的索引信息。上述技术方案中，还可以生成采集结果的索引信息，从而有助于用户更为方便的查找目标容器集的日志。
[0022]第二方面，本申请提供一种日志采集装置，包括：
[0023]处理模块，用于根据目标容器集的资源文件，从宿主机的容器运行时中获取目标容器集的采集路径，采集路径中包括目标容器集中待采集文件日志在宿主机中的存储路径；采集模块，用于根据目标容器集的采集路径，采集目标容器集中的日志。
[0024]在一种可能的实现方式中，处理模块具体用于：从目标容器集的资源文件中获取目标容器集对应的目标容器集标识，以及待采集文件日志对应的目标volume标识；根据目标容器集标识，从容器运行时中获取目标容器集的多个对应关系，对应关系中包括volume标识和volume标识对应宿主机路径；根据目标volume标识和多个对应关系，确定目标volume标识对应目标宿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志采集方法，其特征在于，包括：根据目标容器集的资源文件，从宿主机的容器运行时中获取所述目标容器集的采集路径，所述采集路径中包括所述目标容器集中待采集文件日志在所述宿主机中的存储路径；根据所述目标容器集的采集路径，采集所述目标容器集中的日志。2.如权利要求1所述的方法，其特征在于，所述根据目标容器集的资源文件，从宿主机的容器运行时中获取所述目标容器集的采集路径，包括：从所述目标容器集的资源文件中获取所述目标容器集对应的目标容器集标识，以及所述待采集文件日志对应的目标数据卷volume标识；根据所述目标容器集标识，从所述容器运行时中获取所述目标容器集的多个对应关系，所述对应关系中包括volume标识和所述volume标识对应宿主机路径；根据所述目标volume标识和所述多个对应关系，确定所述目标volume标识对应目标宿主机路径，以作为所述待采集文件日志在所述宿主机中的存储路径。3.如权利要求2所述的方法，其特征在于，所述资源文件中包括所述待采集文件日志在所述目标容器集中的目标容器集路径，以及所述目标volume标识的对应关系；所述根据目标容器集的资源文件，从宿主机的容器运行时中获取所述目标容器集的采集路径之前，还包括：根据所述目标容器集的资源文件，在所述宿主机中创建所述目标容器集，其中所述目标volume标识对应的目标volume用于将所述目标容器集路径映射至所述目标宿主机路径；将所述目标宿主机路径和所述目标volume标识对应存储于所述容器运行时中。4.如权利要求3所述的方法，其特征在于，所述根据目标容器集的资源文件，从宿主机的容器运行时中获取所述目标容器集的采集路径之前，还包括：获取用户下发的资源文件，所述资源文件中包括所述用户定义的、所述待采集文件日志在所述目标容器集中的目标容器集路径；生成与所述目标容器集路径相对应的所述目标volume；将所述目标volume标识写入至所述资源文件中。5.如权利要求1所述的...

【专利技术属性】
技术研发人员：周飒，肖斌，万杰，尹晓剑，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：