【技术实现步骤摘要】
本专利技术属于流量控制，尤其涉及一种边缘云系统日志限速搜集方法。
技术介绍
1、随着边缘云技术的发展，云技术在民用领域已经越来越成熟；容器化的可观测平台中，容器日志集成系统已经在绝大多数云边系统项目上得到了验证和肯定。然而，由于场景以及业务逻辑的变化，导致日志集成系统存在一些缺陷；例如，边缘云设备的日志在搜集过程，随着日志量的增加，导致特殊网络环境下流量被日志集成系统占用，而其他的核心服务可用带宽流量减少，从而影响边缘云的稳定性。在现有技术中，业界的efk/elk是实时/准实时日志集成方案，容器中服务日志生产太频繁时，边缘设备的带宽被大量挤占；这种情况下，就需要设计不抢占流量的日志集成方式，实现日志集成系统。
技术实现思路
1、针对上述技术问题；本专利技术提出一种边缘云系统日志限速搜集方案。
2、本专利技术第一方面提出一种边缘云系统日志限速搜集方法。
3、所述方法利用日志集成系统efk实现边缘云系统的日志限速搜集，所述日志集成系统efk包括存储系统es、日志搜集模块fluentd、可视化平台kibana。
4、日志搜集模块fluentd被部署在边缘云节点上，每个边缘云节点均部署一个日志搜集模块fluentd，且每个日志搜集模块fluentd中均包含一个控制搜集速度插件，各个日志搜集模块fluentd搜集的日志数据被集成汇总到存储系统es，由可视化平台kibana实现可视化。
5、所述方法具体包括：步骤s1、在每个边缘云节点上均部署一个
6、根据本专利技术第一方面的方法，在步骤s1中，利用流量采集计算模块确定边缘云节点的总的网络流量以及边缘云节点上的容器pod的网络流量；具体包括：采用周期采集的方式，通过系统文件/prpc/net、系统命令ifstat获取系统网卡流量，包括输入流量和输出流量，以计算边缘云节点的总的网络流量；采用周期采集的方式，通过指令iftop、指令iptraf获取与边缘云节点上的容器pod关联的网络流量。
7、根据本专利技术第一方面的方法，流量采集计算模块为daemonset控制器。
8、根据本专利技术第一方面的方法，在步骤s2中：请求节点流量采集服务获取当前边缘云节点的流量情况，并接收来自流量采集计算模块的当前边缘云节点的总的网络流量、容器pod关联的网络流量；获取日志搜集模块fluentd中用于搜集日志的日志搜集插件的配置信息，所述配置信息包括日志搜集过程中占用的流量上限、流量下限、日志搜集的间隔时间；基于当前边缘云节点的总的网络流量、容器pod关联的网络流量，结合所述配置信息，利用网络流量控制算法，控制日志搜集模块fluentd搜集日志的速度。
9、根据本专利技术第一方面的方法，在步骤s2中，控制日志搜集模块fluentd搜集日志的速度；具体包括：当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第一目标范围时，以日志搜集过程中占用的流量上限进行日志搜集，并适应性调整日志搜集的间隔时间；当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第二目标范围时，以日志搜集过程中占用的流量下限进行日志搜集，并适应性调整日志搜集的间隔时间；当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第三目标范围时，以日志搜集过程中占用的流量下限和流量上限之间的流量值进行日志搜集，并适应性调整日志搜集的间隔时间。
10、本专利技术第二方面提出一种边缘云系统日志限速搜集装置。
11、所述装置利用日志集成系统efk实现边缘云系统的日志限速搜集，所述日志集成系统efk包括存储系统es、日志搜集模块fluentd、可视化平台kibana。
12、日志搜集模块fluentd被部署在边缘云节点上，每个边缘云节点均部署一个日志搜集模块fluentd，且每个日志搜集模块fluentd中均包含一个控制搜集速度插件，各个日志搜集模块fluentd搜集的日志数据被集成汇总到存储系统es，由可视化平台kibana实现可视化。
13、所述装置具体包括：流量采集计算模块；其中，在每个边缘云节点上均部署一个流量采集计算模块，流量采集计算模块用于确定该边缘云节点的总的网络流量以及该边缘云节点上的容器pod的网络流量；日志搜集模块fluentd；其中，部署在每个边缘云节点上的日志搜集模块fluentd包括控制搜集速度插件、日志搜集插件，日志搜集模块fluentd基于该边缘云节点的总的网络流量以及该边缘云节点上的容器pod的网络流量，控制搜集日志的速度。
14、根据本专利技术第二方面的装置，流量采集计算模块被配置为：利用流量采集计算模块确定边缘云节点的总的网络流量以及边缘云节点上的容器pod的网络流量；其中：采用周期采集的方式，通过系统文件/prpc/net、系统命令ifstat获取系统网卡流量，包括输入流量和输出流量，以计算边缘云节点的总的网络流量；采用周期采集的方式，通过指令iftop、指令iptraf获取与边缘云节点上的容器pod关联的网络流量。
15、根据本专利技术第二方面的装置，流量采集计算模块为daemonset控制器。
16、根据本专利技术第二方面的装置，日志搜集模块fluentd被配置为：请求节点流量采集服务获取当前边缘云节点的流量情况，并接收来自流量采集计算模块的当前边缘云节点的总的网络流量、容器pod关联的网络流量；获取日志搜集插件的配置信息，所述配置信息包括日志搜集过程中占用的流量上限、流量下限、日志搜集的间隔时间；基于当前边缘云节点的总的网络流量、容器pod关联的网络流量，结合所述配置信息，利用网络流量控制算法，控制日志搜集模块fluentd搜集日志的速度。
17、根据本专利技术第二方面的装置，日志搜集模块fluentd被配置为：控制日志搜集模块fluentd搜集日志的速度；其中：当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第一目标范围时，以日志搜集过程中占用的流量上限进行日志搜集，并适应性调整日志搜集的间隔时间；当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第二目标范围时，以日志搜集过程中占用的流量下限进行日志搜集，并适应性调整日志搜集的间隔时间；当前边缘云节点的总的网络流量、容器pod关联的网络流量落入第三目标范围时，以日志搜集过程中占用的流量下限和流量上限之间的流量值进行日志搜集，并适应性调整日志搜集的间隔时间。
18、综上，本专利技术在日志集成系统efk中对日志搜集模块进行优化改动，通过采集流量、根据流量控制搜集日志，实现对日志搜集速度的控制。
本文档来自技高网...【技术保护点】
1.一种边缘云系统日志限速搜集方法，其特征在于：
2.根据权利要求1所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤S1中，利用流量采集计算模块确定边缘云节点的总的网络流量以及边缘云节点上的容器Pod的网络流量；具体包括：
3.根据权利要求2所述的一种边缘云系统日志限速搜集方法，其特征在于，流量采集计算模块为DaemonSet控制器。
4.根据权利要求3所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤S2中：
5.根据权利要求4所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤S2中，控制日志搜集模块Fluentd搜集日志的速度；具体包括：
6.一种边缘云系统日志限速搜集装置，其特征在于：
7.根据权利要求6所述的一种边缘云系统日志限速搜集装置，其特征在于，流量采集计算模块被配置为：利用流量采集计算模块确定边缘云节点的总的网络流量以及边缘云节点上的容器Pod的网络流量；其中：
8.根据权利要求7所述的一种边缘云系统日志限速搜集装置，其特征在于，流量采集计算模块为DaemonS
9.根据权利要求8所述的一种边缘云系统日志限速搜集装置，其特征在于，日志搜集模块Fluentd被配置为：
10.根据权利要求9所述的一种边缘云系统日志限速搜集装置，其特征在于，日志搜集模块Fluentd被配置为：控制日志搜集模块Fluentd搜集日志的速度；其中：
...【技术特征摘要】
1.一种边缘云系统日志限速搜集方法，其特征在于：
2.根据权利要求1所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤s1中，利用流量采集计算模块确定边缘云节点的总的网络流量以及边缘云节点上的容器pod的网络流量；具体包括：
3.根据权利要求2所述的一种边缘云系统日志限速搜集方法，其特征在于，流量采集计算模块为daemonset控制器。
4.根据权利要求3所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤s2中：
5.根据权利要求4所述的一种边缘云系统日志限速搜集方法，其特征在于，在步骤s2中，控制日志搜集模块fluentd搜集日志的速度；具体包括：
6.一种边缘云系统...
【专利技术属性】
技术研发人员：于志文，李志贤，黄荟宇，王超，顾亚辉，贾誓言，邓省三，张小翠，岳茂强，
申请(专利权)人：中国兵器装备集团兵器装备研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。