一种图计算平台的流量处理方法和系统技术方案

本申请涉及一种图计算平台的流量处理方法，其中，该方法包括：控制器配置流量拦截规则和流量分析规则，并将其发送至图计算平台中的各个组件；代理控制器拦截网络流量并将其加速转发，同时，对网络流量进行镜像处理，并根据流量拦截规则获取镜像流量，以及，采用VxLAN协议，将镜像流量进行报文封装得到数据包，对数据包添加标记信息之后将其发送至流量分析器，其中，代理控制器以sidecar形式部署在组件上；流量分析器，根据流量分析规则解析数据包，生成流量检测记录，并将其存储至数据库。通过本申请，在原有云服务无感知的情况下实现了精准、高效且自动化的流量检测。高效且自动化的流量检测。高效且自动化的流量检测。

【技术实现步骤摘要】
一种图计算平台的流量处理方法和系统


[0001]本申请涉及云计算领域，特别是涉及一种图计算平台的流量处理方法、系统、计算机设备和计算机可读存储介质。

技术介绍

[0002]图计算平台是以图论为理论基础，以大规模点、边关系及其属性的数据为基础构造图结构，通过图计算框架对图进行特征分析、算法挖掘等任务的数据处理平台，其可以支持图查询、图分析、图学习等场景。
[0003]每个公有云厂商都有提供流量采集分析工具，虽然产品各不相同，但是实现原理都大同小异，普遍都是通过vpc flow log(vpc流量日志)实现流量监控分析，进而以此作为评价系统运行状况的依据。
[0004]但是，上述方式分析效率较低，且需要企业对公有云厂商资费，这无疑额外增加了企业运营成本。
[0005]目前针对图计算平台下，流量监控方法效率较低的问题，尚未提出有效的解决方案。

技术实现思路

[0006]本申请实施例提供了一种图计算平台的流量处理方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中图计算平台流量监控方法效率低下的问题。
[0007]第一方面，本申请实施例提供了一种图计算平台的流量处理方法，在原有云服务无感知的情况下实现，所述方法包括：
[0008]控制器配置流量拦截规则和流量分析规则，并将其发送至图计算平台中的各个组件；
[0009]代理控制器拦截进出网络流量并将其加速转发，同时，对所述网络流量进行镜像处理，并根据所述流量拦截规则，获取镜像流量，以及，
[0010]采用VxLAN协议，将所述镜像流量进行报文封装得到数据包，并对所述数据包添加标记信息之后将其发送至流量分析器，其中，所述代理控制器以sidecar形式部署在各个组件上；
[0011]所述流量分析器，根据所述流量分析规则解析所述数据包，生成流量检测记录，并将其存储至数据库。
[0012]在其中一些实施例中，所述方法应用在基于Kubernetes系统的Paas图计算平台上，其中，所述Paas图计算平台中部署有coredns，用于解析所述Kubernetes系统的域名；
[0013]所述图计算平台的各个组件经过容器化处理，且通过Kubernetes系统的Service实现组件间的通信。
[0014]在其中一些实施例中，对所述网络流量进行镜像处理包括：
[0015]所述代理控制器在TC模式下，通过调用操作系统内核的TC命令，对所述网络流量
进行镜像处理，或者，
[0016]所述代理控制器在libpcap模式下，通过内置pcap调用库，对所述网络流量进行镜像处理。
[0017]在其中一些实施例中，采用VxLAN协议，对所述数据包添加标记信息包括：
[0018]在对所述镜像流量进行报文封装之后，所述代理控制器获取所述镜像流量对应的属性信息，其中，所述属性信息包括：云区域、可用区、集群名、节点名和组件名；
[0019]确定所述VxLAN协议的Reserved预留字段，通过将所述属性信息添加在所述Reserved预留字段上，实现对所述镜像流量添加标记信息。
[0020]在其中一些实施例中，所述流量分析器，利用所述Kubernetes系统的HPA属性，在弹性扩缩容的情况下，动态解析所述数据包，得到所述流量检测记录。
[0021]在其中一些实施例中，根据所述流量分析规则解析所述数据包，包括：
[0022]校验所述数据包对应的的封装协议是否为可支持协议，以及，
[0023]校验所述数据包的文件头是否包含跟踪ID、跨度ID、父节点ID，以及，
[0024]校验所述数据包对应的通信协议中，Reserved预留字段是否包含所述标记信息；
[0025]若三者均是，对所述数据包进行解封装，并计算所述数据包中原始数据的大小，以及，
[0026]采用json格式，将解封装得到的数据条目，以键值对的形式进行组装，生成流量检测记录。
[0027]在其中一些实施例中，生成流量检测记录，并将其存储至数据库之后，所述方法还包括：
[0028]基于所述流量检测记录生成多个预设维度的可视化数据，将所述可视化数据发送至用户终端展示，其中，所述预设维度包括：云区域维度、可用区维度、集群维度、节点维度和组件维度。
[0029]第二方面，本申请提供了一种图计算平台的流量处理系统，在原有云服务无感知的情况下实现，所述系统包括：控制器、代理控制器和流量分析器，其中，
[0030]所述控制器用于，配置流量拦截规则和流量分析规则，并将其发送至图计算平台中的各个组件；
[0031]所述代理控制器用于，拦截网络流量并将其加速转发，同时，对所述网络流量进行镜像处理，并根据所述流量拦截规则获取镜像流量，以及，
[0032]采用VxLAN协议，将所述镜像流量进行报文封装得到数据包，对所述数据包添加标记信息之后将其发送至流量分析器，其中，所述代理控制器以sidecar形式部署在各个组件上；
[0033]所述流量分析器用于，根据所述流量分析规则解析所述数据包，生成流量检测记录，并将其存储至数据库。
[0034]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
[0035]第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
[0036]相比于相关技术，本申请实施例提供的一种图计算平台的流量处理方法，相比较于传统方式，至少具备如下有益效果：
[0037]1.基于云原生的设计理念，自动化高效的生成流量检测记录，无需从云厂商购买流量日志和自行分析，在节省成本的情况下，提升了检测效率和准确率；
[0038]2.通过边车部署代理控制器、流量镜像、以及巧妙的利用通信协议进行流量标记等手段，对原平台组件无侵入，在不干扰原有服务正确性和效率的情况下，实现流量检测；
[0039]3.充分利用Kubernetes系统的eBFF特性和HPA自动扩容属性，实现了网络流量的加速转发，以及在数据处理压力下进行动态分配负载，提升了转发速度和分析效率。
[0040]4.由于拦截规则和代理控制器都可以通过自定义的方式配置，因此可以根据需求灵活设置，提升了系统便捷性和易用性；
[0041]5.可以适配当前各类云厂商，且最终生成的流量检测记录，可以从多个维度进行可视化展示，从而提升了用户体验。
附图说明
[0042]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0043]图1是根据本申请实施例的一种图计算平台的流量处理方法的应用环境示意图；
[0044]图2是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图计算平台的流量处理方法，其特征在于，在原有云服务无感知的情况下实现，所述方法包括：控制器配置流量拦截规则和流量分析规则，并将其发送至图计算平台中的各个组件；代理控制器拦截进出网络流量并将其加速转发，同时，对所述网络流量进行镜像处理，并根据所述流量拦截规则，获取镜像流量，以及，采用VxLAN协议，将所述镜像流量进行报文封装得到数据包，并对所述数据包添加标记信息之后将其发送至流量分析器，其中，所述代理控制器以sidecar形式部署在各个组件上；所述流量分析器，根据所述流量分析规则解析所述数据包，生成流量检测记录，并将其存储至数据库。2.根据权利要求1所述的方法，其特征在于，所述方法应用在基于Kubernetes系统的Paas图计算平台上，其中，所述Paas图计算平台中部署有coredns，用于解析所述Kubernetes系统的域名；所述图计算平台的各个组件经过容器化处理，且通过Kubernetes系统的Service实现组件间的通信。3.根据权利要求1所述的方法，其特征在于，对所述网络流量进行镜像处理包括：所述代理控制器在TC模式下，通过调用操作系统内核的TC命令，对所述网络流量进行镜像处理，或者，所述代理控制器在libpcap模式下，通过内置pcap调用库，对所述网络流量进行镜像处理。4.根据权利要求1所述的方法，其特征在于，采用VxLAN协议，对所述数据包添加标记信息包括：在对所述镜像流量进行报文封装之后，所述代理控制器获取所述镜像流量对应的属性信息，其中，所述属性信息包括：云区域、可用区、集群名、节点名和组件名；确定所述VxLAN协议的Reserved预留字段，通过将所述属性信息添加在所述Reserved预留字段上，实现对所述镜像流量添加标记信息。5.根据权利要求2所述的方法，其特征在于，所述流量分析器，利用所述Kubernetes系统的HPA属性，在弹性扩缩容的情况下，动态解析所述数据包，得到所述流量检...

【专利技术属性】
技术研发人员：乔雷，叶小萌，
申请(专利权)人：杭州悦数科技有限公司，
类型：发明
国别省市：