一种网络数据获取系统和方法技术方案

本发明专利技术实施例公开了一种网络数据获取系统和方法。该网络数据获取系统包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。本发明专利技术实施例的技术方案能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。高集成平台网络流量数据采集的可靠性。高集成平台网络流量数据采集的可靠性。

【技术实现步骤摘要】
一种网络数据获取系统和方法


[0001]本专利技术实施例涉及计算机
，尤其涉及一种网络数据获取系统和方法。

技术介绍

[0002]网络流量数据采集是分析网络问题的主要方法及手段。目前现有的网络流量数据采集方式大多基于传统的TCPDump(Dump the Traffic on a Network，网络流量数据采集分析)的方法，或者是依赖于不同厂商提供的适用于其自身产品的封闭排障方法。
[0003]然而，现有传统的TCPDump方式是运行在Linux系统上的一个应用程序，基于BPF(Berkeley Packet Filter，柏克莱封包过滤器)实现，采用该方法在集成平台采集网络流量数据的可靠性较差。此外，现有平台产品提供的适用于其自身产品的网络流量数据获取方式适用面窄，无法在集成平台稳定采集网络流量数据。

技术实现思路

[0004]本专利技术实施例提供一种网络数据获取系统和方法，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。
[0005]第一方面，本专利技术实施例提供了一种网络数据获取系统，包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：
[0006]所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；
[0007]所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。
[0008]第二方面，本专利技术实施例还提供了一种网络数据获取方法，包括：
[0009]接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；
[0010]识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。
[0011]本专利技术实施例通过一个采集器控制节点和至少一个采集节点构成一种网络数据获取系统，网络数据获取系统中的采集器控制节点与各采集节点通信连接，并集成在目标平台的平台节点中。该网络数据获取系统通过采集器控制节点接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成目标网络流量数据获取任务，以使采集节点识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点的目标网络流量数据，解决现有网络流量数据采集方法无法在集成平台稳定采集网络流量数据以及在集成平台采集网络流量数据的可靠性较差等问题，能够稳定采集集成平台的网络流量数据，提高集成平台网络流量数据采集的可靠性。
附图说明
[0012]图1是本专利技术实施例一提供的一种网络数据获取系统的示意图；
[0013]图2是本专利技术实施例一提供的一种在Iaas平台中部署网络数据获取系统的网络结构示意图；
[0014]图3是本专利技术实施例一提供的一种在Paas平台中部署网络数据获取系统的网络结构示意图；
[0015]图4是本专利技术实施例二提供的一种网络数据获取系统的示意图；
[0016]图5是本专利技术实施例三提供的一种网络数据获取方法的流程图；
[0017]图6是本专利技术实施例四提供的一种网络数据获取方法的具体示例流程图；
[0018]图7是本专利技术实施例四提供的一种采集节点采集目标网络流量数据的示意图。
具体实施方式
[0019]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。
[0020]另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0021]实施例一
[0022]图1是本专利技术实施例一提供的一种网络数据获取系统的示意图，该网络数据获取系统包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。
[0023]其中，采集器控制节点可以是用于控制采集节点采集网络流量数据并与目标平台进行对接管理的节点。采集节点可以是用于执行获取网络流量数据任务的节点，可以对平台节点进行数据采集。目标平台可以是执行网络流量数据获取的平台，例如可以是云平台，也可以是其他类型的集成平台等，本专利技术实施例对此并不进行限制。平台节点可以是目标平台上的节点，例如可以是云平台上的OpenStack计算节点，也可以是云平台上的K8s
‑
node节点等，本专利技术实施例对此并不进行限制。网络流量数据获取任务可以是用户发送的网络流量数据的采集任务。目标网络流量数据获取任务可以是采集节点可以直接识别的网络流量数据的采集任务。目标网络流量数据可以是采集节点通过执行网络流量数据获取任务所获取到的网络流量数据，例如可以是云平台OpenStack计算节点中VM(Virtual Machine，虚拟机)节点的网络流量数据，也可以是云平台K8s
‑
node节点中pod(容器)节点的网络流量数据等，本专利技术实施例对此并不进行限制。
[0024]在本专利技术实施例中，采集器控制节点的数量可以为一个，可以集成在目标平台的
任意一个平台节点中，采集节点的数量可以为多个，可以集成在目标平台的每一个平台节点中，也即每个平台节点均对应部署一个采集节点，采集节点的数量和平台节点的数量相同。采集器控制节点可以对接目标平台，并对所有的采集节点进行统一的管控。
[0025]具体的，采集器控制节点可以接收用户发送的网络流量数据获取任务，并根据网络流量数据获取任务生成采集节点可直接识别的目标网络流量数据获取任务。采集器控制节点通过与每个采集节点之间的通信连接，将目标网络流量数据获取任务发送给执行网络流量数据获取任务的采集节点。采集节点识别到采集器控制节点发送的目标网络流量数据获取任务之后，识别目标网络流量数据获取任务，并根据目标网络流量数据获取任务的识别结果采集平台节点中对应的目标网络流量数据。
[0026]在本专利技术实施例的一个可选实施方式中，目标平台可以是基于x86架构的Iaas平台，其中，基于x86架构的Iaas平台采用OpenStack管理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网络数据获取系统，其特征在于，包括一个采集器控制节点和至少一个采集节点，所述采集器控制节点与各所述采集节点通信连接，并集成在目标平台的平台节点中，其中：所述采集器控制节点用于接收用户发送的网络流量数据获取任务，并根据所述网络流量数据获取任务生成目标网络流量数据获取任务；所述采集节点用于识别所述目标网络流量数据获取任务，并根据所述目标网络流量数据获取任务的识别结果采集所述平台节点的目标网络流量数据。2.根据权利要求1所述的系统，其特征在于，所述采集器控制节点包括应用接口模块、事件队列和任务生成模块，其中：所述应用接口模块用于接收所述网络流量数据获取任务，并将所述网络流量数据获取任务发送至所述事件队列；所述任务生成模块用于从所述事件队列获取所述网络流量数据获取任务，并根据所述网络流量数据获取任务生成所述目标网络流量数据获取任务。3.根据权利要求2所述的系统，其特征在于，所述采集器控制节点还包括验证模块、资产管理模块和目标平台监控模块，其中：所述验证模块与所述应用接口模块通信连接，用于对所述网络流量数据获取任务进行校验；所述资产管理模块用于监听所述事件队列，根据所述事件队列的资源更新事件更新存储的目标平台的资产信息；所述目标平台监控模块用于监测所述目标平台的平台关联信息，并将所述平台关联信息添加至所述事件队列；其中，所述平台关联信息包括平台变化事件和/或平台资源信息。4.根据权利要求3所述的系统，其特征在于，所述任务生成模块具体用于在监测到所述平台变化事件之后，在确定所述平台变化事件与所述目标网络流量数据获取任务相关联的情况下，根据所述目标网络流量数据获取任务和所述平台变化事件生成更新目标网络流量数据获取任务；其中，所述更新目标网络流量数据获取任务与所述目标网络流量数据获取任务具有相同的任务标识。5.根据权利要求1所述的系统，其特征在于，所述采集节点包括任务管理模块和任务处理模块；其中：所述任务管理模块用于监听所述事件队列获取所述目标网络流量数据获取任务，并对所述目标网络流量数据获取任务进行识别，在确定所述目标网络流量数据获取任务为本节点任务的情况下，将所述目标网络流量数据获取任务发送至所述任务处理模块；所述任务处理模块用于根据所述目标网络流量数据获取任务调用eBPF程...

【专利技术属性】
技术研发人员：邓鑫，解培，
申请(专利权)人：中国光大银行股份有限公司，
类型：发明
国别省市：