数据采集方法与系统技术方案

本申请提供一种数据采集方法与系统，涉及通信技术领域。该数据采集方法，由于对多个第一运行参数标识计算节点服务器的服务器ID；对多个第二运行参数标识管理节点服务器的服务器ID；对多个第三运行参数标识存储节点服务器的服务器ID；每个聚合中心的聚合服务器对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID，实现了对各个数据中心的数据规范管理。再者，由于每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储；进而，第二kafka集群存储有来自各个数据中线的数据组。如此，当用户可以根据故障类型查询到多个数据中心的数据，查询到的数据更加全面。询到的数据更加全面。询到的数据更加全面。

【技术实现步骤摘要】
数据采集方法与系统


[0001]本申请涉及通信技术，尤其涉及一种数据采集方法与系统。

技术介绍

[0002]随着云服务技术的快速发展，政府、企业、公司等单位机构已经广泛采用云服务技术管理数据。通过云服务技术管理数据，数据的建设、维护、运营成本低，因而，云服务技术正逐渐成为未来IT架构的主流发展方向。目前，为了降低不同区域用户的时延，提升用户体验，公有云运营商通常在不同区域建设有多个数据中心，以便为各个区域的用户就近分配资源服务。多个数据中心具有海量的服务器，海量的服务器在运行时，会产生多个不同类别的运行参数。当多个数据中心出现运行故障时，运维人员可以根据故障类型，查询指定类别的运行参数；然后根据查询到的指定类别的服务器的运行参数，确定多个数据中心出现运行故障的原因。
[0003]目前，只能对单个数据中心的数据进行采集，并且对单个数据中心采集到的数据管理不规范。当多个数据中心出现运行故障时，由于单个数据中心的数据管理不规范，运维人员需要根据故障类型，花费大量的时间查询一个数据中心中指定类别的运行参数，效率低。又由于根据故障类型只能查询到单个数据中心的数据，导致查询到的数据不够全面，进而，使得运维人员也无法准确的定位多个数据中心出现运行故障的原因。

技术实现思路

[0004]本申请提供一种数据采集方法与系统，用以解决对数据中心采集的数据管理不规范以及不全面问题。
[0005]第一方面，本申请实施例提供了一种数据采集方法，应用于数据采集系统，数据采集系统包括多个数据中心与第一kafka集群，每个数据中心与第一kafka集群通信连接，每个数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，所述方法包括：
[0006]在每个数据中心内，计算节点服务器采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器的服务器ID；管理节点服务器采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器的服务器ID；存储节点服务器采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器的服务器ID；
[0007]第二kafka集群接收并存储来自计算节点服务器的多个第一运行参数、来自管理节点服务器的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数；
[0008]聚合服务器从第二kafka集群中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；
[0009]每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储。
[0010]第二方面，本申请实施例提供了一种数据采集系统，数据采集系统包括多个数据中心与第一kafka集群，每个数据中心与第一kafka集群通信连接，每个数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，其中，
[0011]在每个数据中心内，计算节点服务器，被配置成采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器的服务器ID；
[0012]管理节点服务器，被配置成采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器的服务器ID；存储节点服务器采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器的服务器ID；
[0013]第二kafka集群，被配置成接收并存储来自计算节点服务器的多个第一运行参数、来自管理节点服务器的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数；
[0014]聚合服务器，被配置成从第二kafka集群中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；
[0015]每个数据中心的聚合服务器，被配置成将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储。
[0016]本申请提供的数据采集方法与系统，由于对多个第一运行参数标识计算节点服务器的服务器ID；对多个第二运行参数标识管理节点服务器的服务器ID；对多个第三运行参数标识存储节点服务器的服务器ID；每个聚合中心的聚合服务器对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID，实现了对各个数据中心的数据规范管理。如此，当运维人员需要根据故障类型时，可以基于指定的服务器ID或数据中心ID，迅速查询到与指定的服务器ID或数据中心ID关联的数据，效率高；再者，由于每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储；进而，第二kafka集群存储有来自各个数据中线的数据组。如此，当用户可以根据故障类型查询到多个数据中心的数据，查询到的数据更加全面，进而使得运维人员能够准确的定位多个数据中心出现运行故障的原因。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]图1为本申请实施例提供的数据采集系统的交互示意图；
[0019]图2为本申请实施例提供的数据采集方法的流程图；
[0020]图3为本申请实施例提供的数据的标签格式之一；
[0021]图4为本申请实施例提供的数据的标签格式之二；
[0022]图5为本申请实施例提供的数据的标签格式之三；
[0023]图6为本申请实施例提供的数据的标签格式之四；
[0024]图7为本申请实施例提供的数据的标签格式之五；
[0025]图8为本申请实施例提供的数据的标签格式之六；
[0026]图9为本申请实施例提供的数据的标签格式之七；
[0027]图10为本申请实施例提供的数据的标签格式之八。
[0028]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0029]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0030]首先对本申请所涉及的名词进行解释：...

【技术保护点】

【技术特征摘要】
1.一种数据采集方法，其特征在于，应用于数据采集系统，所述数据采集系统包括多个数据中心与第一kafka集群，每个所述数据中心与所述第一kafka集群通信连接，每个所述数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，所述数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，所述方法包括：在每个所述数据中心内，所述计算节点服务器采集自身的多个第一运行参数，并对所述多个第一运行参数标识所述计算节点服务器的服务器ID；所述管理节点服务器采集自身的多个第二运行参数，并对所述多个第二运行参数标识所述管理节点服务器的服务器ID；所述存储节点服务器采集自身的多个第三运行参数，并对所述多个第三运行参数标识所述存储节点服务器的服务器ID；所述第二kafka集群接收并存储来自所述计算节点服务器的多个第一运行参数、来自所述管理节点服务器的多个第二运行参数、以及来自所述存储节点的服务器的多个第三运行参数；所述聚合服务器从所述第二kafka集群中，提取所述多个第一运行参数、所述多个第二运行参数、以及多个所述第三运行参数，对所述多个第一运行参数、所述多个第二运行参数、以及所述多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；每个所述数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至所述第一kafka集群存储。2.根据权利要求1所述的方法，其特征在于，所述多个第一运行参数包括所述计算节点服务器的宿主机的核心监控数据和虚拟机的核心监控数据，其中，所述宿主机的核心监控数据被标识有所述计算节点服务器的服务器ID，且所述宿主机的核心监控数据包括所述宿主机的CPU使用率、内存使用率、以及磁盘使用率；其中，所述虚拟机的核心监控数据被标识有所述计算节点服务器的服务器ID和所述虚拟机的虚拟机ID，且所述虚拟机的核心监控数据包括所述虚拟机的CPU使用率、内存使用率、以及磁盘使用率。3.根据权利要求2所述的方法，其特征在于，在所述计算节点服务器采集自身的多个第一运行参数，对多个第一运行参数标识所述计算节点服务器的服务器ID之前，所述方法还包括：所述计算节点服务器接收来自终端设备的监控部署指令，所述监控部署指令携带有虚拟机建立请求；所述计算节点服务器在宿主机中建立与所述虚拟机交互的第一数据通道、以及加载数据通道监控插件和宿主机的监控插件，所述数据通道监控插件用于通过所述第一数据通道监听来自第二数据通道的所述虚拟机的核心监控数据，所述宿主机的监控插件用于采集宿主机的核心监控数据；所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型，启动与虚拟机类型关联的虚拟机，并在所述虚拟机中加载虚拟机的监控插件，其中，所述虚拟机的监控插件用于采集虚拟机的核心监控数据；所述计算节点服务器在所述虚拟机中建立与所述第一数据通道交互的第二数据通道；
所述计算节点服务器配置用于标识所述宿主机的核心监控数据和所述虚拟机的核心监控数据的计算节点服务器的服务器ID，以及从所述管理节点服务器的mysql数据库中，获取用于标识所述虚拟机的核心监控数据的虚拟机ID。4.根据权利要求3所述的方法，其特征在于，所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型，启动与虚拟机类型关联的虚拟机，并在所述虚拟机中加载虚拟机的监控插件，包括：所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型；若虚拟机类型为linux类型，则启动linux虚拟机，在linux虚拟机中注入linux版监控配置文件，并加载虚拟机的监控插件；若虚拟机类型为windows类型，则启动windows虚拟机，在windows虚拟机中注入windows版监控配置文件，并加载虚拟机的监控插件。5.根据权利要求1所述的方法，其特征在于，所述多个第二运行参数包括第二核心监控数据和第二类型监控数据，所述第二核心监控数据被标识有所述管理节点服务器的服务器ID，且所述第二核心监控数据包括：所述管理节点服务器的CPU使用率、内存使用率、以及磁盘使用率，所述第二类型监控数据包括：部署在所述管理节点服务器的mysql数据库的工作参数、部署在所述管理节点服务器的rabbitmq消息队列的工作参数、以及部署在所述管理节点服务器...

【专利技术属性】
技术研发人员：时文丰，朱子凡，陈传亮，滕海燕，王若宇，李继者，李朝霞，
申请(专利权)人：联通云数据有限公司，
类型：发明
国别省市：