指标数据收集方法、装置、服务器及存储介质制造方法及图纸

本申请提供一种指标数据收集方法、装置、服务器及存储介质，涉及计算机技术领域。该方法包括：通过虚拟接口获取指标字符串，指标字符串中包括：多个指标数据，指标数据是服务器执行至少一个分布式任务过程中的指标；根据各指标数据所属的分布式任务的任务标识，采用预设映射方法，确定多个指标收集组件与各所指标数据的映射关系；根据映射关系，将各指标数据发送至对应的指标收集组件，以使得数据监控系统通过各指标收集组件收集对应的指标数据，对指标数据进行监控。本申请可以使数据监控系统通过多个指标收集组件获取指标数据，提高数据监控系统对指标数据进行监控分析的性能。监控系统对指标数据进行监控分析的性能。监控系统对指标数据进行监控分析的性能。

【技术实现步骤摘要】
指标数据收集方法、装置、服务器及存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种指标数据收集方法、装置、服务器及存储介质。

技术介绍

[0002]随着云计算和微服务等计算机通信技术的兴起，采用实时分布式处理引擎Flink在无边界和有边界的数据流上进行有状态的计算，通过服务集群中的服务器对基于Flink引擎构建的Flink任务运行，以内存速度和任意规模进行计算。
[0003]为了对服务集群中的服务器执行Flink任务时的指标数据进行收集及监控，采用基于开源的数据监控系统，从指标收集组件中拉取指标收集组件从服务集群的服务器中获取的指标数据，对指标数据进行分析、计算和存储。
[0004]但是，按照Flink目前的配置，数据监控系统只能使用一个指标收集组件拉取指标数据，当Flink任务特别多时，对应的指标数据也会很多，指标数据在指标收集组件中大量堆积无法被数据监控系统及时拉取，严重影响数据监控系统对指标数据进行监控分析的性能。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种指标数据收集方法、装置、服务器及存储介质，以便使得数据监控系统通过多个指标收集组件获取指标数据，提高数据监控系统对指标数据进行监控分析的性能。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：
[0007]第一方面，本申请实施例提供了一种指标数据收集方法，应用于服务集群中的服务器，所述服务器部署有虚拟接口，所述方法包括：
[0008]通过所述虚拟接口获取指标字符串，所述指标字符串中包括：多个指标数据，所述指标数据是所述服务器执行至少一个分布式任务过程中的指标；
[0009]根据各所述指标数据所属的分布式任务的任务标识，采用预设映射方法，确定多个指标收集组件与各所指标数据的映射关系；
[0010]根据所述映射关系，将各所述指标数据发送至对应的指标收集组件，以使得数据监控系统通过各所述指标收集组件收集对应的指标数据，对所述指标数据进行监控。
[0011]第二方面，本申请实施例还提供了一种指标数据收集装置，应用于服务集群中的服务器，所述服务器部署有虚拟接口，所述装置包括：
[0012]指标数据获取模块，用于通过所述虚拟接口获取指标字符串，所述指标字符串中包括：多个指标数据，所述指标数据是所述服务器执行至少一个分布式任务过程中的指标；
[0013]映射关系确定模块，用于根据各所述指标数据所属的分布式任务的任务标识，采用预设映射方法，确定多个指标收集组件与各所指标数据的映射关系；
[0014]指标数据发送模块，用于根据所述映射关系，将各所述指标数据发送至对应的指
标收集组件，以使得数据监控系统通过各所述指标收集组件收集对应的指标数据，对所述指标数据进行监控。
[0015]本申请的有益效果是：
[0016]本申请提供一种指标数据收集方法、装置、服务器及存储介质，设置一个虚拟接口和多个指标收集组件，通过虚拟接口获取指标数据后，将指标数据分配给不同的指标收集组件，以使得数据监控系统通过各指标收集组件拉取指标数据，避免大量的指标数据只能通过一个指标收集组件发送给数据监控系统，造成指标数据在指标收集组件中堆积影响数据监控系统性能的问题，数据监控系统通过多个指标收集组件获取指标数据，可以分担单个指标收集组件的压力，从而提高数据监控系统对指标数据进行监控分析的性能。
附图说明
[0017]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1为本申请实施例提供的指标数据收集系统的结构示意图；
[0019]图2为本申请实施例提供的指标数据收集方法的流程示意图一；
[0020]图3为本申请实施例提供的指标数据收集方法的流程示意图二；
[0021]图4为本申请实施例提供的一种哈希环映射示意图；
[0022]图5为本申请实施例提供的指标数据收集方法的流程示意图三；
[0023]图6为本申请实施例提供的指标数据收集方法的流程示意图四；
[0024]图7为本申请实施例提供的指标数据收集方法的流程示意图五；
[0025]图8为本申请实施例提供的指标数据收集装置的结构示意图；
[0026]图9为本申请提供的服务器的示意图。
具体实施方式
[0027]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
[0028]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0029]此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0030]首先，对本申请实施例涉及的相关内容进行介绍：
[0031]Flink任务提交到服务集群中运行后，开发人员很难服务器运行Flink任务的实际
状况，例如运行速度的快慢、是否有运行异常，也无法实时查看所有的运行(Task)日志，导致Flink任务比较大或者任务较多的情况下不方便处理。为此，Flink的Metrics可以通过收集Flink内容的指标帮助开发人员了解任务状态或者服务器的运行状态。
[0032]Metrics具有两大功能，其一是作为度量系统，实时采集Flink任务的指标数据，用户可以在Flink的UI界面上查看自己提交的任务状态、时延、监控信息等；其二是可以暴露给外部系统使用，通过在Flink的配置文件flink
‑
conf.yaml中配置作为HTTP接口的reporter，将整个集群的指标数据通过接口上报至第三方监控系统，例如Prometheus、grafana等。
[0033]目前，Flink的UI界面只能看到任务当下瞬时的指标数据，无法查看历史指标数据，因此，可以采用Flink的HTTP接口，通过数据监控系统、指标收集组件和可视化组件搭建可视化监控系统，当用户采用Flink框架向服务集群中的服务器提交一个Flink任务后，Flink会通过HTTP接口将指标数据push到指标收集组件上，然后使用数据监控系统从指标收集组件进行pull操作，将指标采集过来，通过可视化可视化工具展示出来。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种指标数据收集方法，其特征在于，应用于服务集群中的服务器，所述服务器部署有虚拟接口，所述方法包括：通过所述虚拟接口获取指标字符串，所述指标字符串中包括：多个指标数据，所述指标数据是所述服务器执行至少一个分布式任务过程中的指标；根据各所述指标数据所属的分布式任务的任务标识，采用预设映射方法，确定多个指标收集组件与各所指标数据的映射关系；根据所述映射关系，将各所述指标数据发送至对应的指标收集组件，以使得数据监控系统通过各所述指标收集组件收集对应的指标数据，对所述指标数据进行监控。2.如权利要求1所述的方法，其特征在于，所述方法还包括：接收任务配置端发送的分布式任务请求，所述分布式任务请求中包括：至少一个分布式任务和函数包，所述函数包中的函数用于指示将所述指标字符串发送至所述虚拟接口的预设接口地址；执行所述分布式任务，获取任务执行过程中的指标数据；执行所述函数包中的函数，将各所述分布式任务的指标数据以所述指标字符串发送至所述虚拟接口。3.如权利要求2所述的方法，其特征在于，所述接收任务配置端发送的分布式任务请求之前，所述方法还包括：采用面向切面编程方法定义切面；对所述切面创建所述函数，并将所述函数打包为所述函数包。4.如权利要求1所述的方法，其特征在于，所述根据各所述指标数据所属的分布式任务的任务标识，采用预设映射方法，确定多个指标收集组件与各所指标数据的映射关系，包括：根据各所述分布式任务的任务标识和各所述指标收集组件的标识，采用哈希算法，确定各所述指标收集组件和各所述指标数据的映射关系。5.如权利要求4所述的方法，其特征在于，所述根据各所述分布式任务的任务标识和各所述指标收集组件的地址，采用哈希算法，确定各所述指标收集组件和各所述指标数据的映射关系，包括：根据各所述指标收集组件的地址进行哈希计算，确定各所述指标收集组件在预设哈希环上的位置；根据各所述分布式任务的任务标识进行哈希计算，确定各所述指标数据在所述预设哈希环上的位置；确定在所述预设哈希环的预设时针方向上，与各所述指标数据距离最近的指标收集组件，得到各所述指标数据与各所述指标收集组件的映射关系。6.如权利要...

【专利技术属性】
技术研发人员：肖文浩，於圣楠，张宇昂，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：