一种数据监控方法、装置、设备及存储介质制造方法及图纸

本申请公开一种数据监控方法、装置、设备及存储介质，应用于指标监控设备，指标监控设备包括InfluxDB时序数据库，该方法包括：采集集群中每个主机的指标数据；将每个主机的指标数据存储于InfluxDB时序数据库的第一存储空间；InfluxDB时序数据库仅允许集群中每个主机进行访问；基于预设的聚合策略，从第一存储空间查询第一指标数据，对第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据；将第二指标数据显示在指标监控设备界面。如此，通过InfluxDB时序数据库仅存储当前集群每个主机的指标数据，后续查询存储的指标数据时，也仅是当前集群每个主机可访问InfluxDB时序数据库，故InfluxDB时序数据库不易出现故障或启停造成指标监控设备宕机情况，保证指标监控设备运行稳定性。备运行稳定性。备运行稳定性。

【技术实现步骤摘要】
一种数据监控方法、装置、设备及存储介质


[0001]本申请涉及大数据技术，尤其涉及一种数据监控方法、装置、设备及存储介质。

技术介绍

[0002]Ambari是Apache开源社区的一款集群管理软件，为第三方服务提供了集成、管理、监控等功能。Ambari中的Ambari指标系统(Ambari Metrics System，AMS)为整个集群的服务及主机提供了监测功能，运维人员可通过AMS的指标展示，直观看到各个服务及主机的运行情况，及时进行资源预测、故障定位等工作。
[0003]现有的AMS实现指标数据监测工作主要包括三部分：指标采集、指标存储和指标聚合。其中，AMS现有底层的指标存储时是利用自带的HBase数据库进行存储，底层运行需依赖于Hadoop分布式文件系统(Hadoop Distributed System，HDFS)。由于Ambari集群部署的HDFS服务是对外使用提供服务的，AMS的HBase数据库频繁读写及聚合指标数据易对HDFS服务造成巨大的负载压力，故一旦HDFS服务出现故障或者启停后也会造成AMS的宕机，从而影响整个Ambari的各个服务及主机的指标监控。

技术实现思路

[0004]为解决上述技术问题，本申请提供一种数据监控方法、装置、设备及存储介质。
[0005]本申请的技术方案是这样实现的：
[0006]第一方面，提供了一种数据监控方法，应用于指标监控设备，所述指标监控设备包括InfluxDB时序数据库，该方法包括：
[0007]采集集群中每个主机的指标数据；其中，所述指标数据包括主机自身指标数据和部署于主机上服务的组件指标数据；
[0008]将每个主机的指标数据存储于所述InfluxDB时序数据库的第一存储空间；其中，所述InfluxDB时序数据库仅允许所述集群中每个主机进行访问；
[0009]基于预设的聚合策略，从所述第一存储空间查询第一指标数据，对所述第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据；
[0010]将所述第二指标数据显示在所述指标监控设备界面。
[0011]上述技术方案中，所述InfluxDB时序数据库还集成Telegraf插件；其中，所述Telegraf插件用于采集部署于主机上的Hadoop生态圈之外的服务的组件指标数据。
[0012]上述技术方案中，所述聚合策略包括聚合类别、聚合对象标识和聚合时间；所述基于预设的聚合策略，从所述第一存储空间查询第一指标数据，对所述第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据，包括：根据所述聚合类别和所述聚合对象标识，利用所述InfluxDB时序数据库的连续查询语句功能对所述第一存储空间进行周期性查询，得到所述聚合时间内的第一指标数据；计算所述聚合时间内的第一指标数据的最大值、最小值和平均值中的至少一个，得到所述聚合对象标识对应的第二指标数据。
[0013]上述技术方案中，当所述聚合类别指示所述聚合策略为针对主机级别的聚合时，
所述聚合对象标识包括主机标识和指标标识；其中，所述指标标识为主机自身指标的标识或组件标识；当所述聚合类别指示所述聚合策略为针对集群级别的聚合时，所述聚合对象标识包括指标标识。
[0014]上述技术方案中，所述方法还包括：将所述第二指标数据存储至所述聚合策略对应的第二存储空间中；其中，不同聚合策略对应不同的第二存储空间。
[0015]上述技术方案中，所述将所述第二指标数据显示在所述指标监控设备界面，包括：从所述第二存储空间中获取至少一种聚合策略对应的至少一种第二指标数据，并显示在所述指标监控设备界面。
[0016]上述技术方案中，所述将每个主机的指标数据存储于所述InfluxDB时序数据库的第一存储空间，包括：将JSON格式的所述指标数据调整为适配于所述InfluxDB时序数据库的存储格式的指标数据。
[0017]第二方面，提供了一种数据监控装置，应用于指标监控设备，所述指标监控设备包括InfluxDB时序数据库，所述装置包括：
[0018]采集单元，用于采集集群中每个主机的指标数据；其中，所述指标数据包括主机自身指标数据和部署于主机上服务的组件指标数据；
[0019]存储单元，用于将每个主机的指标数据存储于所述InfluxDB时序数据库的第一存储空间；其中，所述InfluxDB时序数据库仅允许所述集群中每个主机进行访问；
[0020]聚合单元，用于基于预设的聚合策略，从所述第一存储空间查询第一指标数据，对所述第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据；
[0021]显示单元，用于将所述第二指标数据显示在所述指标监控设备界面。
[0022]第三方面，提供了一种指标监控设备，包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
[0023]第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
[0024]本申请公开一种数据监控方法，应用于指标监控设备，指标监控设备包括InfluxDB时序数据库，该方法包括：采集集群中每个主机的指标数据；其中，指标数据包括主机自身指标数据和部署于主机上服务的组件指标数据；将每个主机的指标数据存储于InfluxDB时序数据库的第一存储空间；其中，InfluxDB时序数据库仅允许集群中每个主机进行访问；基于预设的聚合策略，从第一存储空间查询第一指标数据，对第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据；将第二指标数据显示在指标监控设备界面。如此，通过InfluxDB时序数据库仅存储当前集群每个主机的指标数据，后续查询存储的指标数据时，也仅是当前集群每个主机可访问InfluxDB时序数据库，故InfluxDB时序数据库不易出现故障或启停造成指标监控设备宕机情况，保证指标监控设备运行稳定性。
附图说明
[0025]图1为本申请实施例中数据监控方法的第一流程示意图；
[0026]图2为本申请实施例中AMS架构组成的结构示意图；
[0027]图3为本申请实施例中数据监控方法的第二流程示意图；
[0028]图4为本申请实施例中数据监控装置组成的结构示意图；
[0029]图5为本申请实施例中数据监控设备组成的结构示意图。
具体实施方式
[0030]为了能够更加详尽地了解本申请实施例的特点与
技术实现思路
，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
[0031]实施例一
[0032]本申请实施例提供了一种数据监控方法，图1为本申请实施例中数据监控方法的第一流程示意图。
[0033]如图1所示，该数据监控方法应用于指标监控设备，指标监控设备包括InfluxDB时序数据库；数据监控方法具体可以包括：
[0034]步骤101：采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控方法，应用于指标监控设备，其特征在于，所述指标监控设备包括InfluxDB时序数据库，所述方法包括：采集集群中每个主机的指标数据；其中，所述指标数据包括主机自身指标数据和部署于主机上服务的组件指标数据；将每个主机的指标数据存储于所述InfluxDB时序数据库的第一存储空间；其中，所述InfluxDB时序数据库仅允许所述集群中每个主机进行访问；基于预设的聚合策略，从所述第一存储空间查询第一指标数据，对所述第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据；将所述第二指标数据显示在所述指标监控设备界面。2.根据权利要求1所述的方法，其特征在于，所述InfluxDB时序数据库还集成Telegraf插件；其中，所述Telegraf插件用于采集部署于主机上的Hadoop生态圈之外的服务的组件指标数据。3.根据权利要求1所述的方法，其特征在于，所述聚合策略包括聚合类别、聚合对象标识和聚合时间；所述基于预设的聚合策略，从所述第一存储空间查询第一指标数据，对所述第一指标数据进行周期性聚合操作，得到聚合后的第二指标数据，包括：根据所述聚合类别和所述聚合对象标识，利用所述InfluxDB时序数据库的连续查询语句功能对所述第一存储空间进行周期性查询，得到所述聚合时间内的第一指标数据；计算所述聚合时间内的第一指标数据的最大值、最小值和平均值中的至少一个，得到所述聚合对象标识对应的第二指标数据。4.根据权利要求3所述的方法，其特征在于，当所述聚合类别指示所述聚合策略为针对主机级别的聚合时，所述聚合对象标识包括主机标识和指标标识；其中，所述指标标识为主机自身指标的标识和/或组件标识；当所述聚合类别指示所述聚合策略为针对集群级别的聚合时，所述聚合对象标识包括指标标识。5.根据权利...

【专利技术属性】
技术研发人员：王健飞，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：