一种数据监控方法与监控平台技术

本申请提供了一种数据监控方法与监控平台，涉及监控技术领域。该数据监控方法应用于监控平台，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase以及OpenTSDB，首先在接收到业务端发送的数据时，将数据存储至Hbase，然后周期性地利用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理，最后将处理后的数据发送至目标业务端。本申请提供的数据监控方法与监控平台具有通过一个独立的监控平台实现对多个业务端的监控，节省了资源的优点。

A data monitoring method and monitoring platform

【技术实现步骤摘要】
一种数据监控方法与监控平台
本申请涉及监控
，具体而言，涉及一种数据监控方法与监控平台。
技术介绍
目前，在企业的监控系统上，企业的每个部门均需要各自定制一套独立的监控系统，以进行各自部门的硬件及数据的监控。由于每个部门的监控系统均独立开来，因此从数据源采集、监控规则配置、监控输出都需要定制开发，适用性差，资源浪费较大。综上所述，目前企业没有一套独立的监控系统，导致资源浪费较大。
技术实现思路
本申请的目的在于提供一种数据监控方法与监控凭条，以解决现有技术中企业没有一套独立的监控系统，导致资源浪费较大的问题。为了解决上述问题，本申请是这样实现的：一方面，本专利技术实施例提供了一种数据监控方法，应用于监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据存储层，所述数据存储层包括Hbase以及OpenTSDB，所述方法包括：接收到所述业务端发送的数据时，将所述数据存储至所述Hbase；周期性地利用OpenTSDB对所述Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；将处理后的数据发送至所述目标业务端。进一步地，所述数据存储层还包括HDFS，所述将所述数据存储至所述Hbase的步骤包括：利用所述HDFS所述数据分类存储至所述Hbase中；在所述将所述数据存储至所述Hbase的步骤之后，所述方法还包括：利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩。进一步地，所述Hbase的存储空间包括多行与多列，所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤之前，所述方法包括：将所述数据按不同列存储至所述Hbase；所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤包括：当经过一个时间周期时，利用HDFS将所述时间周期内所有列的数据进行压缩，并组成一行数据。进一步地，在所述接收到所述业务端发送的数据的步骤之后，所述方法还包括：通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出。进一步地，所述通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出的步骤包括：将所述数据与预设定的阈值进行比较，当所述数据的值大于所述阈值时，生成告警信息并输出。进一步地，在所述将处理后的数据发送至所述目标业务端的步骤之前，所述方法还包括：当接收到多个业务端发送的数据处理指令时，按消息队列解耦对所述多个业务端发送的数据处理指令进行处理。另一方面，本专利技术实施例提供了一种监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据收发层与数据存储层，所述数据存储层包括Hbase组件以及OpenTSDB组件；所述数据收发层用于接收所述业务端发送的数据；所述Hbase组件用于存储所述数据；所述OpenTSDB组件用于对所述Hbase组件中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；所述数据收发层还用于将处理后的数据发送至所述目标业务端。进一步地，数据存储层还包括HDFS组件；所述HDFS组件用于将所述数据分类存储至所述Hbase中；所述HDFS还用于按预设定的时间周期对所述Hbase中存储的数据进行压缩。进一步地，所述HDFS组件用于将所述时间周期内所有列的数据进行压缩，并组成一行数据。进一步地，所述数据收发层用于接收接口数据、文本日志数据、爬虫数据以及业务端及其性能数据。相对于现有技术，本申请具有以下有益效果：本专利技术实施例提供了一种数据监控方法与监控平台，该数据监控方法应用于监控平台，监控平台与多个业务端通信连接，且监控平台包括数据存储层，数据存储层包括Hbase以及OpenTSDB，首先在接收到业务端发送的数据时，将数据存储至Hbase，然后周期性地利用OpenTSDB对Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理，最后将处理后的数据发送至目标业务端。一方面，通过本申请提供的监控平台，能够实现对多个业务端的数据处理，通过一个独立的监控平台实现对多个业务端的监控，节省了资源。另一方面，利用Hbase及OpenTSDB进行数据表的存储，抛弃了传统关系型数据的存储架构，利用Hbase的可拓展性，实现了大量数据存储的效果。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本申请实施例提供第一种数据监控方法的流程图。图2为本申请实施例提供第二种数据监控方法的流程图。图3为本申请实施例提供图2中S103-a1的子步骤的流程图。图4为本申请实施例提供第三种数据监控方法的流程图。图5为本申请实施例提供监控平台与业务端的交互示意图。图6为本申请实施例提供监控平台的模块示意图。图中：110-监控平台；120-业务端。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素本文档来自技高网...

【技术保护点】
1.一种数据监控方法，其特征在于，应用于监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据存储层，所述数据存储层包括Hbase以及OpenTSDB，所述方法包括：/n接收到所述业务端发送的数据时，将所述数据存储至所述Hbase；/n周期性地利用OpenTSDB对所述Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；/n将处理后的数据发送至所述目标业务端。/n

【技术特征摘要】
1.一种数据监控方法，其特征在于，应用于监控平台，所述监控平台与多个业务端通信连接，且所述监控平台包括数据存储层，所述数据存储层包括Hbase以及OpenTSDB，所述方法包括：
接收到所述业务端发送的数据时，将所述数据存储至所述Hbase；
周期性地利用OpenTSDB对所述Hbase中存储的目标业务端的数据进行的调用，并对调用的数据进行排序与整合处理；
将处理后的数据发送至所述目标业务端。


2.如权利要求1所述的数据监控方法，其特征在于，所述数据存储层还包括HDFS，所述将所述数据存储至所述Hbase的步骤包括：
利用所述HDFS所述数据分类存储至所述Hbase中；
在所述将所述数据存储至所述Hbase的步骤之后，所述方法还包括：
利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩。


3.如权利要求2所述的数据监控方法，其特征在于，所述Hbase的存储空间包括多行与多列，所述利用所述HDFS按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤之前，所述方法包括：
将所述数据按不同列存储至所述Hbase；
所述利用所述OpenTSDB按预设定的时间周期对所述Hbase中存储的数据进行压缩的步骤包括：
当经过一个时间周期时，利用OpenTSDB将所述时间周期内所有列的数据进行压缩，并组成一行数据。


4.如权利要求1所述的数据监控方法，其特征在于，在所述接收到所述业务端发送的数据的步骤之后，所述方法还包括：
通过预设定的规则对所述数据进行筛选，当所述数据不满足所述预设定的规则时，生成告警信息并输出。


5...

【专利技术属性】
技术研发人员：何凯彬，
申请(专利权)人：广州力挚网络科技有限公司，
类型：发明
国别省市：广东;44