一种监控数据的方法和装置制造方法及图纸

本发明专利技术提供一种监控数据的方法和装置，由于对监控源进行了分类，因而分散了监控系统压力；同时采用消息队列以及实时数据处理系统对数据进行处理，不仅提升了监控系统的容错性；另外，由于采用双消息队列，因而避免压力波动产生的运行风险，提升了系统的稳定性。本发明专利技术的方法包括：采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中；将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果；根据所述计算结果确定所述待监控数据中的异常数据，然后输出该异常数据。

A method and device for monitoring data

The present invention provides a method and a device for monitoring data, due to the monitoring source are classified, and distributed monitoring system pressure; while using the message queue and real-time data processing system for data processing, not only to enhance the fault tolerance of the system; in addition, due to the dual message queue, thus avoiding the operation risk of pressure fluctuation to produce, and enhance the stability of the system. The method of the invention comprises: acquisition of the monitoring data, and then enter the message queue monitoring data into different monitoring source packet respectively; each subsystem of the input message queue in data input and calculation system, and then obtain the various subsystems of calculation results obtained according to the data; according to the calculation results to determine the abnormal data for monitoring data, and then output the abnormal data.

【技术实现步骤摘要】
一种监控数据的方法和装置
本专利技术涉及计算机及其软件
，特别涉及一种监控数据的方法和装置。
技术介绍
随着互联网的快速发展，数据呈现爆炸式的增长模式；随之而来的是，数据监控系统通常需负责监控几万多台服务器运行情况、负责监控几十万调度任务的执行情况、以及负责监控海量数据的采集、搬运、计算、存储工作，因此，一个能够稳定并且高效运行的监控系统对于一些企业或者电商平台来讲至关重要。现有技术中，无论是收费、开源、还是自主开发的监控系统，其本质都是：采集系统运行数据与用户设定的阀值进行比对。将异常数据进行时时展现或者以告警信息的方式反馈相关人员。但是，由于现有的监控系统由于受到技术能力、硬件资源等条件限制，通常都会存在数据处理上限，在对数据进行处理的过程中，一旦超出系统上限，系统轻则运行缓慢、重则系统宕机、更有甚者将面临数据丢失的风险。综上所述，现有的数据监控系统通常由于技术能力以及硬件资源的限制，从而使得对数据的处理能力受到影响，特别是在需要处理海量数据时，通常会超出系统处理上限，不仅无法对及时处理数据，而且可能会因为一些问题导致系统运行缓慢，甚至监控系统宕机，最终导致数据丢失以及企业无法正常运行。
技术实现思路
有鉴于此，本专利技术提供一种监控数据的方法和装置，由于对监控源进行了分类，因而能够在数据处理过程中分散监控系统压力；同时采用消息队列以及实时数据处理系统对数据进行处理，不仅提升了监控系统的容错性；并且由于将实时计算系统拆分为多个独立子系统，使各子系统可不依赖于系统环境独立运行、可以支持热插拔，提升了系统的扩展性，提升了监控系统的运行效率；另外，由于采用双消息队列，因而避免压力波动产生的运行风险，提升了系统的稳定性。为实现上述目的，根据本专利技术的一个方面，提供了一种监控数据的方法。本专利技术的监控数据的方法包括：采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中；将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果；所述子系统是用于实现监控系统不同功能的计算分支；根据所述计算结果确定所述待监控数据中的异常数据，然后输出该异常数据。可选地，所述根据所述计算结果确定所述待监控数据中的异常数据的步骤包括：将所述计算结果与用户预设的监控阈值范围进行比对，将不符合所述监控阈值范围的监控数据作为异常数据。可选地，输出该异常数据的步骤包括：将所述异常数据存入输出消息队列中；将输出消息队列中的所述异常数据输出。可选地，所述输出该异常数据的步骤之后，还包括：将所述异常数据以图表和列表形式展现给用户。可选地，所述子系统为插件式子系统。根据本专利技术的另一个方面，提供了一种监控数据的装置。本专利技术的监控数据的装置包括：采集模块，用于采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中；计算模块，用于将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果；所述子系统是用于实现监控系统不同功能的计算分支；输出模块，用于根据所述计算结果确定所述待监控数据中的异常数据，然后输出该异常数据。可选地，所述输出模块还用于：将所述计算结果与用户预设的监控阈值范围进行比对，将不符合所述监控阈值范围的监控数据作为异常数据。可选地，所述输出模块还用于：将所述异常数据存入输出消息队列中，然后将输出消息队列中的所述异常数据输出。可选地，还包括：展示模块，用于将所述异常数据以图表和列表形式展现给用户。可选地，所述子系统为插件式子系统。根据本专利技术的技术方案，由于对监控源进行了分类，因而能够在数据处理过程中分散监控系统压力；同时采用消息队列以及实时数据处理系统对数据进行处理，不仅提升了监控系统的容错性；并且由于将实时计算系统拆分为多个独立子系统，使各子系统可不依赖于系统环境独立运行、可以支持热插拔，提升了系统的扩展性，提升了监控系统的运行效率；另外，由于采用双消息队列，因而避免压力波动产生的运行风险，提升了系统的稳定性。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的一种监控数据的方法的示意图；图2是根据本专利技术实施例的一种监控数据的装置的示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本专利技术实施例的一种监控数据的方法的示意图。如图1所示，本专利技术实施例的监控数据的方法主要包括如下的步骤S10至S12。步骤S10：采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中。在该步骤中，所提到的监控源分组可以根据不同的分类方法进行分组，例如：按照业务类型进行分类，将监控源分为：服务器监控源、调度任务监控源、数据质量监控源、以及集群监控源等；按照数据量级进行分类，将服务器分为：核心节点服务器、计算类服务器、以及存储服务器；除了所举例的两种分类方法，也可以按标签、时间等维度对监控源进行分组；该步骤中所提到的输入消息队列与监控源分组一一对应，例如：按服务器监控源、调度任务监控源、数据质量监控源、集群监控五个类型分组，那么对应的消息队列分别为：服务器消息队列、调度任务消息队列、数据质量消息队列、集群消息队列五个消息队列。本专利技术实施例的技术方案中，将输入消息队列分组后，能够有效的分散压力，使不同类别的监控源数据运行在不同的消息队列中，即使个别消息队列因故障无法运行也不会影响其他消息队列正常运行，并且采用消息队列分组的方法有利于故障定位、故障隔离；可以采用ApacheKafka系统作为输入消息队列，因为ApacheKafka系统提供了稳定的消息队列分组功能(topic)。步骤S11：将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果。在该步骤中，所提到的子系统是用于实现监控系统不同功能的计算分支；并且子系统采用插件式子系统，支持热插拔，同时各子系统相互可独立；能够支持监控系统快速横向扩展。例如：当某个子系统运行压力过大时，可立即启用多个同样的子系统进行横向扩展，保证了计算系统在压力波动情况的正常运行。例如，可以将计算系统拆分为：核心子系统、阈值子系统、存活子系统、以及波及子系统；其中，核心子系统：负责监控资源、监控节点、监控指标、监控数据的存储；阀值子系统：负责监控指标的比对；存活子系统：负责轮询监控源是否存活；波及子系统：负责异常结果的状态更新以及相关信息更新；除了上述所提到的子系统外，也可以分成负责其他独立功能的子系统；在本专利技术实施例技术方案中采用Storm实时计算系统，Storm开源免费、性能稳定、部署简单；同时为Storm实时计算系统配备Hbase列式数据库，用于满足Storm实时计算系统需求。步骤S12：根据所述计算结果确定所述待监控数据中的异常数据，然后将该异常数据输出。在该步骤中，将步骤S11所得到的计算结果与用本文档来自技高网...

【技术保护点】
一种监控数据的方法，其特征在于，包括：采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中；将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果；所述子系统是用于实现监控系统不同功能的计算分支；根据所述计算结果确定所述待监控数据中的异常数据，然后输出该异常数据。

【技术特征摘要】
1.一种监控数据的方法，其特征在于，包括：采集待监控数据，然后将该监控数据存入不同监控源分组所分别对应的输入消息队列中；将所述输入消息队列中的数据输入计算系统的各个子系统，然后获取所述各个子系统根据所述数据进行计算从而得到的计算结果；所述子系统是用于实现监控系统不同功能的计算分支；根据所述计算结果确定所述待监控数据中的异常数据，然后输出该异常数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述计算结果确定所述待监控数据中的异常数据的步骤包括：将所述计算结果与用户预设的监控阈值范围进行比对，将不符合所述监控阈值范围的监控数据作为异常数据。3.根据权利要求1所述的方法，其特征在于，输出该异常数据的步骤包括：将所述异常数据存入输出消息队列中；将输出消息队列中的所述异常数据输出。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述输出该异常数据的步骤之后，还包括：将所述异常数据以图表和列表形式展现给用户。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述子系统为插件...

【专利技术属性】
技术研发人员：李冬峰，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11