数据监控处理方法、装置、设备及存储介质制造方法及图纸

本申请适用于通信技术领域，提供了一种数据监控处理方法、装置、设备及存储介质，包括：从消息队列中实时采集并存储待处理数据；根据所述待处理数据确定数据告警值，所述数据告警值包括以下至少一项：数据堆积值、数据处理速率值、数据存储速率值；当所述数据告警值满足预设告警条件时，进行告警。该方案通过实时地采集消息队列中的待处理数据，实现对待处理数据的动态监管，可以防止数据大量堆积。可以防止数据大量堆积。可以防止数据大量堆积。

【技术实现步骤摘要】
数据监控处理方法、装置、设备及存储介质


[0001]本申请涉及通信
，尤其涉及一种数据监控处理方法、装置、设备及存储介质。

技术介绍

[0002]兔子消息队列(Rabbit Message Queue，RabbitMQ)是一个开源的消息队列中间件，遵循高级消息队列协议(Advanced Message Queuing Protocol，AMQP)协议，通常用于在分布式系统中进行消息的传递和处理，一般通过交换机和队列的组合来实现生产者和消费者之间的解耦和异步通信，从而提供可靠的消息传递机制。
[0003]在信息传递的过程中，可能会出现消费者的消费能力不足或者队列容量不够等情况，导致大量消息在队列中等待，造成数据堆积。
[0004]在相关方案中，主要是通过增强消费者的数量来加强消费者的消息处理速度，或者是通过调整队列的容量，扩大队列中能够存储的消息数量来延缓数据堆积。但是采取上述方式只能较为机械地处理小部分数据的情形，难以处理较大数量级的数据。

技术实现思路

[0005]本申请实施例提供了一种数据监控处理方法，可以解决如何更加高效地监控并处理数据以防止数据堆积的技术问题。
[0006]第一方面，本申请实施例提供了一种数据监控处理方法，包括：
[0007]从消息队列中实时采集并存储待消费处理数据。
[0008]根据待处理数据确定数据告警值，数据告警值包括以下至少一项：数据堆积值、数据处理速率值、数据存储速率值。
[0009]当数据告警值满足预设告警条件时，进行告警。
[0010]通过实时地采集消息队列中的待处理数据，然后根据获取到的待处理数据确定相应的数据告警值，进而判断是否需要告警，以让相关管理人员能够及时了解是否会出现异常情况并及时应对，可以实现对待处理数据的动态监管，防止数据大量堆积。
[0011]在一个实施例中，上述从消息队列中实时采集并存储待处理数据，包括：
[0012]利用指标采集器从消息队列中实时采集待处理数据，并将待处理数据发送到监控工具中进行存储。
[0013]在一个实施例中，上述方法还包括：
[0014]利用监控工具判断数据告警值是否满足预设告警条件，并进行告警。
[0015]在一个实施例中，上述预设告警条件包括：当数据堆积值大于或等于预设堆积值时，进行告警，上述利用监控工具判断数据告警值是否满足预设告警条件，并进行告警，包括：当监控工具监测到数据堆积值大于或等于预设堆积值时，发布告警信息。
[0016]在一个实施例中，上述预设告警条件包括：当数据处理速率值小于或等于预设处理速率值时，进行告警，上述利用监控工具判断数据告警值是否满足预设告警条件，并进行
告警，还包括：当监控工具监测到数据处理速率值小于或等于预设处理速率值时，发布告警信息。
[0017]在一个实施例中，上述预设告警条件包括：当数据存储速率值大于或等于预设存储速率值时，进行告警，上述利用监控工具判断数据告警值是否满足预设告警条件，并进行告警，还包括：
[0018]当监控工具监测到数据存储速率值大于或等于预设存储速率值时，发布告警信息。
[0019]在一个实施例中，上述方法还包括：通过监控工具发送告警信息给警报管理器；利用警报管理器对告警信息进行处理。
[0020]第二方面，本申请实施例提供了一种数据监控处理装置，该装置具有实现第一方面或其任意可能的实现方式中的方法的功能。具体地，该装置包括实现第一方面或其任意可能的实现方式中的方法的单元。
[0021]在其中的一个实施例中，该装置包括：
[0022]获取单元，用于从消息队列中实时采集并存储待处理数据；
[0023]处理单元，用于根据待处理数据确定数据告警值，数据告警值包括以下至少一项：数据堆积值、数据处理速率值、数据存储速率值；
[0024]告警单元，当数据告警值满足预设告警条件时，进行告警。
[0025]第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，该处理器执行计算机程序时，使得计算机设备实现上述第一方面任意一种实现方式的方法。
[0026]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被计算机设备执行时，使得计算机设备实现上述第一方面任意一种实现方式的方法。
[0027]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备实现上述第一方面任意一种实现方式的方法。
[0028]本申请实施例与现有技术相比存在的有益效果是：通过实时地采集消息队列中的待处理数据，可以清晰地了解到队列中的待处理数据的数据状态，然后根据获取到的待处理数据确定对应的数据告警值，进而判断是否需要告警，可以实现对待处理数据的动态监管，防止数据大量堆积，保证系统的正常运行，提升用户体验。
附图说明
[0029]图1是本申请实施例提供的RabbitMQ的工作原理图。
[0030]图2是本申请实施例提供的一种数据监控处理方法的流程示意图。
[0031]图3是本申请实施例提供的另一种数据监控处理方法的流程示意图。
[0032]图4是本申请实施例提供的装置的结构示意图。
[0033]图5是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
[0034]RabbitMQ是一款使用Erlang语言开发的实现高级消息队列协议的开源消息中间
件，可以用于应用程序与应用程序之间的通信。
[0035]在RabbitMQ中，消息是传递的基本单位，消息存储在消息队列中，包括要传递的数据和相关的元数据等。
[0036]图1是本申请实施例提供的RabbitMQ的工作原理图。如图1所示，在需要进行信息交换时，生产者(Producer)将消息发送到RabbitMQ的交换机(Exchange)中，交换机根据对应的规则将消息路由到一个或多个消息队列(Queue)中(图1中仅示出一个)，等待消费者(Consumer)来处理。消费者可以从队列中获取消息进行处理，直到消息队列中的所有消息被处理完毕。
[0037]为了便于理解，下面先对本申请实施例涉及的相关术语及等概念进行介绍。
[0038](1)RabbitMQ
[0039]RabbitMQ允许应用程序之间通过消息进行通信，而不是直接依赖于网络连接。它提供了一个可靠的消息传递机制，确保消息能够安全地传递给目标应用程序。它支持发布
‑
订阅模式和点对点模式，可以满足不同应用场景的需求。RabbitMQ的核心概念包括：生产者(Producer)、消费者(Consumer)、队列(Queue)、交换机(Exchange)、绑定(Binding)以及路由键(Routing Key)。
[0040]其中，生产者是指发送本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控处理方法，其特征在于，包括：从消息队列中实时采集并存储待处理数据；根据所述待处理数据确定数据告警值，所述数据告警值包括以下至少一项：数据堆积值、数据处理速率值、数据存储速率值；当所述数据告警值满足预设告警条件时，进行告警。2.根据权利要求1所述的方法，其特征在于，所述从消息队列中实时采集并存储待处理数据，包括：利用指标采集器从消息队列中实时采集所述待处理数据，并将所述待处理数据发送到监控工具中进行存储。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：利用所述监控工具判断所述数据告警值是否满足所述预设告警条件，并进行告警。4.根据权利要求3所述的方法，其特征在于，所述预设告警条件包括：当所述数据堆积值大于或等于预设堆积值时，进行告警，所述利用所述监控工具判断所述数据告警值是否满足所述预设告警条件，并进行告警，包括：当所述监控工具监测到所述数据堆积值大于或等于预设堆积值时，发布告警信息。5.根据权利要求3所述的方法，其特征在于，所述预设告警条件包括：当所述数据处理速率值小于或等于预设处理速率值时，进行告警，所述利用所述监控工具判断所述数据告警值是否满足所述预设告警条件，并进行告警，包括：当所述监控工具监测到所述数据处理速率值小于或等于预设处理速率值时，发布告警信息。6.根据权利要求3所述的方法...

【专利技术属性】
技术研发人员：宋佳城，万跃敏，王留锁，胡衍平，陈建伟，
申请(专利权)人：秦皇岛泰和安科技有限公司，
类型：发明
国别省市：