消息队列服务性能监控系统及方法技术方案

本发明专利技术公开了消息队列服务性能监控系统及方法，属于消息队列监控技术领域，要解决的技术问题为如何对消息队列的全链路进行监控以及性能分析，以便及时发现性能问题。包括如下步骤：定时收集消息队列性能指标并对消息队列性能指标进行对比，得到消息队列性能指标的增量数据，并将增量数据推送至性能指标服务网关；通过性能指标服务网关将增量数据存储至数据库；从数据库中读取增量数据，对所述增量数据进行分析，得到评估结果，基于评估结果中的告警信息设定对应的整改期限；对运维人员上报的已处理问题进行评估，将通过评估的问题标记为已处理，将未通过评估的问题进行问题升级并继续告警。继续告警。继续告警。

【技术实现步骤摘要】
消息队列服务性能监控系统及方法


[0001]本专利技术涉及消息队列监控
，具体地说是消息队列服务性能监控系统及方法。

技术介绍

[0002]消息队列(MessageQueue简称MQ)是一种进程间通信方式，常被用于消息异步处理、数据同步、订阅发布等业务场景。MQ虽然能够实现快速的消息交付，但其本身没有全链路的跟踪监控，无法保证所有消息都被正常消费，造成数据丢失从而影响业务的正常运行。异常情况包括：
[0003]1)消息在发送、接收过程中丢失；
[0004]2)主题消息订阅者已经失效且未取消订阅，后续发送到该主题的消息继续分发给该订阅者，导致消息积压无法被消费；
[0005]3)消息进入死信队列，没有及时进行处理等。
[0006]如何对消息队列的全链路进行监控以及性能分析，以便及时发现性能问题，是需要解决的技术问题。

技术实现思路

[0007]本专利技术的技术任务是针对以上不足，提供消息队列服务性能监控系统及方法，来解决如何对消息队列的全链路进行监控以及性能分析，以便及时发现性能问题的技术问题。
[0008]第一方面，本专利技术的一种消息队列服务性能监控系统，包括：
[0009]性能指标收集模块，所述性能指标收集模块用于监控消息队列，定时收集消息队列性能指标并对消息队列性能指标进行对比，得到消息队列性能指标的增量数据；
[0010]性能指标服务网关，所述性能指标服务网关与所述性能指标收集模块交互，用于接收性能指标收集模块推送的增量数据；/>[0011]数据库，所述数据库与所述性能指标服务网关交互，用于接收性能指标服务网关推送的增量数据并存储；
[0012]性能指标分析模块，所述性能指标分析模块与所述数据库交互，用于对所述增量数据进行分析，得到评估结果，用于基于评估结果中的告警信息设定对应的整改期限，并用于将评估结果和整改期限推送至对应的运维人员；
[0013]性能指标跟踪反馈模块，所述性能指标跟踪反馈模块面向运维人员，用于支持运维人员上报问题分析和问题处理情况，并对运维人员上报的已处理问题进行评估，将通过评估的问题标记为已处理，将未通过评估的问题进行问题升级并继续告警。
[0014]作为优选，所述性能指标收集模块用于通过比对最后修改时间与上次读取时间的消息队列性能指标的方式，获取消息队列性能指标的增量数据。
[0015]作为优选，所述消息队列性能指标包括服务端性能指标、生产者性能指标、消费者
性能指标和主机性能指标，所述主机性能指标包括服务端实例所在主机的主机性能指标、生产者实例所在主机的主机性能指标以及消费者实例所在主机的主机性能指标。
[0016]作为优选，消息队列的服务端、生产者和消费者均作为目标端；
[0017]所述性能指标收集模块包括：
[0018]队列性能指标收集单元，对于每个目标端，所述队列性能指标收集单元用于通过性能指标收集进程监控所述目标端，用于定时收集目标端对应的消息队列性能指标、并将消息队列性能指标标写入所述目标端对应的日志文件，所述日志文件存储于所述目标端实例所在主机；
[0019]主机性能指标收集单元，对于每个目标端，所述主机性能指标收集单元用于通过日志收集代理程序定时检目标端实例所在主机的主机性能指标、并将主机性能指标写入所述目标端对应的主机日志文件，所述主机日志文件存储所述目标端实例所在主机；
[0020]日志收集代理单元，所述日志收集代理单元用于通过日志收集代理程序定时检测每个目标端的日志文件以及每个目标端的主机日志文件，并用于通过比对日志文件最后修改时间与上次读取时间的方式、获取消息队列性能指标的增量数据，并将增量数据推送至性能指标服务网关；
[0021]对于每个日志文件，每次执行收集消息队列性能指标后，所述日志收集代理单元用于记录日志文件位置及最后修改时间，下次执行后先比对日志文件修改时间是否晚于上次，若是则从上次记录位置读取到日志文件末尾。
[0022]作为优选，所述性能指标分析模块中用于配置分析模型、性能阈值以及告警级别，用于基于分析模型、性能阈值以及告警级别对增量数据进行分析，得到评估结果；
[0023]所述评估结果包括告警信息，所述告警信息包括告警级别，所述告警级别包括正常、提示、警告和严重警告；
[0024]评估结果中告警级别为提示、警告或严重警告时，所述性能指标分析模块用于基于告警级别设定对应的整改期限。
[0025]第二方面，本专利技术的一种消息队列服务性能监控方法，用于通过如第一方面任一项所述的一种消息队列服务性能监控系统对消息队列进行监控，所述方法包括如下步骤：
[0026]监控消息队列，定时收集消息队列性能指标并对消息队列性能指标进行对比，得到消息队列性能指标的增量数据，并将增量数据推送至性能指标服务网关；
[0027]通过性能指标服务网关将增量数据存储至数据库；
[0028]从数据库中读取增量数据，对所述增量数据进行分析，得到评估结果，基于评估结果中的告警信息设定对应的整改期限，并将评估结果和整改期限推送至对应的运维人员；
[0029]基于运维人员上报的问题分析和问题处理情况，对上报的已处理问题进行评估，将通过评估的问题标记为已处理，将未通过评估的问题进行问题升级并继续告警。
[0030]作为优选，通过比对最后修改时间与上次读取时间的消息队列性能指标的方式，获取消息队列性能指标的增量数据。
[0031]作为优选，所述消息队列性能指标包括服务端性能指标、生产者性能指标、消费者性能指标和主机性能指标，所述主机性能指标包括服务端实例所在主机的主机性能指标、生产者实例所在主机的主机性能指标以及消费者实例所在主机的主机性能指标。
[0032]作为优选，消息队列的服务端、生产者和消费者均作为目标端；
[0033]定时收集消息队列性能指标并对消息队列性能指标进行对比，包括如下步骤：
[0034]对于每个目标端，通过性能指标收集进程监控所述目标端，定时收集目标端对应的消息队列性能指标、并将消息队列性能指标标写入所述目标端对应的日志文件，所述日志文件存储于所述目标端实例所在主机；
[0035]对于每个目标端，通过日志收集代理程序定时检测目标端实例所在主机的主机性能指标、并将主机性能指标写入所述目标端对应的主机日志文件，所述主机日志文件存储所述目标端实例所在主机；
[0036]通过日志收集代理程序定时检测每个目标端的日志文件以及每个目标端的主机日志文件，并通过比对日志文件最后修改时间与上次读取时间的方式、获取消息队列性能指标的增量数据，并将增量数据推送至性能指标服务网关；
[0037]对于每个日志文件，每次执行收集消息队列性能指标后，记录日志文件位置及最后修改时间，下次执行后先比对日志文件修改时间是否晚于上次，若是则从上次记录位置读取到日志文件末尾。
[0038]作为优选，通过如下步骤得到评估结果：配置分析模型、性能阈值以及告本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消息队列服务性能监控系统，其特征在于包括：性能指标收集模块，所述性能指标收集模块用于监控消息队列，定时收集消息队列性能指标并对消息队列性能指标进行对比，得到消息队列性能指标的增量数据；性能指标服务网关，所述性能指标服务网关与所述性能指标收集模块交互，用于接收性能指标收集模块推送的增量数据；数据库，所述数据库与所述性能指标服务网关交互，用于接收性能指标服务网关推送的增量数据并存储；性能指标分析模块，所述性能指标分析模块与所述数据库交互，用于对所述增量数据进行分析，得到评估结果，用于基于评估结果中的告警信息设定对应的整改期限，并用于将评估结果和整改期限推送至对应的运维人员；性能指标跟踪反馈模块，所述性能指标跟踪反馈模块面向运维人员，用于支持运维人员上报问题分析和问题处理情况，并对运维人员上报的已处理问题进行评估，将通过评估的问题标记为已处理，将未通过评估的问题进行问题升级并继续告警。2.根据权利要求1所述的消息队列服务性能监控方法，其特征在于所述性能指标收集模块用于通过比对最后修改时间与上次读取时间的消息队列性能指标的方式，获取消息队列性能指标的增量数据。3.根据权利要求1所述的消息队列服务性能监控方法，其特征在于所述消息队列性能指标包括服务端性能指标、生产者性能指标、消费者性能指标和主机性能指标，所述主机性能指标包括服务端实例所在主机的主机性能指标、生产者实例所在主机的主机性能指标以及消费者实例所在主机的主机性能指标。4.根据权利要求1
‑
3任一项所述的消息队列服务性能监控方法，其特征在于消息队列的服务端、生产者和消费者均作为目标端；所述性能指标收集模块包括：队列性能指标收集单元，对于每个目标端，所述队列性能指标收集单元用于通过性能指标收集进程监控所述目标端，用于定时收集目标端对应的消息队列性能指标、并将消息队列性能指标标写入所述目标端对应的日志文件，所述日志文件存储于所述目标端实例所在主机；主机性能指标收集单元，对于每个目标端，所述主机性能指标收集单元用于通过日志收集代理程序定时检目标端实例所在主机的主机性能指标、并将主机性能指标写入所述目标端对应的主机日志文件，所述主机日志文件存储所述目标端实例所在主机；日志收集代理单元，所述日志收集代理单元用于通过日志收集代理程序定时检测每个目标端的日志文件以及每个目标端的主机日志文件，并用于通过比对日志文件最后修改时间与上次读取时间的方式、获取消息队列性能指标的增量数据，并将增量数据推送至性能指标服务网关；对于每个日志文件，每次执行收集消息队列性能指标后，所述日志收集代理单元用于记录日志文件位置及最后修改时间，下次执行后先比对日志文件修改时间是否晚于上次，若是则从上次记录位置读取到日志文件末尾。5.根据权利要求1
‑
3任一项所述的消息队列服务性能监控方法，其特征在于所述性能指标分析模块中用于配置分析模型、性能阈值以及告警级别，用于基于分析模型、性能阈值
以及告警级别对增量数据进行分析，得到评估结果；所述评估结果包括告警信息，所述告警信息包括...

【专利技术属性】
技术研发人员：王青松，王柏华，赵绍祥，黄磊，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：