数据库运行监控方法、系统、装置及存储介质制造方法及图纸

本发明专利技术公开一种数据库运行监控方法、系统、装置及存储介质，涉及数据库技术领域。本申请通过网络抓包技术监听面向目标数据库的请求报文，然后对请求报文进行分析得到请求数据库的SQL语句信息并进行存储，SQL语句信息包括执行次数、请求业务类型、执行语句和执行节点等。根据请求业务类型对应的节点请求数阈值和语句的执行次数自动生成异常节点和分析报告，分析报告包括高频语句报告、热点表报告和请求接入报告等内容，再基于分析报告显示解析得到的执行语句，以对执行语句进行运维优化。本申请能够对面向数据库的SQL语句进行高效监控，提高数据库运行的稳定性。提高数据库运行的稳定性。提高数据库运行的稳定性。

【技术实现步骤摘要】
数据库运行监控方法、系统、装置及存储介质


[0001]本专利技术涉及数据库
，尤其涉及一种数据库运行监控方法、系统、装置及存储介质。

技术介绍

[0002]随着互联网时代的到来，项目的量级或是需求的提高，应用软件的开发架构也越来越复杂，投入的研发人数也越来越多，每个研发人员对分布式数据库使用能力各不相同，SQL语句影响着数据库的稳定运行，目前通过人工逐条分析数据库的操作日志，判断是否存在异常的高频语句或者请求效率低下，不能保证分布式数据库的稳定运行。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种数据库运行监控方法、系统、装置及存储介质，能够对面向数据库的SQL语句进行高效监控，提高数据库运行的稳定性。
[0004]一方面，本专利技术实施例提供了一种数据库运行监控方法，包括以下步骤：
[0005]基于网络抓包技术采集面向目标数据库的请求报文；
[0006]根据所述请求报文获取并存储SQL语句信息，其中，SQL语句信息包括执行次数、请求业务类型、执行语句和执行节点；
[0007]根据所述请求业务类型对应的节点请求数阈值和所述执行次数，判断是否生成异常节点和分析报告，其中，所述分析报告包括高频语句报告、热点表报告和请求接入报告；
[0008]基于所述分析报告显示所述执行语句，以对所述执行语句进行运维优化。
[0009]根据本专利技术一些实施例，所述数据库运行监控方法还包括以下步骤：
[0010]将采集到的SQL语句信息写入Kafka消息中间件；
[0011]基于流式计算技术，消费并统计所述Kafka消息中间件中的SQL语句信息，得到统计类数据和内容类数据；
[0012]将所述统计类数据存储至关系型数据库，将所述内容类数据存储至全文搜索型数据库，其中，所述内容类数据包括语句详情、执行节点和热点表。
[0013]根据本专利技术一些实施例，所述基于网络抓包技术采集面向目标数据库的请求报文包括以下步骤：
[0014]基于安装在目标数据库的packetbeat工具，监听目标数据库的端口；
[0015]通过目标数据库的端口，采集所述请求报文。
[0016]根据本专利技术一些实施例，所述根据所述请求报文获取并存储SQL语句信息包括以下步骤：
[0017]按照数据库通讯协议解析从目标数据库的端口接收到的请求报文，得到SQL语句信息；
[0018]对所述SQL语句信息中的执行语句进行去参，得到SQL语句指纹编码；
[0019]通过红黑树的形式存储SQL语句指纹编码的压缩值，其中，当执行语句的采集时间小于录入时间，则对执行语句进行推送。
[0020]根据本专利技术一些实施例，所述根据所述请求业务类型对应的节点请求数阈值和所述执行次数，判断是否生成异常节点和分析报告包括以下步骤：
[0021]判断SQL语句的执行次数是否大于所述节点请求数阈值；
[0022]当所述执行次数大于所述节点请求数阈值，则判断是否存在初始化的异常节点记录；
[0023]当不存在初始化的异常节点记录，则将当前异常的执行节点记录在关系型数据库中；
[0024]当存在初始化的异常节点记录，则判断当前时间减去上一次超阈值时间是否大于校验期时长；
[0025]当当前时间减去上一次超阈值时间大于校验期时长，则生成分析报告，反之，更新所述关系型数据库中的异常节点。
[0026]根据本专利技术一些实施例，所述请求接入报告包括客户端请求数和占比分析、应用请求数和占比分析和请求类型分析。
[0027]根据本专利技术一些实施例，所述数据库运行监控方法还包括以下步骤：
[0028]配置需要监听的数据库主机信息、采集端信息、Kafka消息中间件主机信息；
[0029]创建用户身份、配置用户角色以及配置角色权限；
[0030]初始化Kafka消息中间件、关系型数据库和全文搜索型数据库的配置信息；
[0031]配置数据库基本信息，包括节点请求数阈值和校验期时长。
[0032]另一方面，本专利技术实施例还提供一种数据库运行监控系统，包括：
[0033]数据采集模块，用于基于网络抓包技术采集面向目标数据库的请求报文；
[0034]统计分析模块，用于根据所述请求报文获取并存储SQL语句信息，其中，SQL语句信息包括执行次数、请求业务类型、执行语句和执行节点；
[0035]数据库分析模块，用于根据所述请求业务类型对应的节点请求数阈值和所述执行次数，判断是否生成异常节点和分析报告，其中，所述分析报告包括高频语句报告、热点表报告和请求接入报告；
[0036]运维模块，用于基于所述分析报告显示所述执行语句，以对所述执行语句进行运维优化。
[0037]另一方面，本专利技术实施例还提供一种数据库运行监控装置，包括：
[0038]至少一个处理器；
[0039]至少一个存储器，用于存储至少一个程序；
[0040]当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的数据库运行监控方法。
[0041]另一方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的数据库运行监控方法。
[0042]本专利技术上述的技术方案至少具有如下优点或有益效果之一：通过网络抓包技术监听面向目标数据库的请求报文，然后对请求报文进行分析得到请求数据库的SQL语句信息
并进行存储，SQL语句信息包括执行次数、请求业务类型、执行语句和执行节点等。根据请求业务类型对应的节点请求数阈值和语句的执行次数自动生成异常节点和分析报告，分析报告包括高频语句报告、热点表报告和请求接入报告等内容，再基于分析报告显示解析得到的执行语句，以对执行语句进行运维优化。本申请能够对面向数据库的SQL语句进行高效监控，提高数据库运行的稳定性。
附图说明
[0043]图1是本专利技术实施例提供的数据库运行监控方法流程图；
[0044]图2是本专利技术实施例提供的集成系统框架示意图；
[0045]图3是本专利技术实施例提供的数据库运行监控过程示意图；
[0046]图4是本专利技术实施例提供的分析报告生成逻辑示意图。
具体实施方式
[0047]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0048]在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库运行监控方法，其特征在于，包括以下步骤：基于网络抓包技术采集面向目标数据库的请求报文；根据所述请求报文获取并存储SQL语句信息，其中，SQL语句信息包括执行次数、请求业务类型、执行语句和执行节点；根据所述请求业务类型对应的节点请求数阈值和所述执行次数生成异常节点和分析报告，其中，所述分析报告包括高频语句报告、热点表报告和请求接入报告；基于所述分析报告显示所述执行语句，以对所述执行语句进行运维优化。2.根据权利要求1所述的数据库运行监控方法，其特征在于，所述数据库运行监控方法还包括以下步骤：将采集到的SQL语句信息写入Kafka消息中间件；基于流式计算技术，消费并统计所述Kafka消息中间件中的SQL语句信息，得到统计类数据和内容类数据；将所述统计类数据存储至关系型数据库，将所述内容类数据存储至全文搜索型数据库，其中，所述内容类数据包括语句详情、执行节点和热点表。3.根据权利要求2所述的数据库运行监控方法，其特征在于，所述基于网络抓包技术采集面向目标数据库的请求报文包括以下步骤：基于安装在目标数据库的packetbeat工具，监听目标数据库的端口；通过目标数据库的端口，采集所述请求报文。4.根据权利要求3所述的数据库运行监控方法，其特征在于，所述根据所述请求报文获取并存储SQL语句信息包括以下步骤：按照数据库通讯协议解析从目标数据库的端口接收到的请求报文，得到SQL语句信息；对所述SQL语句信息中的执行语句进行去参，得到SQL语句指纹编码；通过红黑树的形式存储SQL语句指纹编码的压缩值，其中，当执行语句的采集时间小于录入时间，则对执行语句进行推送。5.根据权利要求4所述的数据库运行监控方法，其特征在于，所述根据所述请求业务类型对应的节点请求数阈值和所述执行次数生成异常节点和分析报告包括以下步骤：判断SQL语句的执行次数是否大于所述节点请求数阈值；当所述执行次数大于所述节点请求数阈值，则判断是否存在初始化...

【专利技术属性】
技术研发人员：高浩然，付虹博，刘昌臻，张宇，丁霞，朱明，
申请(专利权)人：天翼物联科技有限公司，
类型：发明
国别省市：