【技术实现步骤摘要】
本专利技术涉及一种基于改进lightgbm模型的sql异常检测方法、系统，属于数据库运维领域。
技术介绍
1、数据库管理系统中，系统运行效率、稳定性与sql语句的性能有直接关系，随着数据库业务系统的逐渐复杂和数据量的不断增长，sql语句性能问题的影响也越来越严重。为保障数据库高效运行，及时检测和处理sql性能异常至关重要。
2、top sql表示一组对数据库性能影响最大的sql语句，用于记录并分析执行时间最长或资源消耗最高的sql语句。通过分析top sql数据，系统能够有效识别可能引发性能问题的sql语句，并根据cpu使用率、i/o负载、内存占用等多种性能指标进行综合评估，从而发现sql语句的性能异常。
3、现有的sql语句性能异常检测通常依赖于机器学习算法实现自动分析与预测，其中lightgbm算法具有高效的特征处理能力和更精准的分类性能，被广泛用于数据库管理系统中。然而，在基于top sql性能数据进行异常检测时，lightgbm算法仍存在以下不足：
4、1、叶子节点分裂策略：现有lightgbm算法主要通过目标函数的下降幅度确定叶子节点的分裂。面对更加复杂、多维度的性能数据时，这种分裂策略容易导致模型过度生长。尤其是面对高度关联的性能指标，如cpu使用率、i/o负载、内存占用等，模型为了能在短期内获得目标函数的显著下降，倾向于深度分裂，但深度增长仅在训练数据上有较高的准确率，容易导致模型复杂度过高，在具体应用中出现过拟合现象，导致对未知sql语句的泛化能力不足。
5、2、连
6、因此，当前基于top sql性能数据的异常检测面临的挑战在于如何优化现有的lightgbm算法，使其既能有效控制模型复杂度，又能更精准地捕捉和利用连续特征的分布信息。这些问题的解决对于提升sql性能异常检测的精度和可靠性具有重要意义。
技术实现思路
1、本专利技术提出一种基于top sql性能数据的sql异常检测方法，包括：
2、(1)数据预处理：实时从数据库中采集top sql性能数据，并对采集到的数据进行预处理。
3、(2)异常检测模块：进行模型训练和异常检测，并在sql执行过程中实时监控系统的性能指标，并检测潜在的性能异常。
4、(3)告警管理模块：当系统检测到sql语句的性能异常时，生成告警信息并推送给相关运维人员；并负责系统配置管理、日志管理和用户权限管理。
5、其中，模型训练时，采用基于改进后的lightgbm算法进行模型训练和异常检测。
6、进一步地，改进后的lightgbm算法具体步骤为：
7、2.1定义训练样本集为m＝[(z1,y1),…,(zn,yn)]，表示训练数据集合m，包括n个样本，每个样本由一个输入zi和对应的目标输出yi组成；
8、2.2计算自适应正则化其中，μ1和μ2为正则化的权重参数，|wj|为叶子节点的权重绝对值，k为当前树中的叶子节点数量。
9、进一步地，在叶子节点分裂过程中，目标函数为其中，ij为叶子节点j的集合；gr为第r个样本的损失函数的一阶导数，hr为第r个样本的损失函数的二阶导数，λ为正则化参数，α(dj)为关于当前节点深度dj的深度惩罚因子，β(bj)为关于分箱质量的惩罚项，γ为叶子节点数量的惩罚系数；其中kde(xt)为第t个样本在分箱bj中的核密度估计值，θ为控制惩罚强度的超参数，m为总的分箱数量，|bj|为分箱bj中的样本数量。
10、基于上述方法，本专利技术又提出一种基于改进lightgbm模型的sql异常检测系统，该系统包括：
11、(1)数据预处理模块：该模块包括数据采集层和数据处理层，数据采集层实时从数据库中采集top sql性能数据，数据处理层对采集到的数据进行预处理。
12、(2)异常检测模块：该模块包括模型训练层、实时检测层，模型训练层进行模型训练和异常检测，实时检测层在sql执行过程中实时监控系统的性能指标，并检测潜在的性能异常。
13、(3)告警管理模块：该模块包括告警分析层、系统管理层；当系统检测到sql语句的性能异常时，告警分析层负责生成告警信息并推送给相关运维人员；
14、系统管理层负责系统配置管理、日志管理和用户权限管理。
15、其中，模型训练层采用基于改进后的lightgbm算法进行模型训练和异常检测。
16、进一步地，改进后的lightgbm算法具体步骤为：
17、2.1定义训练样本集为m＝[(z1,y1),…,(zn,yn)]，表示训练数据集合m，包括n个样本，每个样本由一个输入zi和对应的目标输出yi组成；
18、2.2计算自适应正则化其中，μ1和μ2为正则化的权重参数，|wj|为叶子节点的权重绝对值，k为当前树中的叶子节点数量。
19、进一步地，在叶子节点分裂过程中，目标函数为其中，ij为叶子节点j的集合；gr为第r个样本的损失函数的一阶导数，hr为第r个样本的损失函数的二阶导数，λ为正则化参数，α(dj)为关于当前节点深度dj的深度惩罚因子，β(bj)为关于分箱质量的惩罚项，γ为叶子节点数量的惩罚系数；其中kde(xt)为第t个样本在分箱bj中的核密度估计值，θ为控制惩罚强度的超参数，m为总的分箱数量，|bj|为分箱bj中的样本数量。
20、采用本专利技术后，每次选择分裂时，除了选择能使目标函数下降最大的叶子节点外，本专利技术还引入了与深度相关的惩罚因子。这使得树在生长过程中能够控制深度和复杂度，避免过拟合。深度越大的叶子节点，其分裂的增益必须越大才能通过分裂判定，从而有效限制了模型的过度生长。本专利技术还使用基于核密度估计(kde)的离散化方法，能够更加精准地捕捉连续特征的分布情况。这种精细的离散化处理不仅减少了信息损失，还提升了模型的训练效果。在目标函数中引入了与分箱质量相关的惩罚项，从而促使模型在选择分裂点时更加谨慎，避免选择不良分箱带来的误差。
本文档来自技高网...【技术保护点】
1.一种基于Top SQL性能数据的SQL异常检测方法，具体步骤包括：
2.如权利要求1所述的一种基于Top SQL性能数据的SQL异常检测方法，其特征在于：改进后的LightGBM算法具体步骤为：
3.如权利要求2所述的一种基于Top SQL性能数据的SQL异常检测方法，其特征在于：在叶子节点分裂过程中，目标函数为其中，Ij为叶子节点j的集合；gr为第r个样本的损失函数的一阶导数，hr为第r个样本的损失函数的二阶导数，λ为正则化参数，α(dj)为关于当前节点深度dj的深度惩罚因子，β(Bj)为关于分箱质量的惩罚项，γ为叶子节点数量的惩罚系数；其中KDE(xt)为第t个样本在分箱Bj中的核密度估计值，θ为控制惩罚强度的超参数，m为总的分箱数量，|Bj|为分箱Bj中的样本数量。
4.一种基于改进LightGBM模型的SQL异常检测系统，该系统包括：
5.如权利要求4所述的一种基于Top SQL性能数据的SQL异常检测系统，其特征在于：改进后的LightGBM算法具体步骤为：
6.如权利要求5所述的一种基于Top SQL性能
...【技术特征摘要】
1.一种基于top sql性能数据的sql异常检测方法，具体步骤包括：
2.如权利要求1所述的一种基于top sql性能数据的sql异常检测方法，其特征在于：改进后的lightgbm算法具体步骤为：
3.如权利要求2所述的一种基于top sql性能数据的sql异常检测方法，其特征在于：在叶子节点分裂过程中，目标函数为其中，ij为叶子节点j的集合；gr为第r个样本的损失函数的一阶导数，hr为第r个样本的损失函数的二阶导数，λ为正则化参数，α(dj)为关于当前节点深度dj的深度惩罚因子，β(bj)为关于分箱质量的惩罚项，γ为叶子节点数量的惩罚系数；其中kde(xt)为第t个样本在分箱bj中的核密度估计值，θ为控制惩罚强度的超参数，m为总的分箱数量，|bj|为分箱bj中的样本数量。
...【专利技术属性】
技术研发人员：张铎，刘亚，
申请(专利权)人：北京新数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。