一种自适应降低抖动告警的阈值推荐方法技术

本发明专利技术公开一种自适应降低抖动告警的阈值推荐方法。本发明专利技术可以从模型中智能提取推荐阈值，且具有充分的弹性，可根据运维人员经验和新的业务场景对模型结构进行微调，如可以根据告警严重级别、告警开启后到关闭所用的时间、更关注降噪率还是精准率对模型优化方向进行微调，亦可以根据业务场景需要适应三个或三个以上阈值指标的情况。针对告警数据随时间变化存在不稳定性的特性，通过保存最近训练模型权重，下次最新数据进行训练时直接基于历史训练模型权重进行增量学习，有效提高了阈值推荐的自适应能力。同时，本发明专利技术引入了最终是否分割机制，确保模型阈值推荐结果的可用性，保证了系统的稳定性与可靠性。了系统的稳定性与可靠性。了系统的稳定性与可靠性。

【技术实现步骤摘要】
一种自适应降低抖动告警的阈值推荐方法


[0001]本专利技术涉及智能运维系统
，尤其涉及一种自适应降低抖动告警的阈值推荐方法。

技术介绍

[0002]随着互联网的快速发展以及分布式系统出现，如今的运维系统后台规模越来越复杂和庞大，为了实现对系统整体的管理，需要对系统进行全方位的监控；如在物理层需要对服务器CPU、内存各项资源使用进行监控；在数据层需要对数据库的负载等指标进行监控；在应用层需要对应用的性能和可用率进行监控。大型运维系统每分钟产生数十甚至上百条告警，其中抖动类型告警（即告警开启后短时间内关闭，如一分钟内)较多，而这大量的抖动类型告警势必会导致技术人员无法更好的关注到真在需要关注的告警。而人工配置监控阈值又存在主观性较强或无法进行动态调整等缺点，导致产生很多无效告警。
[0003]因此，现有技术存在缺陷，需要改进。

技术实现思路

[0004]本专利技术的目的是克服现有技术的不足，提供一种自适应降低抖动告警的阈值推荐方法。
[0005]本专利技术的技术方案如下：提供一种自适应降低抖动告警的阈值推荐方法，包括如下步骤：步骤1：从数据库读取用户系统的存量告警数据作为原始数据，对原始数据进行预处理，对文本进行拆解，提炼出当中的具体数值，并将相同业务的数值进行整合；步骤2：将完成预处理的原始数据作为本次执行流程的告警数据信息，进行规则筛选，得出当前最优分数；步骤3：根据运维人员经验和新的业务场景对xgboost模型结构进行调整，根据规则过滤后的数据结合不需要进行调整的特征数据对模型进行训练，每次在执行xgboost模型的过程中，会进行模型分割并产生一次分割图，且根据模型评估指标AUC计算并入库相应的leaf得分，记为模型训练得分；步骤4：根据模型训练分数与当前最优分数确定该模型是否达到阈值推荐要求，再判断是否满足实际业务要求，如果没达到阈值推荐要求，则不进行处理，阈值不变；如果达到阈值推荐要求，则进行步骤5；步骤5：根据历史模型分割图的分割路径与分割分数，结合本次模型分割图进行增量学习，确定最终模型分割图；步骤6：根据步骤5中所确定的最终模型分割图判断是否满足业务要求，如果不满足业务要求，则不进行处理，阈值不变；如果满足业务要求，则进行步骤7；步骤7：根据步骤5中所确定的最终模型分割图进行阈值解析，并根据分割分数和样本数量，计算阈值推荐置信度。
[0006]进一步地，所述步骤2的规则筛选为，根据业务规则剔除不需要进行阈值推荐的告警类别和快速生成模型无法训练的阈值推荐，规则筛选的方法包括以下分类：全为抖动告警、全不为抖动告警、以及非抖动与抖动告警重合。
[0007]进一步地，所述步骤3中xgboost模型的可调节模型结构包括：根据降噪率与正确率权衡评估指标、根据告警开启后到关闭所用时间权衡类别权重、以及根据告警严重级别权重样本权重。
[0008]进一步地，所述根据降噪率与正确率权衡评估指标采用F
β
对降噪率与正确率进行权衡，计算得出分割分数，计算公式如下：其中，F
β
为自定义F1计算公式的计算结果；β为惩罚项，当β=1时为标准的F1计算公式，当β＞1时则惩罚正确率，当β＜1时则惩罚降噪率；P为降噪率，R为正确率。
[0009]进一步地，所述步骤3中xgboost模型可替换为catboost模型或lightgbm模型。
[0010]进一步地，所述步骤3中的运维人员经验为根据历史信息中归类总结得出的前端提供相关的交互页面。
[0011]进一步地，模型分割的具体方式为：根据每一个特征对训练数据进行排序，并保存为若干个block结构，block结构的个数与特征数量相等；对每个特征从小到大进行切分，比较每次切分后的目标函数大小，选择下降最大的节点作为该特征的最优切分点；比较不同block结构最优切分点的目标函数下降值，选择下降最大的特征作为最优切分点，以此得出分割分数。
[0012]进一步地，所述增量学习指在设定的周期内将新的数据注入到已进行训练的模型中，使得模型进行再学习，并对数据更新入库。
[0013]采用上述方案，本专利技术可以从模型中智能提取推荐阈值，且具有充分的弹性，可根据运维人员经验和新的业务场景对模型结构进行微调，如可以根据告警严重级别、告警开启后到关闭所用的时间、更关注降噪率还是精准率对模型优化方向进行微调，亦可以根据业务场景需要适应三个或三个以上阈值指标的情况。针对告警数据随时间变化存在不稳定性的特性，通过保存最近训练模型权重，下次最新数据进行训练时直接基于历史训练模型权重进行增量学习，有效提高了阈值推荐的自适应能力。同时，本专利技术引入了最终是否分割机制，确保模型阈值推荐结果的可用性，保证了系统的稳定性与可靠性。
附图说明
[0014]图1为本专利技术的总体架构图。
[0015]图2为模型推荐模块流程图。
[0016]图3为模型分割图与增量学习流程图。
[0017]图4为分割路径二叉树图。
具体实施方式
[0018]以下结合附图和具体实施例，对本专利技术进行详细说明。
[0019]请参阅图1，本专利技术提供一种自适应降低抖动告警的阈值推荐方法，包括如下步骤：步骤1：从数据库读取用户系统的存量告警数据作为原始数据，对原始数据进行预处理，对文本进行拆解，提炼出当中的具体数值，并将相同业务的数值进行整合。原始数据为企业的系统中所接收与保存的存量告警数据，包括历史告警数据以及新产生的告警数据。
[0020]步骤2：将完成预处理的原始数据作为本次执行流程的告警数据信息，进行规则筛选，得出当前最优分数。每个业务的告警都可分为抖动告警或非抖动告警，通过用户定义的规则进行筛选，从而去除抖动告警，并计算产生推荐阈值和置信度。
[0021]步骤3：根据运维人员经验和新的业务场景对xgboost模型结构进行调整，根据规则过滤后的数据结合不需要进行调整的特征数据对模型进行训练，每次在执行xgboost模型的过程中，会进行模型分割并产生一次分割图，且根据模型评估指标AUC计算并入库相应的leaf得分，记为模型训练得分。
[0022]运维人员经验为根据历史信息中归类总结得出的前端提供相关的交互页面。假设成功率的阈值推荐为70%，但根据历史信息所归总得出的运维人员经验认为95%的成功率作为阈值推荐的界限更可靠，则可选择不接受该阈值推荐，前端即可反馈到后端算法中。
[0023]模型分割的具体方式为：根据每一个特征对训练数据进行排序，并保存为若干个block结构，block结构的个数与特征数量相等；对每个特征从小到大进行切分，比较每次切分后的目标函数大小，选择下降最大的节点作为该特征的最优切分点；比较不同block结构最优切分点的目标函数下降值，选择下降最大的特征作为最优切分点，以此得出分割分数。
[0024]不同的用户，或者同一用户在不同时间节点、任务场景中，需要使用的各项数据、参数都有所差别，因此在执行新的业务场景时，需要用户对参数进行修改、调整，以适应推荐阈值的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应降低抖动告警的阈值推荐方法，其特征在于，包括如下步骤：步骤1：从数据库读取用户系统的存量告警数据作为原始数据，对原始数据进行预处理，对文本进行拆解，提炼出当中的具体数值，并将相同业务的数值进行整合；步骤2：将完成预处理的原始数据作为本次执行流程的告警数据信息，进行规则筛选，得出当前最优分数；步骤3：根据运维人员经验和新的业务场景对xgboost模型结构进行调整，根据规则过滤后的数据结合不需要进行调整的特征数据对模型进行训练，每次在执行xgboost模型的过程中，会进行模型分割并产生一次分割图，且根据模型评估指标AUC计算并入库相应的leaf得分，记为模型训练得分；步骤4：根据模型训练分数与当前最优分数确定该模型是否达到阈值推荐要求，再判断是否满足实际业务要求，如果没达到阈值推荐要求，则不进行处理，阈值不变；如果达到阈值推荐要求，则进行步骤5；步骤5：根据历史模型分割图的分割路径与分割分数，结合本次模型分割图进行增量学习，确定最终模型分割图；步骤6：根据步骤5中所确定的最终模型分割图判断是否满足业务要求，如果不满足业务要求，则不进行处理，阈值不变；如果满足业务要求，则进行步骤7；步骤7：根据步骤5中所确定的最终模型分割图进行阈值解析，并根据分割分数和样本数量，计算阈值推荐置信度。2.根据权利要求1所述的自适应降低抖动告警的阈值推荐方法，其特征在于，所述步骤2的规则筛选为，根据业务规则剔除不需要进行阈值推荐的告警类别和快速生成模型无法训练的阈值推荐，规则筛选的方法包括以下分类：全为抖动告警、全不为抖动告警、以及非抖动与抖动告警重合。3.根据权利要求1所述的自适应降低抖动告警的阈值推荐方法，其特征在于，所...

【专利技术属性】
技术研发人员：卢杨辉，段超，
申请(专利权)人：腾云悦智科技长沙有限责任公司，
类型：发明
国别省市：