一种存储集群告警预测方法和装置制造方法及图纸

本发明专利技术公开了一种存储集群告警预测方法和装置，方法包括：基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；将数据集划分为训练集和测试集，使用训练集训练支持向量机模型并使用测试集测试支持向量机模型的准确率；使用支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在实时告警信息之间建立基于故障的关联。本发明专利技术能够快速和自动地处理告警信息以准确预测和定位故障，提高存储集群的安全性和稳定性。

【技术实现步骤摘要】
一种存储集群告警预测方法和装置
本专利技术涉及故障告警领域，更具体地，特别是指一种存储集群告警预测方法和装置。
技术介绍
在大规模存储集群的日程运行中，存储集群的数据库存储了整个集群运行中因各种异常情况而产生的故障告警，如集群网卡故障、网络异常、集群某个节点断电、存储池剩余空间不足、集群监测服务异常等，因此在大规模集群运行过程中如果某一点出现故障则可能会引发一系列告警信息，如果不能及时对产生的告警进行处理，其产生的后果也难以估量，同时也不利于集群使用者、运维人员和研发人员对集群的维护和使用。针对现有技术中告警处理缓慢、难以定位具体故障的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种存储集群告警预测方法和装置，能够快速和自动地处理告警信息以准确预测和定位故障，提高存储集群的安全性和稳定性。基于上述目的，本专利技术实施例的第一方面提供了一种存储集群告警预测方法，包括执行以下步骤：基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；将数据集划分为训练集和测试集，使用训练集训练支持向量机模型并使用测试集测试支持向量机模型的准确率；使用支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在实时告警信息之间建立基于故障的关联。在一些实施方式中，基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量包括：基于告警预测的监测期、预警期、和预测期的预期时间长度确定采样滑动窗口的固定步长；使用采样滑动窗口基于固定步长在全部时间上遍历历史告警信息获得多个告警事件序列采样；从每个告警事件序列采样分别提取出告警序列的特征向量。在一些实施方式中，监测期为限定告警事件的时间段；预警期为限定故障发生前采取必要措施所需的时间段；预测期为限定故障持续的时间段。在一些实施方式中，进行归一化处理以形成数据集包括：对特征向量执行二范数归一化并聚合形成数据集。在一些实施方式中，使用训练集训练支持向量机模型包括：使用训练集中的一个特征向量对支持向量机模型进行随机交叉优化训练；使用径向基核函数将原空间中的非线性问题转化为新空间的线性问题，在新空间中基于结构化最小化原则确定最优分类超平面作为训练结果。在一些实施方式中，使用训练集训练支持向量机模型还包括：基于最优分类超平面而反馈性地调整支持向量机模型的惩罚因子和径向基核函数的宽度；使用训练集中的另一个特征向量对支持向量机模型重新进行随机交叉优化训练。在一些实施方式中，还包括：在使用测试集测试支持向量机模型的准确率同时，还使用测试集进一步修正支持向量机模型。本专利技术实施例的第二方面提供了一种存储集群告警预测装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；将数据集划分为训练集和测试集，使用训练集训练支持向量机模型并使用测试集测试支持向量机模型的准确率；使用支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在实时告警信息之间建立基于故障的关联。在一些实施方式中，使用训练集训练支持向量机模型包括：使用训练集中的一个特征向量对支持向量机模型进行随机交叉优化训练；使用径向基核函数将原空间中的非线性问题转化为新空间的线性问题，在新空间中基于结构化最小化原则确定最优分类超平面作为训练结果。在一些实施方式中，使用训练集训练支持向量机模型还包括：基于最优分类超平面而反馈性地调整支持向量机模型的惩罚因子和径向基核函数的宽度；使用训练集中的另一个特征向量对支持向量机模型重新进行随机交叉优化训练。本专利技术具有以下有益技术效果：本专利技术实施例提供的存储集群告警预测方法和装置，通过基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；将数据集划分为训练集和测试集，使用训练集训练支持向量机模型并使用测试集测试支持向量机模型的准确率；使用支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在实时告警信息之间建立基于故障的关联的技术方案，能够快速和自动地处理告警信息以准确预测和定位故障，提高存储集群的安全性和稳定性，及时快速的预测大规模存储集群将要产生的告警，从而给人们预留足够的应对时间，避免出现集群的不可修复故障。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的存储集群告警预测方法的流程示意图；图2为本专利技术提供的存储集群告警预测方法的模型特征提取的详细流程图；图3为本专利技术提供的存储集群告警预测方法的模型训练和验证的详细流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种能够快速和自动地处理告警信息以准确预测和定位故障的存储集群告警预测方法的一个实施例。图1示出的是本专利技术提供的存储集群告警预测方法的流程示意图。所述的存储集群告警预测方法，如图1所示，包括执行以下步骤：步骤S101：基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；步骤S103：将数据集划分为训练集和测试集，使用训练集训练支持向量机模型并使用测试集测试支持向量机模型的准确率；步骤S105：使用支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在实时告警信息之间建立基于故障的关联。为了提高对大规模存储集群的维护和使用效率，同时提高应对各种告警的处理效率，本专利技术将支持向量机模型引入到大规模存储集群告警预测中，通过训练好的模型提前预测集群要产生的告警和相关联的其他告警，以此来避免存储集群因为故障而停止服务而产生的损失，也能够帮助存储集群使用者、运维人员和研发人员更好进行告警关联、故障定位和故障预测。本专利技术在使用大规模存储集群时，根据已经训练好的支持向量机模型能够自动预测集群因为各种故障而产生的各种告警信息，提前告知集群的运维人员或者使用者采取相应的应对措施，避免因为集群各种故障而造成的经济或其它损失，同时可以更好的提高集群的安全性和稳定性本文档来自技高网...

【技术保护点】
1.一种存储集群告警预测方法，其特征在于，包括执行以下步骤：/n基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；/n将所述数据集划分为训练集和测试集，使用所述训练集训练支持向量机模型并使用所述测试集测试所述支持向量机模型的准确率；/n使用所述支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在所述实时告警信息之间建立基于故障的关联。/n

【技术特征摘要】
1.一种存储集群告警预测方法，其特征在于，包括执行以下步骤：
基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量，并进行归一化处理以形成数据集；
将所述数据集划分为训练集和测试集，使用所述训练集训练支持向量机模型并使用所述测试集测试所述支持向量机模型的准确率；
使用所述支持向量机模型基于实时告警信息预测和定位存储集群的故障，并在所述实时告警信息之间建立基于故障的关联。


2.根据权利要求1所述的方法，其特征在于，基于告警预测的预期时间分段从存储集群的历史告警信息中提取特征向量包括：
基于告警预测的监测期、预警期、和预测期的预期时间长度确定采样滑动窗口的固定步长；
使用所述采样滑动窗口基于所述固定步长在全部时间上遍历所述历史告警信息获得多个告警事件序列采样；
从每个所述告警事件序列采样分别提取出告警序列的特征向量。


3.根据权利要求2所述的方法，其特征在于，所述监测期为限定告警事件的时间段；所述预警期为限定故障发生前采取必要措施所需的时间段；所述预测期为限定故障持续的时间段。


4.根据权利要求2所述的方法，其特征在于，进行归一化处理以形成数据集包括：
对所述特征向量执行二范数归一化并聚合形成所述数据集。


5.根据权利要求1所述的方法，其特征在于，使用所述训练集训练支持向量机模型包括：
使用所述训练集中的一个所述特征向量对所述支持向量机模型进行随机交叉优化训练；
使用径向基核函数将原空间中的非线性问题转化为新空间的线性问题，在新空间中基于结构化最小化原则确定最优分类超平面作为训练结果。


6.根据权利要求5所述的方法，其特征在于，使用所述...

【专利技术属性】
技术研发人员：庆隆阳，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32