一种预测磁盘故障的方法、系统、设备和存储介质技术方案

本发明专利技术提供一种预测磁盘故障的方法、系统、设备和存储介质，方法包括：对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式；将预处理后的数据输入到预测模型中，以得到样本级的预测结果；以及通过漏桶算法将所述样本级的预测结果映射到磁盘级的预测结果，并根据所述磁盘级的预测结果确定磁盘是否发生故障。本发明专利技术在磁盘级水平判断磁盘是否有发生故障的可能，减少因样本级故障预测结果的偶然性而造成的运营成本浪费。运营成本浪费。运营成本浪费。

【技术实现步骤摘要】
一种预测磁盘故障的方法、系统、设备和存储介质


[0001]本专利技术涉及故障预测领域，更具体地，特别是指一种预测磁盘故障的方法、系统、设备和存储介质。

技术介绍

[0002]数据的指数级增长给数据安全带来了极大的挑战，而磁盘作为数据的主要存储媒介，其可靠性直接关系到数据的可用性。然而，磁盘一旦发生故障，其保存的数据难以恢复甚至不可恢复。因此，如何提升磁盘的可靠性从而确保数据安全，成为了运维人员最为关注的问题之一。
[0003]目前，提高磁盘可靠性的手段主要有两种：一是通过冗余存储和后备系统等相关手段来提高磁盘保存数据的可靠性，常见的有多副本和纠删码，当发生故障的磁盘数目小于磁盘允许最大故障数目时，可以对数据进行恢复，保证数据的安全性，这种技术通常会降低存储的得盘率即可以自由支配的磁盘容量占全部磁盘容量的比例；二是可以检测磁盘运行过程中的相关指标，利用指标数据训练出磁盘故障预测模型，通过模型对磁盘故障进行预测，预测出未来一段时间磁盘是否故障，通过及时更换故障盘来避免不必要的损失，确保数据的安全。其中，磁盘运行过程的指标是通过自我监控、分析和报告技术(Self
‑
Monitoring Analysis and Reporting Technology，SMART)进行监控。
[0004]在生产过程中，当磁盘处于活动状态时，SMART会持续监控磁盘健康状态，获取SMART数据，将获取的最新数据输入到磁盘故障预测模型中，得到预测结果。然而，上述阶段得到的预测结果为单个样本的预测结果，而不是磁盘级的预测结果，即只要该磁盘产生的样本中，有一个样本被预测为故障，那么就认为该磁盘即为故障盘。然而，由于磁盘故障预测问题是一个数据极不平衡的问题，健康磁盘的SMART数据占绝大多数，略微增加的误报率将导致运营成本的大量浪费，因此故障预测问题要求在保持低误报率的同时，还要保证故障检测率保持在较高的水平，即不能仅凭单个样本的预测结果来作为磁盘是否故障的依据，而是要通过合适的决策方法，综合考虑同一磁盘的多个样本级结果，来对磁盘是否发生故障进行判别。

技术实现思路

[0005]有鉴于此，本专利技术实施例的目的在于提出一种预测磁盘故障的方法、系统、计算机设备及计算机可读存储介质，本专利技术将样本级预测结果映射到磁盘级预测结果，减少样本级水平预测结果的偶然性造成的成本浪费。
[0006]基于上述目的，本专利技术实施例的一方面提供了一种预测磁盘故障的方法，包括如下步骤：对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式；将预处理后的数据输入到预测模型中，以得到样本级的预测结果；以及通过漏桶算法将所述样本级的预测结果映射到磁盘级的预测结果，并根据所述磁盘级的预测结果确定磁盘是否发生故障。
[0007]在一些实施方式中，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：将获取的原始SMART数据按照磁盘类型进行分类，并为每个型号的所有磁盘建立数据文件。
[0008]在一些实施方式中，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：利用Pearson相关系数计算各变量特征之间的相关性，根据变量之间的相关性删除第一预设数量个特征；以及利用Pearson相关系数计算自变量SMART特征与因变量故障标签之间的相关性的绝对值，将SMART特征按绝对值降序排列，选取前第二数量个特征组成训练集和测试集。
[0009]在一些实施方式中，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：将数据文件中的所有乱码值置零，并采用前后加权平均的方式对空缺的数据进行补全。
[0010]在一些实施方式中，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：将SMART属性作为第一个维度，将时间作为第二个维度，使用滑动窗口的方式构建出二维数据图。
[0011]在一些实施方式中，所述通过漏桶算法将所述样本级的预测结果映射到磁盘级的预测结果包括：为每个磁盘分配一个漏桶，将同一磁盘的样本级预测结果按照时间顺序组成队列依次输入到漏桶算法中；所述漏桶算法将故障的样本级预测结果进行保存，并设置一个故障的样本级预测结果占据一个单元；以及设置漏桶以预设间隔时间丢弃所述漏桶中保存的单元。
[0012]在一些实施方式中，所述根据所述磁盘级的预测结果确定磁盘是否发生故障包括：响应于漏桶出现溢出情况，将磁盘级预测结果设定为故障。
[0013]本专利技术实施例的另一方面，提供了一种预测磁盘故障的系统，包括：转换模块，配置用于对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式；预测模块，配置用于将预处理后的数据输入到预测模型中，以得到样本级的预测结果；以及执行模块，配置用于通过漏桶算法将所述样本级的预测结果映射到磁盘级的预测结果，并根据所述磁盘级的预测结果确定磁盘是否发生故障。
[0014]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0015]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0016]本专利技术具有以下有益技术效果：
[0017](1)本专利技术可以适用于任何磁盘故障预测模型，不受磁盘型号限制，适用性强，能够降低样本级预测水平偶然性带来的影响，减少不必要的浪费，节省运营成本；
[0018](2)本专利技术将磁盘SMART数据根据型号进行分类，对各个型号的磁盘数据进行分别处理，符合实际生产环境；根据相关性和模型精度筛选出与故障相关性最高的SMART特征，能够有效降低数据量，提升效率；利用前后加权平均的方法对缺失数据进行补全，能够有效解决SMART数据特征缺失的问题，并将数据转变为二维数据类图的形式，以利用SMART特征的时间局部性以及满足模型的输入要求；
[0019](3)本专利技术选择基于异常检测的故障预测模型，将预处理好的数据输入到磁盘故障预测模型中，得到预测结果，并将多个样本级预测结果按照时间顺序形成队列，依次输入到漏桶算法中，根据预测结果判断是否将其放入到漏桶中，并通过判断漏桶中的所占空间大小，将样本级预测结果映射到磁盘级水平，易于操作实现，具有很好的实践意义。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预测磁盘故障的方法，其特征在于，包括如下步骤：对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式；将预处理后的数据输入到预测模型中，以得到样本级的预测结果；以及通过漏桶算法将所述样本级的预测结果映射到磁盘级的预测结果，并根据所述磁盘级的预测结果确定磁盘是否发生故障。2.根据权利要求1所述的预测磁盘故障的方法，其特征在于，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：将获取的原始SMART数据按照磁盘类型进行分类，并为每个型号的所有磁盘建立数据文件。3.根据权利要求1所述的预测磁盘故障的方法，其特征在于，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：利用Pearson相关系数计算各变量特征之间的相关性，根据变量之间的相关性删除第一预设数量个特征；以及利用Pearson相关系数计算自变量SMART特征与因变量故障标签之间的相关性的绝对值，将SMART特征按绝对值降序排列，选取前第二数量个特征组成训练集和测试集。4.根据权利要求2所述的预测磁盘故障的方法，其特征在于，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包括：将数据文件中的所有乱码值置零，并采用前后加权平均的方式对空缺的数据进行补全。5.根据权利要求1所述的预测磁盘故障的方法，其特征在于，所述对原始SMART数据进行预处理以将所述原始SMART数据转换成磁盘故障预测模型所需的标准化输入格式包...

【专利技术属性】
技术研发人员：贾上坤，郭坤，李娟，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：