一种基于深度学习的磁盘故障预测规避方法及系统技术方案

本发明专利技术涉及一种基于深度学习的磁盘故障预测规避方法及系统，该方法包括以下步骤：S1：获取磁盘的状态数据；S2：对获取的磁盘状态数据进行预处理；S3：利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；S4：LSTM故障预测模型对各个模态分量分别进行预测，并将多个预测值叠加得到预测结果，并根据预测结果获得磁盘的运行状况；S5：根据磁盘运行状况对磁盘存储数据进行备份，并降低访问频率；S6：通过邮件通知管理员磁盘运行状况，并提供磁盘检修意见。本发明专利技术提高了磁盘故障预测的准确率和效率，提供稳定智能化的存储服务，同时降低磁盘维护的复杂性和成本。同时降低磁盘维护的复杂性和成本。同时降低磁盘维护的复杂性和成本。

【技术实现步骤摘要】
一种基于深度学习的磁盘故障预测规避方法及系统


[0001]本专利技术涉及磁盘故障预测
，具体是涉及一种基于深度学习的磁盘故障预测规避方法及系统。

技术介绍

[0002]随着互联网和物联网技术的迅猛发展，数据中心的存储规模急剧扩张，数据存储的可靠性面临着巨大的挑战。其中，磁盘是数据存储的主要媒介，其能否提供稳定可靠的数据访问能力，直接影响了服务器的可靠运行。然而，磁盘是服务器硬件故障率较高的部件之一，并且其发生故障时的影响最为恶劣。磁盘一旦出现故障，其中的存储数据可能会永久丢失，也可能会造成集群服务宕机，给企业和个人带来严重的损失。通过对存储数据的磁盘进行故障预测是保证数据中心数据存储安全的一种有效方法，其可以提前发现即将故障的磁盘，并对磁盘中的数据和应用进行迁移，从而最大限度减少由磁盘故障造成的损失。
[0003]目前，磁盘厂商基本都采用SMART的主动容错技术来对磁盘状态进行监测和分析，为磁盘容量设置一个阈值来保证系统的可靠性，这种方法简单易行，然而厂商基于设计规则制定的磁盘异常检测效果非常差，并且在预测的时间方面也存在滞后性。
[0004]随着智能运维的发展，将机器学习算法引入到运维场景，通过机器学习算法建立磁盘的故障预测模型，可以提前发现磁盘的运行情况，提高数据中心存储的可靠性和安全性。现有可用于磁盘故障预测的统计学和机器学习的算法有很多，如传统算法决策树、支持向量机、贝叶斯模型、马尔可夫模型、神经网络等。相比于磁盘本身的阈值预警有了很多的改善，但这些传统的单一预测算法都没有很令人满意，其预测的性能并不稳定，对正常磁盘的预测准确性较高，而对故障磁盘预测的准确性相对较低，而且预测模型的有效预测时间也比较短。

技术实现思路

[0005]本专利技术解决的技术问题是：现有磁盘故障的预测功能不稳定，无法有效规避磁盘故障导致的数据丢失的问题。
[0006]针对上述现有技术中存在的缺陷，本专利技术的目的在于提供一种基于深度学习的磁盘故障预测规避方法及系统，该故障预测方法可以提高磁盘故障预测的准确率和效率，提供更稳定、高性能、智能化的存储服务，使存储服务能更好地适应用户需求，同时降低存储的复杂性和维护成本。
[0007]本专利技术的技术方案如下：一种基于深度学习的磁盘故障预测规避方法，包括以下步骤：S1：数据获取模块在预设时刻获取磁盘的状态数据；S2：数据处理模块对模型预测模块获取的磁盘状态数据进行预处理；S3：数据分解模块利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；
S4：模型预测模块内LSTM故障预测模型对各个模态分量分别进行预测，并将多个预测值叠加得到预测结果，并根据预测结果获得磁盘的运行状况；S5：数据传输模块根据磁盘运行状况对磁盘存储数据进行备份，并对应磁盘的故障率更改磁盘的读写率，以限制该磁盘的访问次数，其中，磁盘存储数据已通过分区模块按照数据重要性分区；S6：通知模块当日工作时间通过邮件通知管理员磁盘运行状况，并提供磁盘检修意见。
[0008]进一步地，步骤S5包括以下子步骤：S51：数据传输模块获取磁盘的工作状态；S52：当磁盘运行正常且备用磁盘为空白时，数据传输模块不工作；S53：当磁盘运行正常且备用磁盘不为空白时，数据传输模块清空备用磁盘；S54：当磁盘运行故障概率大于等于故障处理阈值且前一个运行周期运行正常时，数据传输模块将磁盘内最重要的存储内容传输至备用磁盘，并降低磁盘的访问次数；S55：当磁盘运行故障概率大于等于故障处理阈值，前一个运行周期磁盘运行故障概率大于等于故障处理阈值，前两个运行周期磁盘运行正常时，数据传输模块将磁盘内次重要的存储内容传输至备用磁盘，并再次降低磁盘的访问次数；S56：当磁盘运行故障概率大于等于故障处理阈值，前一个运行周期和前两个运行周期磁盘运行故障概率均大于等于故障处理阈值时，数据传输模块将磁盘内剩余数据全部传入备用磁盘后，将磁盘的访问地址修改为备用磁盘，此时，磁盘停止工作等待检修，备用磁盘代替磁盘工作。
[0009]进一步地，LSTM故障预测模型包括：基于Adam算法计算梯度的一阶矩估计和二阶矩估计，以使得LSTM的网络参数具有独立的自适应性学习率，并对LSTM训练得到LSTM故障预测网络模型。
[0010]进一步地，LSTM故障预测模型的构建过程，包括以下步骤：SA1：获取历史磁盘状态数据，并将其分为训练数据集、验证数据集和测试数据集；SA2：对训练数据集中的历史磁盘状态数据进行预处理；SA3：利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；SA4：基于Adam算法优化LSTM的网络参数；SA5：利用优化的LSTM故障预测模型对各模态分量进行预测；SA6：将多个预测值进行线性叠加，得到预测结果；SA7：对预测结果进行误差评估，以调整LSTM故障预测模型的网络参数，并最终得到LSTM故障预测模型。
[0011]进一步地，LSTM故障预测模型的训练过程，包括以下步骤：SB1：对验证数据集中的历史磁盘状态数据进行预处理；SB2：利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；SB3：基于Adam算法优化LSTM故障预测模型的网络参数；SB4：利用优化的LSTM故障预测模型对各模态分量进行预测；SB5：将多个预测值进行线性叠加，得到预测结果；SB6：对预测结果进行误差评估，以调整LSTM故障预测模型的网络参数；SB7：重复上述SB1-SB6预测步骤，使得最终调整的LSTM故障预测模型的网络参数，对应
的预测结果的误差位于期望范围内。
[0012]更进一步地，LSTM故障预测模型的测试验证过程，包括以下步骤：SC1：对测试数据集中的历史磁盘状态数据进行预处理；SC2：利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；SC3：利用调整网络参数后的LSTM故障预测模型对各模态分量进行预测；SC4：将多个预测值进行线性叠加，得到预测结果；SC5：将预测结果与实际结果进行对比，得到对比结果；SC6：基于对比结果构建模型评价指标体系，并确定最终的LSTM故障预测模型。
[0013]优选地，模型评价指标体系基于召回率Recall和误报率Fpr构建，其公式为：优选地，模型评价指标体系基于召回率Recall和误报率Fpr构建，其公式为：式中，TY表示磁盘实际为故障，通过LSTM故障预测模型判定为故障的磁盘个数；FY表示磁盘实际为正常，通过LSTM故障预测模型判定为故障的磁盘个数；FN表示磁盘实际为故障，通过LSTM故障预测模型判定为正常的磁盘个数。
[0014]优选地，对获取的磁盘状态数据进行预处理包括数据清洗、数据特征的选择和数据的规范化处理操作。
[0015]优选地，磁盘状态数据为磁盘的SMART数据，包括磁头飞行高度、磁盘盘片转速、电机、电路和磁盘温度，以及马达旋转时间。
[0016]一种磁盘故障预测规避系统，包括：用于临时替代故障磁盘工作的备用磁盘；用于对磁盘和备用磁盘进行分区的分区模块；用于根据磁盘品牌、容量、寿命进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的磁盘故障预测规避方法，其特征在于，该方法包括以下步骤：S1：数据获取模块在预设时刻获取磁盘的状态数据；S2：数据处理模块对模型预测模块获取的磁盘状态数据进行预处理；S3：数据分解模块利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；S4：模型预测模块内LSTM故障预测模型对各个模态分量分别进行预测，并将多个预测值叠加得到预测结果，并根据预测结果获得磁盘的运行状况；S5：数据传输模块根据磁盘运行状况对磁盘存储数据进行备份，并对应磁盘的故障率更改磁盘的读写率，以限制该磁盘的访问次数，其中，磁盘存储数据已通过分区模块按照数据重要性分区；S6：通知模块当日工作时间通过邮件通知管理员磁盘运行状况，并提供磁盘检修意见。2.如权利要求1所述方法，其特征在于，所述步骤S5包括以下子步骤：S51：数据传输模块获取磁盘的工作状态；S52：当磁盘运行正常且备用磁盘为空白时，数据传输模块不工作；S53：当磁盘运行正常且备用磁盘不为空白时，数据传输模块清空备用磁盘；S54：当磁盘运行故障概率大于等于故障处理阈值且前一个运行周期运行正常时，数据传输模块将磁盘内最重要的存储内容传输至备用磁盘，并降低磁盘的访问次数；S55：当磁盘运行故障概率大于等于故障处理阈值，前一个运行周期磁盘运行故障概率大于等于故障处理阈值，前两个运行周期磁盘运行正常时，数据传输模块将磁盘内次重要的存储内容传输至备用磁盘，并再次降低磁盘的访问次数；S56：当磁盘运行故障概率大于等于故障处理阈值，前一个运行周期和前两个运行周期磁盘运行故障概率均大于等于故障处理阈值时，数据传输模块将磁盘内剩余数据全部传入备用磁盘后，将磁盘的访问地址修改为备用磁盘，此时，磁盘停止工作等待检修，备用磁盘代替磁盘工作。3.如权利要求1所述方法，其特征在于，所述LSTM故障预测模型包括：基于Adam算法计算梯度的一阶矩估计和二阶矩估计，以使得LSTM的网络参数具有独立的自适应性学习率，并对LSTM训练得到LSTM故障预测网络模型。4.如权利要求1所述方法，其特征在于，所述LSTM故障预测模型的构建过程，包括以下步骤：SA1：获取历史磁盘状态数据，并将其分为训练数据集、验证数据集和测试数据集；SA2：对训练数据集中的历史磁盘状态数据进行预处理；SA3：利用变分模态分解对预处理后的数据进行分解，得到多个非线性的模态分量；SA4：基于Adam算法优化LSTM的网络参数；SA5：利用优化的LSTM故障预测模型对各模态分量进行预测；SA6：将多个预测值进行线性叠加，得到预测结果；SA7：对预测结果进行误差评估，以调整LSTM故障预测模型的网络参数，并最终得到LSTM故障预测模型。5.如权利要求4所述方法，其...

【专利技术属性】
技术研发人员：韩丹，东虎，周龙飞，
申请(专利权)人：北京蒙帕信创科技有限公司，
类型：发明
国别省市：