一种判断存储容量变化量异常的方法、系统及存储介质技术方案

本发明专利技术涉及一种判断存储容量变化量异常的方法、系统及存储介质，所述的方法包括以下步骤：S1：数据采集与预处理的步骤；S2：搭建模型的步骤：S2.1：模型输入层的搭建步骤是，选取文本窗口，本文选择窗口长度为j，输入时，每次选择j个数据点作为输入序列，即输入节点是j；S2.2：模型隐藏层的搭建步骤是，采用单层循环神经网络，节点数是5或10或15或20或25，通过LSTM细胞交互结构，接收输入层的一组时序数据，对该组时序数据进行神经网络训练；输出层是对应于输入序列的下一个时间点的预测结果，同时将结果再次反馈给隐藏层使其不断地进行训练以优化结构；S3：数据预测的步骤：S4：结果异常的判断步骤。

A method, system and storage medium for judging abnormal change of storage capacity

【技术实现步骤摘要】
一种判断存储容量变化量异常的方法、系统及存储介质
本专利技术属于计算机
，具体涉及一种判断存储容量变化量异常的方法、系统及存储介质。
技术介绍
存储系统容量变化量预测主要用于预测未来一段时间内的存储容量的变化情况，使运维人员能够及时了解目前及未来一段时间的存储系统的存储容量变化情况，保证存储系统能够安全正常运行。准确的存储容量变化预测能够及时发现存储系统的潜在风险，确保存储数据中心能够长期安全稳定运行。若存储容量增加过快则可以及时制定合理的扩容计划，有效控制存储中心的成本；当存储容量变化量的增速过低，处于异常情况时，能够及时提醒运维人员进行存储系统的性能检测，以防止是数据存储失败的原因导致的。目前存储系统的存储量变化情况多数依靠设定存储空间已使用比率阈值的方式，当存储空间占用率超出设定的阈值大小时，向系统管理员发送警报，不能进行存储容量变化情况的预测，往往是容量异常变化发生时才会察觉，不利于系统风险的预判。此为现有技术中存在的缺陷。有鉴于此，本专利技术提供一种判断存储容量变化量异常的方法、系统及存储介质；以解决现有技术中存在的缺陷，是非常有必要的。
技术实现思路
针对现有技术的上述不足，本专利技术提供一种判断存储容量变化量异常的方法、系统及存储介质，以解决上述技术问题。为实现上述目的，本专利技术给出以下技术方案：第一方面，本专利技术提供一种判断存储容量变化量异常的方法，包括以下步骤：S1：数据采集与预处理的步骤；S1.1：从客户数据中心每隔一定时间(选择两个小时作为一个时间段)提取存储容量数据，对提取后的存储容量数据进行预处理，预处理操作为清洗存储容量数据中的无效数据和重复数据，以保证所获取数据的有效性和可靠性；S1.2：针对预处理后的存储容量数据，使用ni表示i时刻时刻存储容量的大小，单位是GB，采集一个月的数量进行方法实验，得到30*12个时间点的数据；用Δnt表示i时刻相比较i-1时刻的存储容量变化量的大小，即Δnt＝ni-ni-1，共得到30*12-1＝359变化量值。S2：搭建模型的步骤：S2.1：模型输入层的搭建步骤是，选取文本窗口，本文选择窗口长度为j，输入时，每次选择j个数据点作为输入序列，即输入节点是j；S2.2：模型隐藏层的搭建步骤是，采用单层循环神经网络，节点数是5或10或15或20或25，通过LSTM细胞交互结构，接收输入层的一组时序数据，对该组时序数据进行神经网络训练；输出层是对应于输入序列的下一个时间点的预测结果，即输出节点是1，同时将结果再次反馈给隐藏层使其不断地进行训练以优化结构；神经网络模型的训练目的就是能够找到最恰当的全局最优解和权重，能够将神经网络的训练看作是求解损失函数最小值的问题。本专利技术选择反向传播算法(BackPropagationThroughTime，BPTT)进行训练，首先通过前向计算得出隐藏层和输出层的输出，然后将此输出与训练集中的数据进行对比，然后计算权重的梯度，随后本算法中选择使用Adam对梯度进行优化。本专利技术中训练预测模型主要有以下几个步骤：设置获取计算得到的存储系统容量变化量的数据集D＝{Δnt|i＝1，2，3，...，L},数据集中共有L个数据，设置一个滑动窗口，长度设置为j，每个窗口内的序列数据的前(j-1)维作为一个输入序列，前后相邻的两个数据组相当于向后滑动了一个距离，则数据序列为X＝{xt|i＝1，2，3，...，L-1}，每个序列的数据xt＝{Δni，j|j＝1，2，3，…，j}，即每一个滑动窗口即可得到一个j维的序列数据；在神经网络LSTM中，有L-1个输入数据相当于有L-1个神经元细胞，每个输入数据为xi的前(j-1)维数据，经过网络中隐藏层的前向计算后输出为oi。上一个神经元的输出和细胞的状态使用Ht-1和Ct-1表示，则当前输出为：oi＝LSTMforward(xt，Ct-1，Ht-1)计算损失函数：本专利技术中选择使用均方误差(MSE)计算误差，因此在训练过程中损失函数可表示为：求解损失函数的最小值或通过Loss的梯度下降更新权重参数。训练LSTM神经网络的过程就是不断计算找到Loss的最小值的过程。本专利技术选择使用Adam优化器优化网络，Adam是一种基于一阶梯度来优化随机目标函数的算法，使用该方法能够不断更新权重求取到最优解。S3：数据预测的步骤：在预测集中适用于训练集同样的窗口大小获取输入序列数据，即窗口长度为l，第一次输入一组窗口内的数据后一次向后滑动窗口，每一滑动距离是1，直至滑动结束；将每一个滑窗得到的存储量变化序列数据xi中的前(l-1)维数据送入训练好的预测模型，即可得到预测出下一个时间点的数据，然后统计各个序列数据预测的结果与真实结果的差值，找出其中的最大值和最小值作为，然后再使用数理统计学的3Sigma原则，计算最终的允许合理误差范围；S4：结果异常的判断步骤，选择三个月的历史数据，每天固定间隔采取12次数据，则共有90*12个时间点的数据；经过上述几步的处理后，选取的窗口长度l＝10，则得到序列数据900组，选取前面180组作为训练数据进行模型训练，使用训练好的模型预测训练集计算误差范围。测试时，使用后面180组数据送入预测模型，然后将得到的结果与实际值计算误差，对比误差是否在合理范围内，若不在合理范围内则提醒运维人员出现异常。第二方面，本专利技术提供一种判断存储容量变化量异常的系统，包括：数据采集与预处理模块，该模块中，首先，从客户数据中心每隔一定时间(选择两个小时作为一个时间段)提取存储容量数据，对提取后的存储容量数据进行预处理，预处理操作为清洗存储容量数据中的无效数据和重复数据，以保证所获取数据的有效性和可靠性；其次，针对预处理后的存储容量数据，使用ni表示i时刻时刻存储容量的大小，单位是GB，采集一个月的数量进行方法实验，得到30*12个时间点的数据；用Δni表示i时刻相比较i-1时刻的存储容量变化量的大小，即Δni＝ni-ni-1，共得到30*12-1＝359变化量值。搭建模型模块，该模块中，首先，搭建模型输入层，选取文本窗口，本文选择窗口长度为j，输入时，每次选择j个数据点作为输入序列，即输入节点是j；其次，搭建模型隐藏层，采用单层循环神经网络，节点数是5或10或15或20或25，通过LSTM细胞交互结构，接收输入层的一组时序数据，对该组时序数据进行神经网络训练；输出层是对应于输入序列的下一个时间点的预测结果，即输出节点是1，同时将结果再次反馈给隐藏层使其不断地进行训练以优化结构；神经网络模型的训练目的就是能够找到最恰当的全局最优解和权重，能够将神经网络的训练看作是求解损失函数最小值的问题。本专利技术选择反向传播算法(BackPropagationThroughTime，BPTT)进行训练，首先通过前向计算得出隐藏层和输出层的输出，然后将此输出与训练集中的数据进行对比，然后计算权重的梯度，随本文档来自技高网...

【技术保护点】
1.一种判断存储容量变化量异常的方法，其特征在于，包括以下步骤：/nS1：数据采集与预处理的步骤；/nS1.1：从客户数据中心每隔一定时间提取存储容量数据，对提取后的存储容量数据进行预处理；/nS1.2：针对预处理后的存储容量数据，使用ni表示i时刻时刻存储容量的大小，单位是GB；用Δn

【技术特征摘要】
1.一种判断存储容量变化量异常的方法，其特征在于，包括以下步骤：
S1：数据采集与预处理的步骤；
S1.1：从客户数据中心每隔一定时间提取存储容量数据，对提取后的存储容量数据进行预处理；
S1.2：针对预处理后的存储容量数据，使用ni表示i时刻时刻存储容量的大小，单位是GB；用Δni表示i时刻相比较i-1时刻的存储容量变化量的大小，即Δni＝ni-ni-1，得到变化量值；
S2：搭建模型的步骤：
S2.1：模型输入层的搭建步骤是，
选取文本窗口，本文选择窗口长度为j，输入时，每次选择j个数据点作为输入序列，即输入节点是j；
S2.2：模型隐藏层的搭建步骤是，
采用单层循环神经网络，通过LSTM细胞交互结构，接收输入层的一组时序数据，对该组时序数据进行神经网络训练；输出层是对应于输入序列的下一个时间点的预测结果，即输出节点是1，同时将结果再次反馈给隐藏层使其不断地进行训练以优化结构；
S3：数据预测的步骤：
在预测集中适用于训练集同样的窗口大小获取输入序列数据，即窗口长度为l，第一次输入一组窗口内的数据后一次向后滑动窗口，每一滑动距离是1，直至滑动结束；将每一个滑窗得到的存储量变化序列数据xi中的前维数据送入训练好的预测模型，可得到预测出下一个时间点的数据，然后统计各个序列数据预测的结果与真实结果的差值，找出其中的最大值和最小值，计算最终的允许合理误差范围；
S4：结果异常的判断步骤，
选择历史数据，每天固定间隔采取数据，选取窗口长度之外的数据进行模型训练，使用训练好的模型预测训练集计算误差范围；测试时，窗口长度之内的数据送入预测模型，然后将得到的结果与实际值计算误差，对比误差是否在合理范围内，若不在合理范围内则提醒运维人员出现异常。


2.根据权利要求1所述的一种判断存储容量变化量异常的方法，其特征在于，所述步骤S1.1中，预处理操作为清洗存储容量数据中的无效数据和重复数据。


3.根据权利要求1或2所述的一种判断存储容量变化量异常的方法，其特征在于，所述步骤S1.2中，采集一个月的数量进行方法实验，得到30*12个时间点的数据；用Δni表示i时刻相比较i-1时刻的存储容量变化量的大小，即Δni＝ni-ni-1，共得到30*12-1＝359变化量值。


4.根据权利要求3所述的一种判断存储容量变化量异常的方法，其特征在于，所述步骤S2.2中，节点数是5或10或15或20或25。


5.一种判断存储容量变化量异常的系统，其特征在于...

【专利技术属性】
技术研发人员：李鹏，胡汉顶，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32