基于ARIMA模型的容量预测装置及其控制方法制造方法及图纸

本发明专利技术公开了一种基于ARIMA模型的容量预测装置及其控制方法，所述容量预测装置包括调度策略模块：调用样本数据采集模块进行历史数据采集；样本数据采集模块：采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：根据训练样本时间序列的特征建立并训练预测模型；导入预测样本数据到预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。本发明专利技术对主机、集群、网络设备和存储设备的容量指标数据进行采集计算、异常数据处理、数据清洗、数据降噪，生成容量预测数据，及根据扩容策略生成扩容建议数据，整个过程完全自动化，预测准确。

【技术实现步骤摘要】
基于ARIMA模型的容量预测装置及其控制方法
本专利技术涉及一种容量预测装置及其控制方法，尤其涉及一种基于ARIMA模型的容量预测装置及其控制方法。
技术介绍
随着企业的IT架构日益庞大，对IT环境中设备容量使用情况等信息的管理已日趋重要与细化，如业务系统的主机CPU使用率、内存使用率、网络设备接口流入/出带宽利用率、存储容量使用率等，现有监控技术已对这些设备的容量使用情况进行了有效的监控与告警。监控系统对被监控的设备进行设定监控指标与设定指标告警阀值，定期采集指标数据值并与告警阀值做简单比较，当采集数据值达到或超过了阀值则发出告警。现有监控技术能有效监控当前设备容量使用量并发出告警，只能得知设备容量当前使用情况，但无法提前预知什么时候达到90％，什么时候达到100％，什么时候需要扩容，扩容多少。因此，发生告警时，第一时间进行扩容等处理。或者人工进行预测，根据运维人员的个人经验，主观判断容量是否需要扩容。目前的方法存在如下问题：1.通过监控告警的方式进行容量管理，风险较大，容易影响线上业务。2.人工预测的主观性较强，较为考验运维人员的运维能力及经验，没有保障。ARIMA模型全称为自回归积分滑动平均模型(AutoregressiveIntegratedMovingAverageModel,简记ARIMA)，是由博克思(Box)和詹金斯(Jenkins)于70年代初提出一著名时间序列(Time-seriesApproach)预测方法，所以又称为Box-Jenkins模型、博克思-詹金斯法。其中ARIMA(p，d，q)称为差分自回归移动平均模型，AR是自回归，p为自回归项；MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差分次数。所谓ARIMA模型，是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。ARIMA模型根据原序列是否平稳以及回归中所含部分的不同，包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARMA)以及ARIMA过程。因此，提出一种基于ARIMA预测模型的容量预测装置及其控制方法进行容量预测是非常有必要的。
技术实现思路
本专利技术要解决的技术问题是提供一种基于ARIMA模型的容量预测装置及其控制方法，实现容量的自动预测并提供扩容建议。本专利技术为解决上述技术问题而采用的技术方案是提供一种基于ARIMA模型的容量预测装置，包括调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。进一步的，所述样本数据采集模块连接有数据处理模块，所述样本数据采集模块根据调度策略设定需要采集的容量指标，所述数据处理模块根据设定的容量指标获取相应的历史数据，对历史数据进行数据处理得到训练样本数据，并将训练样本数据对应于时间点形成训练样本时间序列。进一步的，所述容量指标包括主机、存储、网络和集群的容量指标，主机的容量指标包括CPU使用率和内存使用率，存储的容量指标包括存储容量使用率，网络的容量指标包括接口流入带宽利用率和接口流出带宽利用率，集群的容量指标包括CPU使用率和内存使用率；所述主机、网络和集群的容量指标通过抽取相应监控指标的历史趋势数据获取；所述存储的容量指标存储容量使用率，通过在主机上抓取LUN信息，获取在该LUN上建立的文件系统存储空间的使用情况，得到各个存储设备的已知剩余空间和已知总空间，其中已知剩余空间通过累加各个文件系统剩余空间得到，已知总空间通过累加各个LUN的存储空间得到，存储设备的容量使用率通过公式容量使用率＝(已知总空间-已知剩余空间)/已知总空间*100计算得到。进一步的，所述数据处理具体包括异常数据处理、数据清洗和数据降噪；异常数据处理是将主机和网络的容量指标在获取数据时统一转换成百分比数值；数据清洗是在设有主备集群的主机的集群容量指标获取时，主备集群各自获取数据，然后针对同一指标按照时间刻度对数据值进行比较，取较大值者作为该指标的数据；数据降噪是将经过异常数据处理、数据清洗的数据以自然周为单位划分，使用正态分布算法，过滤出概率大于99％的数据，取每个自然周中大小在前30％的数据进行求平均值，并对应于时间得到训练样本时间序列。进一步的，所述容量预测模块连接有扩容策略模块，所述容量预测模块包括主机扩容策略、集群扩容策略、存储扩容策略和网络扩容策略；所述扩容建议生成模块生成的扩容建议数据包括计划扩容量和计划扩容时间。本专利技术为解决上述技术问题而采用的另一技术方案是提供一种基于ARIMA模型的容量预测装置的控制方法，包括如下步骤：S1：调度策略模块调用样本数据采集模块进行历史数据采集；S2：样本数据采集模块采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；S3：容量预测模块接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；S4：容量预测模块根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；S5：扩容建议生成模块将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。进一步的，所述步骤S3中容量预测模块建立并训练的预测模型为ARIMA预测模型，建立并训练ARIMA预测模型具体包括：S31：通过LB检验识别训练样本时间序列的随机性，若LB检验的p值大于0.05则为纯随机序列，调用R工具的auto.arima函数作为ARIMA预测模型进行容量预测；S32：若LB检验的p值小于0.05则训练样本时间序列为非纯随机序列，则通过ADF检验来识别其平稳性，若ADF检验的p值小于0.05则认为该时间序列是平稳的，否则该时间序列不平稳；S33：建立ARIMA预测模型为ARIMA(p,d,q)；其中，AR是自回归，MA为移动平均，p是自回归项数，d为时间序列成为平稳时间序列时所做的差分次数，q为移动平均项数；S34：若训练样本时间序列不平稳，则对训练样本时间序列先进行d阶差分运算，化为平稳的时间序列；S35：基于平稳的时间序列，通过自相关函数和偏自相关函数的特性，确认预测模型和并预设参数值；S36：根据参数组合成的不同的ARIMA(p,d,q)模型，通过AIC准则比较各模型的AIC值，取AIC值最小的模型作为最终模型；S37：通过LB检验识别最终模型的的残差序列是否为纯随机序列，如果是，则最终模型为合格的ARIMA预测模型，如果不是，则调整自回归项数p和移动平均项数q，直到得到合格的ARIMA预测模型。进一步的，所述步骤S35具体包括：若偏自相关函数是截尾的，而自相关函数是本文档来自技高网...

【技术保护点】
1.一种基于ARIMA模型的容量预测装置，其特征在于，包括调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。/n

【技术特征摘要】
1.一种基于ARIMA模型的容量预测装置，其特征在于，包括调度策略模块：根据调度策略调用样本数据采集模块进行历史数据采集；样本数据采集模块：根据调度策略采集历史数据，并对采集的历史数据进行数据处理后作为训练样本时间序列发送到容量预测模块；容量预测模块：接收训练样本时间序列，根据训练样本时间序列的特征建立预测模型，并对预测模型进行训练；根据调度策略从样本数据采集模块导入预测样本数据到训练好的预测模型生成容量预测数据；扩容建议生成模块：将生成的容量预测数据与扩容策略进行匹配生成扩容建议数据。


2.如权利要求1所述的基于ARIMA模型的容量预测装置，其特征在于，所述样本数据采集模块连接有数据处理模块，所述样本数据采集模块根据调度策略设定需要采集的容量指标，所述数据处理模块根据设定的容量指标获取相应的历史数据，对历史数据进行数据处理得到训练样本数据，并将训练样本数据对应于时间点形成训练样本时间序列。


3.如权利要求2所述的基于ARIMA模型的容量预测装置，其特征在于，所述容量指标包括主机、存储、网络和集群的容量指标，主机的容量指标包括CPU使用率和内存使用率，存储的容量指标包括存储容量使用率，网络的容量指标包括接口流入带宽利用率和接口流出带宽利用率，集群的容量指标包括CPU使用率和内存使用率；所述主机、网络和集群的容量指标通过抽取相应监控指标的历史趋势数据获取；所述存储的容量指标存储容量使用率，通过在主机上抓取LUN信息，获取在该LUN上建立的文件系统存储空间的使用情况，得到各个存储设备的已知剩余空间和已知总空间，其中已知剩余空间通过累加各个文件系统剩余空间得到，已知总空间通过累加各个LUN的存储空间得到，存储设备的容量使用率通过公式容量使用率=（已知总空间-已知剩余空间）/已知总空间*100计算得到。


4.如权利要求3所述的基于ARIMA模型的容量预测装置，其特征在于，所述数据处理具体包括异常数据处理、数据清洗和数据降噪；异常数据处理是将主机和网络的容量指标在获取数据时统一转换成百分比数值；数据清洗是在设有主备集群的主机的集群容量指标获取时，通过主备集群各自获取数据，然后针对同一指标按照时间刻度对数据值进行比较，取较大值者作为该指标的数据；数据降噪是将经过异常数据处理、数据清洗的数据以自然周为单位划分，采用正态分布算法，过滤出概率大于99%的数据，取每个自然周中大小在前30%的数据求平均值，并将该平均值对应于周期时间得到训练样本时间序列。


5.如权利要求1所述的基于ARIMA模型的容量预测装置，其特征在于，所述容量预测模块连接有扩容策略模块，所述扩容策略模块包括主机扩容策略、集群扩容策略、存储扩容策略和网络扩容策略；所述扩容建议生成模块生成的扩容建议...

【专利技术属性】
技术研发人员：程永新，林小勇，童运锋，
申请(专利权)人：上海新炬网络信息技术股份有限公司，
类型：发明
国别省市：上海;31