【技术实现步骤摘要】
本专利技术涉及数据储存管理，具体为一种基于大数据模型的数据储存管理系统及方法。
技术介绍
1、数据储存平台上存储有大量数据，对平台上存储的数据做空间管理有利于使得储存平台稳定在不满载，即仍有剩余存储空间的状态，以便保障后续数据的顺利传输和储存；
2、然而，为了使得数据储存平台稳定在仍有剩余存储空间的状态，现有技术一般采用对储存数据进行分析，等到系统满载之后再选择性地对数据储存平台上存储的数据做筛选删除处理，等到平台满载这一状况出现后再做数据筛除处理，此时满载异常状况已然出现，已经影响到了后续部分数据的顺利传输，采用上述方式进行数据筛除处理不利于降低数据储存平台满载发生的概率。
3、所以，人们需要一种基于大数据模型的数据储存管理系统及方法来解决上述问题。
技术实现思路
1、本专利技术的目的在于提供一种基于大数据模型的数据储存管理系统及方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据模型的数据储存管理系统，所述系统包括：历史存储信息采集模块、空间变化趋势分析模块、数据筛除参考模块和数据筛除管理模块；
3、所述历史存储信息采集模块的输出端连接所述空间变化趋势分析模块的输入端，所述空间变化趋势分析模块的输出端连接所述数据筛除参考模块的输入端，所述数据筛除参考模块的输出端连接所述数据筛除管理模块的输入端；
4、通过所述历史存储信息采集模块采集数据储存平台的数据历史存储信息；
5、进一步的，所述历史存储信息采集模块包括存储空间数据采集单元、历史数据上传信息采集单元和满载时间采集单元；
6、通过所述存储空间数据采集单元采集用于存储设备监测数据的数据储存平台以往的存储空间数据；通过所述历史数据上传信息采集单元采集平台以往剩余不同存储空间后每次上传至平台的数据量以及相邻两次数据上传的间隔时长信息；通过所述满载时间采集单元采集以往剩余不同存储空间后平台满载花费的时间信息。
7、进一步的，所述空间变化趋势分析模块包括历史接收指数分析单元和训练数据生成单元；
8、所述历史接收指数分析单元的输入端连接所述历史数据上传信息采集单元的输出端，所述训练数据生成单元的输入端连接所述历史接收指数分析单元、存储空间数据采集单元和满载时间采集单元的输出端；
9、通过所述历史接收指数分析单元依据平台以往剩余不同存储空间后每次上传至平台的数据量以及相邻两次数据上传的间隔时长信息，分析平台以往剩余不同存储空间后的数据接收指数；通过所述训练数据生成单元将历史剩余存储空间、数据接收指数和剩余不同存储空间后平台满载花费的时间组成训练数据。
10、进一步的，所述数据筛除参考模块包括空间占用分析模型建立单元、当前接收指数预测单元和系统满载时间预测单元；
11、所述空间占用分析模型建立单元的输入端连接所述训练数据生成单元的输出端，所述当前接收指数预测单元的输入端连接所述历史接收指数分析单元的输出端，所述系统满载时间预测单元的输入端连接所述空间占用分析模型建立单元和当前接收指数预测单元的输出端；
12、通过所述空间占用分析模型建立单元依据训练数据建立空间占用分析模型；通过所述当前接收指数预测单元依据历史数据接收指数变化预测平台当前的接收指数；通过所述系统满载时间预测单元将平台当前剩余的存储空间和当前的接收指数输入至空间占用分析模型中，输出并预测当前情况下平台满载需要花费的时间。
13、进一步的，所述数据筛除管理模块包括重要程度分析单元和存储数据筛除单元；
14、所述重要程度分析单元的输入端连接所述系统满载时间预测单元的输出端，所述重要程度分析单元的输出端连接所述存储数据筛除单元的输入端；
15、通过所述重要程度分析单元依据预测结果选择对平台存储的数据做筛除处理的时间，在做筛除处理时，采集不同的设备监测数据上传的时间以及被调取查看的次数，依据上传的时间和被调取查看的次数数据分析设备监测数据的重要程度；通过所述存储数据筛除单元将平台储存的设备监测数据按重要程度从小到大进行排序，按排列顺序依次筛除数据直至平台剩余存储空间大于剩余空间阈值。
16、一种基于大数据模型的数据储存管理方法，包括以下步骤：
17、s100：采集数据储存平台的数据历史存储信息；
18、s200：分析数据储存平台以往剩余不同存储空间后对数据的接收指数，依据数据历史存储信息和数据接收指数组成训练数据；
19、s300：建立空间占用分析模型，通过参考空间占用分析模型选择对平台数据进行筛除的时间；
20、s400：在选择的时间查看平台剩余的存储空间，进行数据筛除处理。
21、进一步的，在s100中：采集用于存储设备监测数据的数据储存平台以往的存储空间数据，获取到历史剩余存储空间集合为v＝{v1，v2，…，vi，…，vf}，其中，集合v中的元素按对应的剩余存储空间出现的时间从先到后进行排列，vf表示在当前时间之前距当前时间最近的一次获取到的剩余存储空间，f表示集合v中的元素个数，采集到平台以往剩余存储空间为vi后每次上传至平台的数据量集合为b＝{b1，b2，…，bn}，其中，n表示以往剩余存储空间为vi后直至平台满载时间的数据上传次数，采集到平台以往剩余存储空间为vi后相邻两次数据上传的间隔时长集合为t＝{t2，t3，…，tn}，其中，t2表示平台以往剩余存储空间为vi后第二次数据上传时间与第一次数据上传时间之间的间隔时长，采集平台以往剩余不同存储空间后每次上传至平台的数据量以及相邻两次数据上传的间隔时长信息，采集到以往剩余不同存储空间后平台满载花费的时间集合为r＝{r1，r2，…，rf}。
22、进一步的，在s200中：根据公式计算平台以往剩余存储空间为vi后的数据接收指数qi，得到平台以往剩余不同存储空间后的数据接收指数集合为q＝{q1，
23、q2，…，qi，…，qf}，其中be表示剩余存储空间为vi后第e次上传至平台的数据量，te表示剩余存储空间为vi后第e次数据上传时间与第e-1次数据上传时间之间的间隔时长，将集合v、集合q和集合r中的数据组成训练数据集{(v1，q1，r1)，(v2，q2，r2)，…，(vf，qf，rf)}。
24、进一步的，在s300中：对训练数据进行拟合，建立空间占用分析模型：z＝α1*x+α2*y+α0，其中，α1、α2和α0表示拟合系数，x表示指代剩余存储空间的自变量，y表示指代数据接收指数的自变本文档来自技高网...
【技术保护点】
1.一种基于大数据模型的数据储存管理系统，其特征在于：所述系统包括：历史存储信息采集模块、空间变化趋势分析模块、数据筛除参考模块和数据筛除管理模块；
2.根据权利要求1所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述历史存储信息采集模块包括存储空间数据采集单元、历史数据上传信息采集单元和满载时间采集单元；
3.根据权利要求2所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述空间变化趋势分析模块包括历史接收指数分析单元和训练数据生成单元；
4.根据权利要求3所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述数据筛除参考模块包括空间占用分析模型建立单元、当前接收指数预测单元和系统满载时间预测单元；
5.根据权利要求4所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述数据筛除管理模块包括重要程度分析单元和存储数据筛除单元；
6.一种基于大数据模型的数据储存管理方法，其特征在于：包括以下步骤：
7.根据权利要求6所述的一种基于大数据模型的数据储存管理方法，其特征在于：在S10
8.根据权利要求7所述的一种基于大数据模型的数据储存管理方法，其特征在于：在S200中：根据公式计算平台以往剩余存储空间为Vi后的数据接收指数Qi，得到平台以往剩余不同存储空间后的数据接收指数集合为Q＝{Q1，Q2，…，Qi，…，Qf}，其中Be表示剩余存储空间为Vi后第e次上传至平台的数据量，Te表示剩余存储空间为Vi后第e次数据上传时间与第e-1次数据上传时间之间的间隔时长，将集合V、集合Q和集合R中的数据组成训练数据集{(V1，Q1，R1)，(V2，Q2，R2)，…，(Vf，Qf，Rf)}。
9.根据权利要求8所述的一种基于大数据模型的数据储存管理方法，其特征在于：在S300中：对训练数据进行拟合，建立空间占用分析模型：z＝α1*x+α2*y+α0，其中，α1、α2和α0表示拟合系数，x表示指代剩余存储空间的自变量，y表示指代数据接收指数的自变量，z表示指代平台满载花费的时间的因变量，根据下列公式预测当前平台的数据接收指数Qf+1：
10.根据权利要求9所述的一种基于大数据模型的数据储存管理方法，其特征在于：在S400中：设置剩余存储空间阈值，若在选择的时间查看到平台剩余存储空间小于剩余空间阈值时，对平台做数据筛除处理：采集平台中储存的不同的设备监测数据上传的时间距做筛除处理的时间的间隔时长集合为t＝{t1，t2，…，tm}，对应数据被调取查看的次数集合为A＝{A1，A2，…，Am}，其中，m表示设备监测数据的项数，根据公式计算随机一项数据的重要程度Wj，得到m项数据的重要程度集合为W＝{W1，W2，…，Wj，…，Wm}，将m项监测数据按重要程度从小到大进行排序，按排列顺序依次筛除数据直至平台剩余存储空间大于剩余空间阈值。
...【技术特征摘要】
1.一种基于大数据模型的数据储存管理系统，其特征在于：所述系统包括：历史存储信息采集模块、空间变化趋势分析模块、数据筛除参考模块和数据筛除管理模块；
2.根据权利要求1所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述历史存储信息采集模块包括存储空间数据采集单元、历史数据上传信息采集单元和满载时间采集单元；
3.根据权利要求2所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述空间变化趋势分析模块包括历史接收指数分析单元和训练数据生成单元；
4.根据权利要求3所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述数据筛除参考模块包括空间占用分析模型建立单元、当前接收指数预测单元和系统满载时间预测单元；
5.根据权利要求4所述的一种基于大数据模型的数据储存管理系统，其特征在于：所述数据筛除管理模块包括重要程度分析单元和存储数据筛除单元；
6.一种基于大数据模型的数据储存管理方法，其特征在于：包括以下步骤：
7.根据权利要求6所述的一种基于大数据模型的数据储存管理方法，其特征在于：在s100中：采集用于存储设备监测数据的数据储存平台以往的存储空间数据，获取到历史剩余存储空间集合为v＝{v1，v2，…，vi，…，vf}，其中，集合v中的元素按对应的剩余存储空间出现的时间从先到后进行排列，vf表示在当前时间之前距当前时间最近的一次获取到的剩余存储空间，f表示集合v中的元素个数，采集到平台以往剩余存储空间为vi后每次上传至平台的数据量集合为b＝{b1，b2，…，bn}，其中，n表示以往剩余存储空间为vi后直至平台满载时间的数据上传次数，采集到平台以往剩余存储空间为vi后相邻两次数据上传的间隔时长集合为t＝{t2，t3，…，tn}，其中，t2表示平台以往剩余存储空间为vi后第二次数据上传时间与第一次数据上传时间之间的间隔时长，采集平台以往...
【专利技术属性】
技术研发人员：杨铭轩，陈云云，巩宇，骆树生，彭纬伟，崔钰，于亚雄，邱小波，俞家良，李青，李可，苗涵泽，陈春阳，
申请(专利权)人：南方电网调峰调频发电有限公司检修试验分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。