垃圾数据删除性能预测方法、装置、设备、存储介质制造方法及图纸

本申请公开了一种垃圾数据删除性能预测方法、装置、设备、存储介质，涉及计算机技术领域，包括：采集对象存储中的输入参数对应的性能数据，作为采样数据；利用采样数据对原始极限学习机模型进行训练，得到训练后的极限学习机模型；利用训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。通过使用极限学习机为原始极限学习机模型，利用对象存储中的性能数据作为采样数据，训练一个能够对垃圾数据准确预测的极限学习机模型，通过配置参数来对垃圾数据删除性能预测的性能进行预测，利用训练后的极限学习机模型对对象存储中的桶级别的数据进行预测，对垃圾数据的删除速度进行预测，实现桶级别的垃圾数据删除速度的预测。数据删除速度的预测。数据删除速度的预测。

【技术实现步骤摘要】
垃圾数据删除性能预测方法、装置、设备、存储介质


[0001]本专利技术涉及计算机
，特别涉及垃圾数据删除性能预测方法、装置、设备、存储介质。

技术介绍

[0002]随着信息技术的发展，全球数据不断增长，人们对于海量数据的管理也越来越重视。Ceph系统是当前流行的一个分布式开源存储系统，其中的对象存储集群因具有良好的共享性和传输速度而被广泛应用于银行、通信运营商等行业。在对象存储中，一个桶内的对象数量上亿是很常见的，而在存储过程中，不可避免地产生大量过期或废弃的数据，当前清空桶内的对象是个耗时且难以控制的过程。垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定，同时，也受集群节点的删除性能影响。针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同，通过配置参数来对垃圾数据删除性能预测的性能进行预测是一个重要的任务。
[0003]综上，如何实现垃圾数据删除性能的预测，预测垃圾数据的删除速度，方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测是本领域有待解决的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种垃圾数据删除性能预测方法、装置、设备、存储介质，能够实现垃圾数据删除性能的预测，预测垃圾数据的删除速度，方便业务人员对垃圾数据删除性能预测功能进行优化以及故障的检测。其具体方案如下：
[0005]第一方面，本申请公开了一种垃圾数据删除性能预测方法，包括：
[0006]采集对象存储中的输入参数对应的性能数据，作为采样数据；/>[0007]利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型；
[0008]利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据预测，并对所述垃圾数据进行删除。
[0009]可选的，所述采集对象存储中的输入参数对应的性能数据，作为采样数据，包括：
[0010]采集对象存储中的并发线程数、每次列举对象数和集群删除性能，作为采样数据。
[0011]可选的，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型，包括：
[0012]将所述对象存储中的所述并发线程数、所述每次列举对象数和所述集群删除性能输入至原始极限学习机模型中进行训练，以得到训练后的极限学习机模型。
[0013]可选的，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型之前，还包括：
[0014]预先构建所述原始极限学习机模型，并利用所述原始极限学习机模型生成输入权重和隐层偏置。
[0015]可选的，所述利用所述采样数据对原始极限学习机模型进行训练，包括：
[0016]将所述采样数据输入原始极限学习机模型，基于所述输入权重和所述隐层偏置计算隐层到输出层的输出权重，并计算隐层输出矩阵；
[0017]基于所述隐层输出矩阵确定所述隐层与所述输出层之间的连接权值。
[0018]可选的，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型之前，还包括：
[0019]预先设置隐层节点数以及构建激活函数。
[0020]可选的，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型之后，还包括：
[0021]将验证数据集输入至所述训练后的极限学习机模型，以便所述训练后的极限学习机模型输出相应的垃圾数据删除性能的预测结果；
[0022]利用预设准确率验证算法对所述预测结果进行准确率的验证。
[0023]第二方面，本申请公开了一种垃圾数据删除性能预测装置，包括：
[0024]数据采集模块，用于采集对象存储中的输入参数对应的性能数据，作为采样数据；
[0025]模型训练模块，用于利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型；
[0026]性能预测模块，用于利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。
[0027]第三方面，本申请公开了一种电子设备，包括：
[0028]存储器，用于保存计算机程序；
[0029]处理器，用于执行所述计算机程序，以实现前述公开的垃圾数据删除性能预测方法的步骤。
[0030]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的垃圾数据删除性能预测方法的步骤。
[0031]可见，本申请公开了一种垃圾数据删除性能预测方法，包括：采集对象存储中的输入参数对应的性能数据，作为采样数据；利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型；利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。由此可见，由于垃圾数据的删除特性的性能主要由并发线程和每次列举对象数决定，同时，也受集群节点的删除性能影响，针对不同的业务场景对垃圾数据删除性能预测的性能需要也不同，本申请通过使用极限学习机为原始极限学习机模型，利用对象存储中的性能数据作为采样数据，训练一个能够对垃圾数据准确预测的极限学习机模型，通过配置参数来对垃圾数据删除性能预测的性能进行预测，并利用训练后的极限学习机模型对对象存储中的桶级别的数据删除性能进行预测，实现了桶级别的垃圾数据删除速度的预测，并且对比当前流行的人工神经网络，利用极限学习机模型训练出的能够预测垃圾数据删除速度的模型不需要迭代，一次学习即可得到训练后模型，并且随机参数的设置通常能有更好的泛化性能，学习速度极快。
附图说明
[0032]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0033]图1为本申请公开的一种垃圾数据删除性能预测方法流程图；
[0034]图2为本申请公开的一种ELM结构图；
[0035]图3为本申请公开的一种具体的垃圾数据删除性能预测方法流程图；
[0036]图4为本申请公开的一种垃圾数据删除性能预测装置结构示意图；
[0037]图5为本申请公开的一种电子设备结构图。
具体实施方式
[0038]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]随着信息技术的发展，全球数据不断增长，人们对于海量数据的管理也越来越重视。Ceph系统是当前流行的一个分布式开源存储系统，其中的对象存储集群因具有良好的共享性和传输速度而被广泛应用于银行、通信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种垃圾数据删除性能预测方法，其特征在于，包括：采集对象存储中的输入参数对应的性能数据，作为采样数据；利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型；利用所述训练后的极限学习机模型对对象存储集群中的数据进行垃圾数据删除速度的性能预测。2.根据权利要求1所述的垃圾数据删除性能预测方法，其特征在于，所述采集对象存储中的输入参数对应的性能数据，作为采样数据，包括：采集对象存储中的并发线程数、每次列举对象数和集群删除性能，作为采样数据。3.根据权利要求2所述的垃圾数据删除性能预测方法，其特征在于，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型，包括：将所述对象存储中的所述并发线程数、所述每次列举对象数和所述集群删除性能输入至原始极限学习机模型中进行训练，以得到训练后的极限学习机模型。4.根据权利要求1所述的垃圾数据删除性能预测方法，其特征在于，所述利用所述采样数据对原始极限学习机模型进行训练，以得到训练后的极限学习机模型之前，还包括：预先构建所述原始极限学习机模型，并利用所述原始极限学习机模型生成输入权重和隐层偏置。5.根据权利要求4所述的垃圾数据删除性能预测方法，其特征在于，所述利用所述采样数据对原始极限学习机模型进行训练，包括：将所述采样数据输入原始极限学习机模型，基于所述输入权重和所述隐层偏置计算隐层到输出层的输出权重，并计算隐层输出矩阵；基于所述隐...

【专利技术属性】
技术研发人员：王铂，陶桐桐，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：