数据存储方法、系统、装置、介质与电子设备制造方法及图纸

技术编号:30326655 阅读:25 留言:0更新日期:2021-10-10 00:11
本公开提供一种数据存储方法、装置、介质与电子设备。其中,数据存储方法包括:响应待存储数据的存储请求获取当前存储系统性能参数,当前存储系统性能参数包括分布式存储系统的至少一个性能参数;根据当前存储系统性能参数确定分布式存储系统的性能抖动值;当性能抖动值大于或等于第一预设值时,将待存储数据存储至固态硬盘,当系统性能抖动值小于第一预设值时,将待存储数据存储至预设缓存区。通过本公开实施例提供的技术方案,可以提高数据存储效率,并提高数据存储性能的稳定性。并提高数据存储性能的稳定性。并提高数据存储性能的稳定性。

【技术实现步骤摘要】
数据存储方法、系统、装置、介质与电子设备


[0001]本公开涉及数据存储
,具体而言,涉及一种数据存储方法、数据存储系统、数据存储装置、计算机可读存储介质与电子设备。

技术介绍

[0002]目前,数据量呈现爆炸式增长的情况为数据存储技术带来了更高的挑战。
[0003]相关技术中,存储数据时存在的短时流量高峰的现象,经常会导致数据存储设备在写入大量数据时出现性能波动,造成数据读写错误率高甚至读写失败的问题。这些问题会降低数据存储效率,而数据存储效率的降低又有可能引发性能雪崩效应,甚至导致数据存储性能进一步恶化。
[0004]需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种数据存储方法、数据存储装置、介质与电子设备,用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的大量数据存入时存储设备的性能剧烈波动导致的数据存储状态恶化的问题。
[0006]根据本公开实施例的一方面,提供一种数据存储方法,包括:响应待存储数据的存储请求获取当前存储系统性能参数,当前存储系统性能参数包括分布式存储系统的至少一个性能参数;根据当前存储系统性能参数确定分布式存储系统的性能抖动值;当性能抖动值大于或等于第一预设值时,将待存储数据缓存至固态硬盘,当性能抖动值小于第一预设值时,将待存储数据缓存至预设缓存区。
[0007]在本公开的一种示例性实施例中,上述数据存储方法还包括:在固态硬盘内存储有待存储数据时,定时根据当前存储系统性能参数确定分布式存储系统的性能抖动值;在性能抖动值小于第一预设值时,将固态硬盘内的待存储数据转存至分布式存储系统。
[0008]在本公开的一种示例性实施例中,根据当前存储系统性能参数确定分布式存储系统的性能抖动值包括:将当前存储系统性能参数输入第一预设模型,以确定预测存储系统性能参数;根据当前存储系统性能参数确定第一性能评估值;根据预测存储系统性能参数确定第二性能评估值;将第二性能评估值与第一性能评估值的差值确定为第一差值;将第一差值与第一性能评估值的比值确定为性能抖动值。
[0009]在本公开的一种示例性实施例中,根据当前存储系统性能参数确定分布式存储系统的性能抖动值还包括:根据当前存储系统性能参数确定第一性能评估值;将第一性能评估值输入第二预设模型,以确定第二性能评估值,第二性能评估值为分布式存储系统的预测性能评估值;将第二性能评估值与第一性能评估值的差值确定为第一差值;将第一差值与第一性能评估值的比值确定为性能抖动值。
[0010]在本公开的一种示例性实施例中,当前存储系统性能参数包括n种性能参数,预测
存储系统性能参数包括n种性能参数,第一预设模型的训练过程包括:获取分布式存储系统的历史性能参数,历史性能参数包括n种性能参数随时间变化的记录值;将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据;根据多组训练数据训练第一预设模型,以使第一预设模型建立第一历史性能参数与第二历史性能参数的对应关系。
[0011]在本公开的一种示例性实施例中,当前存储系统性能参数包括n种性能参数,第二预设模型的训练过程包括:获取分布式存储系统的历史性能参数,历史性能参数包括n种性能参数随时间变化的记录值;根据历史性能参数确定多个时间点对应的性能评估值;根据多个时间点对应的性能评估值进行回归计算以确定性能评估值变化曲线,将性能评估值变化曲线设置为第二预设模型。
[0012]根据本公开实施例的另一方面,提供一种数据存储系统,包括:数据处理装置,用于执行上述任意一项的数据存储方法以存储待存储数据;分布式存储系统,用于存储待存储数据;预设缓存区,连接数据处理装置和分布式存储系统,用于接收数据处理装置传输的待存储数据,并定时将待存储数据转存到分布式存储系统;固态硬盘,连接数据处理装置和分布式存储系统,用于接收数据处理装置传输的待存储数据,并根据数据处理装置的指令将待存储数据转存到分布式存储系统。
[0013]根据本公开实施例的另一方面,提供一种数据存储装置,包括:性能参数获取模块,设置为响应待存储数据的存储请求获取当前存储系统性能参数,当前存储系统性能参数包括分布式存储系统的至少一个性能参数;性能抖动评估模块,设置为根据当前存储系统性能参数确定分布式存储系统的性能抖动值;数据存储控制模块,设置为当性能抖动值大于或等于第一预设值时,将待存储数据缓存至固态硬盘,当系统性能抖动值小于第一预设值时,将待存储数据缓存至预设缓存区。
[0014]根据本公开的另一方面,提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述任意一项的数据存储方法。
[0015]根据本公开的另一方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行如上述任意一项的数据存储方法。
[0016]本公开实施例的技术方案通过通过增加存储系统的缓存空间,并使用当前存储系统性能参数预测系统的性能抖动幅度,在性能抖动幅度较大时,将待存储数据缓存至固态硬盘,否则将待存储数据的缓存至预设缓存区,可以避免大量数据存入造成存储系统性能恶化,降低短时流量高峰中的性能抖动对数据存储效率的影响,在存储系统的性能可能发生剧烈抖动的情况下提高存储系统的性能稳定性,提高数据存储效率。
[0017]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他的附图。
[0019]图1示出本公开示例性实施例中一种数据存储系统的示意图;
[0020]图2示出本公开示例性实施例中一种数据存储方法的流程图;
[0021]图3示出本公开示例性实施例中一种获取性能抖动值的流程图;
[0022]图4示出本公开示例性实施例中对第一预设模型进行训练的流程图;
[0023]图5示出本公开示例性实施例中另一种获取性能抖动值的流程图;
[0024]图6示出本公开示例性实施例中对第二预设模型进行训练的流程图;
[0025]图7示出本公开示例性实施例中一种数据存储的流程图;
[0026]图8示出本公开示例性实施例中一种数据存储系统的结构示意图;
[0027]图9示出本公开示例性实施例中一种数据存储过程的示意图;
[0028]图10示出本公开示例性实施例中一种数据存储装置的示意图;
[0029]图11示出本公开示例性实施例中一种获取性能抖动值的流程示意图;
[0030]图12示出本公开本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:响应待存储数据的存储请求获取当前存储系统性能参数,所述当前存储系统性能参数包括分布式存储系统的至少一个性能参数;根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值;当所述性能抖动值大于或等于第一预设值时,将所述待存储数据存储至固态硬盘,当所述性能抖动值小于所述第一预设值时,将所述待存储数据存储至预设缓存区。2.根据权利要求1所述的数据存储方法,其特征在于,还包括:在所述固态硬盘内存储有所述待存储数据时,定时根据所述当前存储系统性能参数确定所述分布式存储系统的所述性能抖动值;在所述性能抖动值小于所述第一预设值时,将所述固态硬盘内的所述待存储数据转存至所述分布式存储系统。3.根据权利要求1或2所述的数据存储方法,其特征在于,所述根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值包括:将所述当前存储系统性能参数输入第一预设模型,以确定预测存储系统性能参数;根据所述当前存储系统性能参数确定第一性能评估值;根据所述预测存储系统性能参数确定第二性能评估值;将所述第二性能评估值与所述第一性能评估值的差值确定为第一差值;将所述第一差值与所述第一性能评估值的比值确定为所述性能抖动值。4.根据权利要求1或2所述的数据存储方法,其特征在于,所述根据所述当前存储系统性能参数确定所述分布式存储系统的性能抖动值包括:根据所述当前存储系统性能参数确定第一性能评估值;将所述第一性能评估值输入第二预设模型,以确定第二性能评估值,所述第二性能评估值为所述分布式存储系统的预测性能评估值;将所述第二性能评估值与所述第一性能评估值的差值确定为第一差值;将所述第一差值与所述第一性能评估值的比值确定为所述性能抖动值。5.根据权利要求3所述的数据存储方法,其特征在于,所述当前存储系统性能参数包括n种性能参数,所述预测存储系统性能参数包括所述n种性能参数,所述第一预设模型的训练过程包括:获取所述分布式存储系统的历史性能参数,所述历史性能参数包括所述n种性能参数随时间变化的记录值;将时间间隔为预设时长的第一历史性能参数和第二历史性能参数设置为一组训练数据;根据多组所...

【专利技术属性】
技术研发人员:吴文峰黄鹄黄润怀李旭
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1