全闪存阵列的数据存储方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种全闪存阵列的数据存储方法，包括：检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；若是，则通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层。可见，为了避免将数据缩容方法应用在SSD缓存时带来频繁的IO操作，在本方案中，采取批量操作的方式减少频繁的IO操作，该批量操作不仅仅包括将缓存数据通过数据缩减方式批量处理并回写至容量层，还包括将生成的元数据记录成元数据日志，进而批量落盘至容量层，提高SSD缓存性能。本发明专利技术还公开了一种全闪存阵列的数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。

Data storage method, device, device and readable storage medium of full flash memory array

【技术实现步骤摘要】
全闪存阵列的数据存储方法、装置、设备及可读存储介质
本专利技术涉及数据存储
，更具体地说，涉及一种全闪存阵列的数据存储方法、装置、设备及计算机可读存储介质。
技术介绍
目前，全闪存阵列被广泛用于机械硬盘的缓存，这主要因为闪存固态盘具有良好的随机IO性能，而传统的机械硬盘在随机IO性能的支持方面表现不佳，具体来说，该全闪存阵列主要采用闪存固态盘(SolidStateDrives，SSD)作为存储介质，全闪存阵列的物理架构分为容量层sataSSD和性能层pcieSSD，这里的性能层又称写缓存，这主要是由于SSD读写性能不对称决定的，读速度远高于写入速度，同时性能层pcieSSD耐用性更强，所以部署性能更好的pcieSSD作为性能层，可以保障全闪存阵列有良好的写入带宽和时延等性能。目前存储系统部署全闪存设备成为普遍趋势，以全面提升存储系统的整体性能。然而，考虑到SSD的成本远远贵于现在的机械硬盘，而同时在当下云计算和虚拟化环境下，存储系统存在大量的重复冗余数据，因此可以通过数据缩容方法扩展SSD存储系统的逻辑存储空间，提升SSD的设备使用率，达到降低SSD成本的目的。该数据缩容方法可包括数据去重技术和压缩技术，但是，将数据去重和压缩技术应实时应用在SSD缓存时，会带来频繁的IO操作，从而影响SSD缓存性能效果。因此，如何在应用数据缩容方法时节省存储空间，并同时提高SSD缓存性能，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供一种全闪存阵列的数据存储方法、装置、设备及计算机可读存储介质，以在应用数据缩容方法时提高SSD缓存性能。为实现上述目的，本专利技术实施例提供了如下技术方案：一种全闪存阵列的数据存储方法，包括：检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；若是，则通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层。其中，所述通过数据缩减方式批量将性能层中的缓存数据回写至容量层，包括：利用数据去重技术对所述性能层中的缓存数据进行数据去重；利用数据压缩技术对数据去重后生成的非重复数据进行数据压缩，并回写至所述容量层。其中，所述将所述元数据日志落盘至所述容量层，包括：将所述元数据日志落盘至所述容量层的数据区域；将所述数据区域中的元数据日志回刷至所述容量层的元数据数据库。其中，本方案还包括：若在数据存储过程中出现系统异常情况，则判断所述系统异常情况是否发生在所述元数据日志落盘至所述容量层之前；若是，则重新执行所述通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层的步骤；若否，则判断所述元数据日志是否成功回刷至所述容量层的元数据数据库；若未成功回刷至所述容量层的元数据数据库，则将所述元数据日志继续回刷至所述容量层的元数据数据库。一种全闪存阵列的数据存储装置，包括：数据量检测模块，用于检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；数据存储模块，用于在数据量大于预定阈值时，通过数据缩减方式批量将性能层中的缓存数据回写至容量层；日志生成模块，用于在使用数据缩减方式批量将性能层中的缓存数据回写至容量层的过程中，生成批量操作的元数据日志；日志落盘模块，用于将所述元数据日志落盘至所述容量层。其中，所述数据存储模块，包括：数据去重单元，用于利用数据去重技术对所述性能层中的缓存数据进行数据去重；数据压缩单元，用于利用数据压缩技术对数据去重后生成的非重复数据进行数据压缩，并回写至所述容量层。其中，所述日志落盘模块，包括：日志落盘单元，用于将所述元数据日志落盘至所述容量层的数据区域；日志回刷单元，用于将所述数据区域中的元数据日志回刷至所述容量层的元数据数据库。其中，还包括系统异常处理模块；所述系统异常处理模块包括：判断单元，用于在数据存储过程中出现系统异常情况时，判断所述系统异常情况是否发生在所述元数据日志落盘至所述容量层之前；第一处理单元，用于在所述系统异常情况发生在所述元数据日志落盘至所述容量层之前时，重新通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层；第二处理单元，用于在所述系统异常情况发生在所述元数据日志落盘至所述容量层之后时，判断所述元数据日志是否成功回刷至所述容量层的元数据数据库；若未成功回刷至所述容量层的元数据数据库，则将所述元数据日志继续回刷至所述容量层的元数据数据库。一种全闪存阵列的数据存储设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述全闪存阵列的数据存储方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述全闪存阵列的数据存储方法的步骤。通过以上方案可知，本专利技术实施例提供的一种全闪存阵列的数据存储方法，包括：检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；若是，则通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层。可见，为了避免将数据缩容方法应用在SSD缓存时带来频繁的IO操作，在本方案中，采取批量操作的方式减少频繁的IO操作，该批量操作不仅仅包括将缓存数据通过数据缩减方式批量处理后回写至容量层，还包括将生成的元数据记录成元数据日志，进而批量落盘至容量层，提高SSD缓存性能。本专利技术还公开了一种全闪存阵列的数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种全闪存阵列的数据存储方法流程示意图；图2为本专利技术实施例公开的数据存储方案整体示意图；图3为本专利技术实施例公开的另一种全闪存阵列的数据存储方法流程示意图；图4为本专利技术实施例公开的全闪存阵列的批量数据去重压缩流程图；图5为本专利技术实施例公开的一种数据逻辑组织关系图；图6为本专利技术实施例公开的一种全闪存阵列的数据存储装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一本文档来自技高网...

【技术保护点】
1.一种全闪存阵列的数据存储方法，其特征在于，包括：/n检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；/n若是，则通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；/n将所述元数据日志落盘至所述容量层。/n

【技术特征摘要】
1.一种全闪存阵列的数据存储方法，其特征在于，包括：
检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；
若是，则通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；
将所述元数据日志落盘至所述容量层。


2.根据权利要求1所述的数据存储方法，其特征在于，所述通过数据缩减方式批量将性能层中的缓存数据回写至容量层，包括：
利用数据去重技术对所述性能层中的缓存数据进行数据去重；
利用数据压缩技术对数据去重后生成的非重复数据进行数据压缩，并回写所述容量层。


3.根据权利要求1或2所述的数据存储方法，其特征在于，所述将所述元数据日志落盘至所述容量层，包括：
将所述元数据日志落盘至所述容量层的数据区域；
将所述数据区域中的元数据日志回刷至所述容量层的元数据数据库。


4.根据权利要求3所述的数据存储方法，其特征在于，还包括：
若在数据存储过程中出现系统异常情况，则判断所述系统异常情况是否发生在所述元数据日志落盘至所述容量层之前；
若是，则重新执行所述通过数据缩减方式批量将性能层中的缓存数据回写至容量层，并生成批量操作的元数据日志；将所述元数据日志落盘至所述容量层的步骤；
若否，则判断所述元数据日志是否成功回刷至所述容量层的元数据数据库；若未成功回刷至所述容量层的元数据数据库，则将所述元数据日志继续回刷至所述容量层的元数据数据库。


5.一种全闪存阵列的数据存储装置，其特征在于，包括：
数据量检测模块，用于检测全闪存阵列性能层中缓存的数据量是否大于预定阈值；
数据存储模块，用于在数据量大于预定阈值时，通过数据缩减方式批量将性能层中的缓存数据回写至容量层；
日志生成模块，用于在使用数据缩减方式批量将性能层中的缓存数据回写至容量层的过程中，生成批量操作的元数据日志；
日志落盘模块...

【专利技术属性】
技术研发人员：夏文，古亮，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44