一种基于高性能存储介质的数据缓存方法及系统技术方案

本发明专利技术公开了本发明专利技术提供一种基于高性能存储介质的数据缓存方法，包括：获取缓存数据，并将缓存数据同时存储至内存缓存队列以及高性能存储介质中；建立存储于内存缓存队列的缓存数据与存储于高性能存储介质的缓存数据的映射位图；根据映射位图进行数据缓存处理。由于高性能存储介质的读写速度快，且具有掉电保护等性能，将内存缓存与高性能存储介质进行结合，将缓存数据同时缓存至内存缓存队列以及高性能存储介质中，并通过建立内存缓存队列的数据与高性能存储介质的数据的映射位图，来对数据进行缓存处理，不仅能够增加内存缓存空间，还能够提高缓存速度，保证数据完整。本发明专利技术还公开了一种基于高性能存储介质的数据缓存系统，具有上述效果。

【技术实现步骤摘要】
一种基于高性能存储介质的数据缓存方法及系统
本专利技术涉及缓存
，特别涉及一种基于高性能存储介质的数据缓存方法，还涉及一种基于高性能存储介质的数据缓存系统。
技术介绍
缓存技术是为了解决两个交互处理单元之间由于处理速度不同而产生的速度瓶颈。在Linux系统中，读写文件时，内核为了提高读写性能与速度，会将文件在内存中进行缓存，这部分内存就是CacheMemory(缓存内存)，即使程序运行结束后，CacheMemory也不会自动释放，导致在Linux系统中程序频繁读写文件后，可用物理内存大幅度减少。导致CacheMemory存在技术问题，即在连续读写数据时，缓存空间有限，导致缓存速度降低，以及无掉电保护，容易导致下刷至物理盘的数据不一致以及数据丢失等问题。因此，如何利用高性能存储介质增加内存缓存空间，提高缓存速度，保证数据完整是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种基于高性能存储介质的数据缓存方法，利用高性能存储介质增加内存缓存空间，提高缓存速度，保证数据完整。本专利技术提供了一种基于高性能存储介质的数据缓存方法，包括：获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中；建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图；根据所述映射位图进行数据缓存处理。优选的，在上述基于高性能存储介质的数据缓存方法中，所述根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列被写满时，新缓存数据覆盖所述内存缓存队列中未下刷至物理盘的所述缓存数据存储，同时根据所述映射位图在所述高性能存储介质中为所述新缓存数据分配未利用空间。优选的，在上述基于高性能存储介质的数据缓存方法中，所述根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列的缓存数据下刷至物理盘中时，根据所述映射位图标记所述高性能缓存介质中与下刷至所述物理盘中的缓存数据对应的数据为无效数据。优选的，在上述基于高性能存储介质的数据缓存方法中，所述根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列所在系统掉电，且所述内存缓存队列中的缓存数据未下刷至物理盘中时，根据所述映射位图标记所述高性能缓存介质中与所述内存缓存队列中的缓存数据对应的数据为脏数据，并将所述脏数据下刷至所述物理盘中。优选的，在上述基于高性能存储介质的数据缓存方法中，所述获取缓存数据之后，还包括：将相邻位置的所述缓存数据进行合并；根据预设时间内所述缓存数据的统计平均值计算数据切片宽度，按照所述数据切片宽度对合并后的缓存数据进行切片，得到数据切片。优选的，在上述基于高性能存储介质的数据缓存方法中，所述将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中之前，还包括：按照所述数据切片的平均宽度对所述高性能存储介质中的存储空间进行容量划分得到容量切片，以使所述数据切片存入对应的所述容量切片中，所述容量切片的宽度大于或者等于所述数据切片的宽度。本专利技术还提供了一种基于高性能存储介质的数据缓存系统，包括：数据缓存模块，用于获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中；映射建立模块，用于建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图；数据处理模块，用于根据所述映射位图进行数据缓存处理。优选的，在上述基于高性能存储介质的数据缓存系统中，还包括：数据合并模块，用于将相邻位置的所述缓存数据进行合并；数据切片模块，用于根据预设时间内所述缓存数据的统计平均值计算数据切片宽度，按照所述数据切片宽度对所述缓存数据进行切片，得到数据切片。优选的，在上述基于高性能存储介质的数据缓存系统中，还包括：容量切片模块，用于按照所述数据切片的平均宽度对所述高性能存储介质中的存储空间进行容量划分得到容量切片，以使所述数据切片存入对应的所述容量切片中，所述容量切片的宽度大于或者等于所述数据切片的宽度。为解决上述技术问题，本专利技术提供一种基于高性能存储介质的数据缓存方法，包括：获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中；建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图；根据所述映射位图进行数据缓存处理。由于高性能存储介质的读写速度快，且具有掉电保护等性能，本专利技术提供的方法将内存缓存与高性能存储介质进行结合，将缓存数据同时缓存至内存缓存队列以及高性能存储介质中，并通过建立内存缓存队列的数据与高性能存储介质的数据的映射位图，来对数据进行缓存处理，不仅能够增加内存缓存空间，还能够提高缓存速度，保证数据完整。本专利技术所提供一种基于高性能存储介质的数据缓存系统，具有上述效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例所提供的基于高性能存储介质的数据缓存方法的流程图；图2为本专利技术实施例所提供的基于高性能存储介质的数据缓存系统的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，图1为本专利技术实施例所提供的一种基于高性能存储介质的数据缓存方法，具体可以包括：步骤S1：获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中。其中，由于高性能存储介质优于内存容量，具有比传统硬盘更高的速读写性能和掉电保护的特征，同时将上层的缓存数据，如IO数据块缓存至内存缓存队列以及高性能存储介质中，目的是同时保存两份相同数据，避免数据丢失，保证数据完整性。同时，采用高性能存储介质的目的是加速缓存数据切片的写速率，为了提高数据缓存效率，也可以采用多个高性能存储介质，均在保护范围内。步骤S2：建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图。其中，数据同时存放在内存队列缓存中和高性能存储介质中，为了表示二者之间数据标记的一致性，建立了此位图映射。映射位图的作用在不同的应用场景下作用不同，例如，内存缓存队列写满时，由于未下刷至物理盘的脏数据同时存储在内存缓存和高性能存储介质中，利用高性能数据存储介质中的脏数据下刷，不仅新的缓存数据仍能够使用内存缓存队列，使得内存缓存队列中能够给予新缓存数据存储空间，而且保证数据的完整性和内存队列的高效性。当系统掉电后，且内存缓存队列中的脏数据未及时下刷至物理盘中，重新通电后，数据很容易丢失，导致再次下刷至物理盘的数据和内存缓存队列中的脏数据不一致，因此，利用高性能存储介质具有掉电保护功能，通过映射位图将高性能存储介质中与缓存队列中的脏数据对应的数据下刷到物理盘上，从而避免数据不一致的情况，其中，对缓存队列中的脏数据对应的本文档来自技高网...

【技术保护点】
一种基于高性能存储介质的数据缓存方法，其特征在于，包括：获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中；建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图；根据所述映射位图进行数据缓存处理。

【技术特征摘要】
1.一种基于高性能存储介质的数据缓存方法，其特征在于，包括：获取缓存数据，并将所述缓存数据同时存储至所述内存缓存队列以及所述高性能存储介质中；建立存储于所述内存缓存队列的缓存数据与存储于所述高性能存储介质的缓存数据的映射位图；根据所述映射位图进行数据缓存处理。2.如权利要求1所述的基于高性能存储介质的数据缓存方法，其特征在于，根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列被写满时，新缓存数据覆盖所述内存缓存队列中未下刷至物理盘的所述缓存数据存储，同时根据所述映射位图在所述高性能存储介质中为所述新缓存数据分配未利用空间。3.如权利要求1所述的基于高性能存储介质的数据缓存方法，其特征在于，所述根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列的缓存数据下刷至物理盘中时，根据所述映射位图标记所述高性能缓存介质中与下刷至所述物理盘中的缓存数据对应的数据为无效数据。4.如权利要求1所述的基于高性能存储介质的数据缓存方法，其特征在于，所述根据所述映射位图进行数据缓存处理，包括：当所述内存缓存队列所在系统掉电，且所述内存缓存队列中的缓存数据未下刷至物理盘中时，根据所述映射位图标记所述高性能缓存介质中与所述内存缓存队列中的缓存数据对应的数据为脏数据，并将所述脏数据下刷至所述物理盘中。5.如权利要求1至4任一项所述的基于高性能存储介质的数据缓存方法，其特征在于，所述获取缓存数据之后，还包括：将相邻位置的所述缓存数据进行合并；根据预设时间内所述缓...

【专利技术属性】
技术研发人员：樊云龙，张伟，赵祯龙，方浩，马怀旭，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41