一种数据缓存方法及系统技术方案

本发明专利技术涉及数据缓存技术领域，公开了一种数据缓存方法及系统，包括：接收数据缓存请求，基于数据缓存请求确定待缓存数据的数据类型，根据数据类型确定对应的数据缓存池，将待缓存数据划分为

【技术实现步骤摘要】
一种数据缓存方法及系统


[0001]本专利技术涉及数据缓存
，特别是涉及一种数据缓存方法及系统
。

技术介绍

[0002]数据缓存，是指访问速度比一般随机存取缓存器快的一种高速缓存器，缓存的设置是所有现代计算机系统发挥高性能的重要因素之一，目前，利用缓存技术缓存业务数据以减少频繁数据库链接造成的资源消耗的技术应用愈加普遍
。
由于内存对于数据的读写速度是数据库操作等硬盘读写速度的
100
倍甚至更高，所以内存缓存可以有效的提升运行效率，业界比较流行的缓存技术也都对内存缓存做了实现
。
[0003]现有技术中，为了提高应用程序的性能，在客户端或服务器增加数据缓存层，如缓存系统可加在应用程序端或数据库服务器上
。
应用程序从数据库服务器中预先获取数据并保存在非持久化缓存器中，当客户端发送请求时，应用程序从数据缓存中检索数据并返回至客户端
。
随着信息网络技术的发展，服务器的内存持续增长，但磁盘的缓存能力却以更快的速度增长
。
服务器的内存与磁盘的缓存能力增长速度不一致导致内存容量与磁盘容量的比率下降，因此需要一个更加有效的方法进行数据缓存
。
[0004]因此，如何提供一种可以对数据进行合理有效缓存的方法，是目前有待解决的技术问题
。

技术实现思路

[0005]本专利技术实施例提供一种数据缓存方法及系统，用以解决现有技术中无法对数据进行合理有效缓存，无法将数据全部缓存到内存的技术问题
。
[0006]为了实现上述目的，本专利技术提供了一种数据缓存方法，所述方法包括：接收数据缓存请求，基于所述数据缓存请求确定待缓存数据的数据类型，根据所述数据类型从数据配置业务数据库进行数据缓存池查询，根据所述数据缓存池查询的查询参数在缓存服务器中确定对应的数据缓存池；将所述待缓存数据划分为
m
个数据块，判断各数据块是否为重复数据块，根据判断结果筛选出不是重复数据块的数据块，将所述不是重复数据块的数据块进行整合，并得到待缓存数据块，其中，所述重复数据块为内容已缓存过的数据块，
m
为大于1的整数；根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据块进行缓存；当进行下次数据缓存时，获取所述数据缓存池的第二剩余空间容量，并根据所述待缓存数据块的第二剩余空间容量对所述数据缓存池进行处理
。
[0007]在其中一个实施例中，在将所述待缓存数据划分为
m
个数据块，判断各数据块是否为重复数据块时，包括：获取第
n
‑1数据块，根据所述第
n
‑1数据块判断第
n
数据块是否为重复数据块，其中
n
为大于1且小于等于
n
的整数；
若所述第
n
‑1数据块的数据包括所述第
n
数据块的内容，则判断所述第
n
数据块为重复数据块；若所述第
n
‑1数据块的数据不包括所述第
n
数据块的内容，则判断所述第
n
数据块为不是重复数据块的数据块
。
[0008]在其中一个实施例中，在根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存之前，还包括：将所述待缓存数据块发送至数据服务器，基于所述数据服务器判断所述待缓存数据块是否已经存在于所述数据缓存池中，若所述待缓存数据块已经存在于所述数据缓存池中，则输出已缓存的提示信息；若所述待缓存数据块未存在于所述数据缓存池中，则根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存
。
[0009]在其中一个实施例中，在根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存时，包括：若所述数据缓存池的剩余空间容量大于所述待缓存数据块的长度大小，则将所述待缓存数据块缓存于所述数据缓存池中；若所述数据缓存池的剩余空间容量等于所述待缓存数据块的长度大小，则将所述待缓存数据块进行数据压缩处理，得到压缩数据，并将所述压缩数据缓存于所述数据缓存池中；若所述数据缓存池的剩余空间容量小于所述待缓存数据块的长度大小，则对所述数据缓存池中的已缓存数据块进行替换处理
。
[0010]在其中一个实施例中，在将所述待缓存数据块缓存于所述数据缓存池中时，包括：确定所述数据缓存池中指针指向的剩余空间，其中，所述剩余空间为所述数据缓存池中可用于缓存数据的地址空间，包括从所述指针指向的地址空间直到所述数据缓存池尾部构成的地址空间；从所述指针指向的地址空间开始将所述待缓存数据块依次缓存到所述剩余空间中
。
[0011]在其中一个实施例中，将所述待缓存数据块进行数据压缩处理，并将数据压缩处理后的待缓存数据块缓存于所述数据缓存池中时，包括：获取所述待缓存数据块，对所述待缓存数据块分别基于第一压缩方式和第二压缩方式进行数据压缩，并分别得到第一压缩数据和第二压缩数据，其中，第一压缩数据的压缩比低于第二压缩数据的压缩比；判断所述第一压缩数据的压缩比是否大于或等于预设压缩比，若是，则将所述第一压缩数据确定为所述待缓存数据块对应的压缩数据；若否，则将所述第二压缩数据确定为所述待缓存数据块对应的压缩数据
。
[0012]在其中一个实施例中，在对所述数据缓存池中的已缓存数据块进行替换处理时，包括：获取所述数据缓存池中所有已缓存数据块的关注度值，根据各已缓存数据块的关注度值与预设关注度值之间的关系对所述数据缓存池中所有已缓存数据块进行替换处理，当关注度值小于所述预设关注度值时，则将对应的已缓存数据块进行替换；
当关注度值大于或等于所述预设关注度值时，则不对对应的已缓存数据块进行替换处理
。
[0013]在其中一个实施例中，当所有关注度值均小于所述预设关注度值或所有关注度值均大于所述预设关注度值时，则对所有关注度值进行排序，并将数值最小的已缓存数据块进行替换
。
[0014]在其中一个实施例中，所述待缓存数据块包括：键
、
上一块地址
、
下一块地址
、
数据长度
、
数据内容
。
[0015]为了实现上述目的，本专利技术提供了一种数据缓存系统，所述系统包括：确定模块，用于接收数据缓存请求，基于所述数据缓存请求确定待缓存数据的数据类型，根据所述数据类型从数据配置业务数据库进行数据缓存池查询，根据所述数据缓存池查询的查询参数在缓存服务器中确定对应的数据缓存池；判断模块，用于将所述待缓存数据划分为
m
个数据块，判断各数据块是否为重复数据块，根据判断结果筛选出不是重复数据块的数据块，将所述不是重复数据块的数据块进行整合，并得到待缓存数据块，其中，所述重复数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据缓存方法，其特征在于，所述方法包括：接收数据缓存请求，基于所述数据缓存请求确定待缓存数据的数据类型，根据所述数据类型从数据配置业务数据库进行数据缓存池查询，根据所述数据缓存池查询的查询参数在缓存服务器中确定对应的数据缓存池；将所述待缓存数据划分为
m
个数据块，判断各数据块是否为重复数据块，根据判断结果筛选出不是重复数据块的数据块，将所述不是重复数据块的数据块进行整合，并得到待缓存数据块，其中，所述重复数据块为内容已缓存过的数据块，
m
为大于1的整数；根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据块进行缓存；当进行下次数据缓存时，获取所述数据缓存池的第二剩余空间容量，并根据所述待缓存数据块的第二剩余空间容量对所述数据缓存池进行处理
。2.
根据权利要求1所述的数据缓存方法，其特征在于，在将所述待缓存数据划分为
m
个数据块，判断各数据块是否为重复数据块时，包括：获取第
n
‑1数据块，根据所述第
n
‑1数据块判断第
n
数据块是否为重复数据块，其中
n
为大于1且小于等于
n
的整数；若所述第
n
‑1数据块的数据包括所述第
n
数据块的内容，则判断所述第
n
数据块为重复数据块；若所述第
n
‑1数据块的数据不包括所述第
n
数据块的内容，则判断所述第
n
数据块为不是重复数据块的数据块
。3.
根据权利要求1所述的数据缓存方法，其特征在于，在根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存之前，还包括：将所述待缓存数据块发送至数据服务器，基于所述数据服务器判断所述待缓存数据块是否已经存在于所述数据缓存池中，若所述待缓存数据块已经存在于所述数据缓存池中，则输出已缓存的提示信息；若所述待缓存数据块未存在于所述数据缓存池中，则根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存
。4.
根据权利要求1所述的数据缓存方法，其特征在于，在根据所述数据缓存池的剩余空间容量与所述待缓存数据块的长度大小之间的关系对所述待缓存数据进行缓存时，包括：若所述数据缓存池的剩余空间容量大于所述待缓存数据块的长度大小，则将所述待缓存数据块缓存于所述数据缓存池中；若所述数据缓存池的剩余空间容量等于所述待缓存数据块的长度大小，则将所述待缓存数据块进行数据压缩处理，得到压缩数据，并将所述压缩数据缓存于所述数据缓存池中；若所述数据缓存池的剩余空间容量小于所述待缓存数据块的长度大小，则对所述数据缓存池中的已缓存数据块进行替换处理
。5.
根据权利...

【专利技术属性】
技术研发人员：刘晓雨，赵丽娟，王龙韬，张兴强，高梦阳，孙崇武，王思思，赵晨鸣，于昊，梁腾翔，
申请(专利权)人：华能信息技术有限公司华能山东发电有限公司，
类型：发明
国别省市：