【技术实现步骤摘要】
本申请涉及数据处理领域及数字金融领域，尤其涉及一种基于lsm分级存储的热数据存储方法、装置、设备及介质。
技术介绍
1、随着数字金融行业与信息科技技术的快速发展，数据库系统已成为存储和管理大量数据的关键工具。在众多数据库系统中，基于lsm(log-structured merge-tree，基于磁盘的数据结构)树的数据库因其高效的写入性能而得到广泛应用。lsm树通过将数据分层存储在不同的介质上，实现了高吞吐量的写入操作。
2、在lsm树模型中，数据首先写入到内存中的memtable(缓存表)结构中。当memtable达到一定大小后，它会刷新到磁盘上形成一个sst(sorted string table，不可变数据存储)。sst文件是不可变的，并随着时间的推移，会生成多个sst文件。为了优化存储空间和查询性能，系统会定期执行compaction操作，将多个小的sst文件合并成更大的文件，同时删除过期或重复的数据。
3、然而，现有技术存在一些不足之处。尤其是在分级存储系统中，虽然前几级(如l0,l1)使用高速介质(如nvme)以提高写入性能，但最后一级(如l2)可能使用低速介质(如hdd)，导致数据读取性能下降。此外，由于lsm数据库没有对数据进行冷热划分，即使数据频繁被读取，也可能因compaction(压缩合并)服务将其从l0层不断向上层移动，直至被存储在低速介质上，影响读取性能，通过提升热数据存储效率，进而提高热数据读取效率。因此，如何提高lsm数据库中热数据的存储效率成为了目前亟待解决的技术问题。p>
技术实现思路
1、本申请提供了一种基于lsm分级存储的热数据存储方法、装置、设备及介质，以提高lsm数据库中热数据的存储效率。
2、第一方面，本申请提供了一种基于lsm分级存储的热数据存储方法，所述方法包括：
3、基于lsm分级数据库中各数据的热度值和不可变数据存储sst容量，确定热度值阈值；
4、将所述lsm分级数据库中的所述热度值大于或等于所述热度值阈值的数据确定为热数据，并将所述热数据写入高速介质。
5、第二方面，本申请还提供了一种基于lsm分级存储的热数据存储装置，所述装置包括：
6、热度值阈值确定模块，用于基于lsm分级数据库中各数据的热度值和不可变数据存储sst容量，确定热度值阈值；
7、热数据存储模块，用于将所述lsm分级数据库中的所述热度值大于或等于所述热度值阈值的数据确定为热数据，并将所述热数据写入高速介质。
8、第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的基于lsm分级存储的热数据存储方法。
9、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的基于lsm分级存储的热数据存储方法。
10、本申请公开了一种基于lsm分级存储的热数据存储方法、装置、设备及介质，所述基于lsm分级存储的热数据存储方法包括基于lsm分级数据库中各数据的热度值和不可变数据存储sst容量，确定热度值阈值；将所述lsm分级数据库中的所述热度值大于或等于所述热度值阈值的数据确定为热数据，并将所述热数据写入高速介质。通过上述方式，本申请通过智能识别并区分热数据和冷数据，使得存储资源得到更合理的分配，热数据存储在成本较高但访问速度更快的高速介质上，减少了数据检索所需的时间，从而显著提升了数据库的查询响应速度，随着应用需求的变化，数据的热度可能会发生变化，该方法允许系统根据实时的访问模式动态调整数据的存储策略，以适应不断变化的需求，提高了lsm数据库中热数据的存储效率。
本文档来自技高网...【技术保护点】
1.一种基于LSM分级存储的热数据存储方法，其特征在于，包括：
2.根据权利要求1所述的基于LSM分级存储的热数据存储方法，其特征在于，所述基于LSM分级数据库中各数据的热度值和不可变数据存储SST容量，确定热度值阈值之前，包括：
3.根据权利要求2所述的基于LSM分级存储的热数据存储方法，其特征在于，所述基于所述读取频率，确定所述LSM分级数据库中各数据的热度值，包括：
4.根据权利要求3所述的基于LSM分级存储的热数据存储方法，其特征在于，所述响应于数据查询指令，在所述数据热度表中查询待选数据的热度值之后，包括：
5.根据权利要求2所述的基于LSM分级存储的热数据存储方法，其特征在于，所述基于LSM分级数据库中各数据的热度值和不可变数据存储SST容量，确定热度值阈值，包括：
6.根据权利要求5所述的基于LSM分级存储的热数据存储方法，其特征在于，所述基于所述第一数据组、所述第二数据组和所述SST容量，确定所述热度值阈值，包括：
7.根据权利要求1至6任一项所述的基于LSM分级存储的热数据存储方法，其特征在
8.一种基于LSM分级存储的热数据存储装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于LSM分级存储的热数据存储方法。
...【技术特征摘要】
1.一种基于lsm分级存储的热数据存储方法，其特征在于，包括：
2.根据权利要求1所述的基于lsm分级存储的热数据存储方法，其特征在于，所述基于lsm分级数据库中各数据的热度值和不可变数据存储sst容量，确定热度值阈值之前，包括：
3.根据权利要求2所述的基于lsm分级存储的热数据存储方法，其特征在于，所述基于所述读取频率，确定所述lsm分级数据库中各数据的热度值，包括：
4.根据权利要求3所述的基于lsm分级存储的热数据存储方法，其特征在于，所述响应于数据查询指令，在所述数据热度表中查询待选数据的热度值之后，包括：
5.根据权利要求2所述的基于lsm分级存储的热数据存储方法，其特征在于，所述基于lsm分级数据库中各数据的热度值和不可变数据存储sst容量，确定热度值阈值，...
【专利技术属性】
技术研发人员：宋小兵，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。