【技术实现步骤摘要】
本申请适用于数据库处理，尤其涉及一种基于分片数据的点查优化方法、装置、设备及介质。
技术介绍
1、从tp(transaction processing，事务处理)发展过来的olap(on-lineanalytical processing，联机分析处理)产品或定位于htap(hybrid transaction/analytical processing,混合事务/分析处理)的产品最常见的是通过btree(balancedtree，平衡树)索引来支持点查加速，比如greenplum，gaussdb，oceanbase等。例如，olap系统在cdc流式导入，数据去重等场景下涉及到记录的点查，而olap系统通常都是为批量查询设计，点查性能不佳。
2、当前，面向olap设计的产品通常是通过分片内排序键和稀疏索引来满足点查需求，比如clickhouse，starrocks，snowflake等。在olap系统中，存储引擎通常都会采用多分片来存储数据，数据导入后产生分片，分片不可以修改，可以充分利用列存编码压缩的优势，结合排序以及稀疏索引技术，降低存储成本同时提升查询性能。
3、然而，随着系统数据的增删，在olap多分片存储架构下，后台需要对分片进行合并整理以达到更优的查询效果，从而提升查询性能，但对于分片的合并操作，会导致数据行的rowid发生变化，因此，合并操作需要维护rowid的变化，合并的效率大大降低，对点查性能也会造成很大的影响。
4、因此，如何在olap系统中处理分片数据，以使得olap系统
技术实现思路
1、有鉴于此，本申请实施例提供了一种基于分片数据的点查优化方法、装置、设备及介质，以解决如何在olap系统中处理分片数据，以使得olap系统具备较好的点查性能的问题。
2、第一方面，本申请实施例提供一种基于分片数据的点查优化方法，所述基于分片数据的点查优化方法包括：
3、获取查询条件，根据查询条件，确定待查询的目标主键或列标识，根据目标主键或列标识，从分片间索引中，确定目标分片信息；
4、根据目标分片信息，结合分片映射表，确定目标合并分片；
5、根据目标主键或列标识，从目标合并分片中的合并分片内索引中，查询得到对应目标主键或列标识的数据。
6、第二方面，本申请实施例提供一种基于分片数据的点查优化装置，所述基于分片数据的点查优化装置包括：
7、分片信息确定模块，用于获取查询条件，根据查询条件，确定待查询的目标主键或列标识，根据目标主键或列标识，从分片间索引中，确定目标分片信息；
8、分片确定模块，用于根据目标分片信息，结合分片映射表，确定目标合并分片；
9、查询结果模块，用于根据目标主键或列标识，从目标合并分片中的合并分片内索引中，查询得到对应目标主键或列标识的数据。
10、第三方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于分片数据的点查优化方法。
11、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于分片数据的点查优化方法。
12、本申请实施例与现有技术相比存在的有益效果是：本申请将分片信息和数据主键或列标识形成的索引记录写入分片间索引，合并至少两个分片进行得到合并分片，将合并前后的分片信息写入分片映射表，将在合并分片中每个数据的主键或列标识与对应数据在合并分片中的位置形成的分片内索引，在查询时，根据获取的查询条件对应的目标主键或列标识，从分片间索引中确定目标分片信息，再结合分片映射表确定目标合并分片，根据目标主键或列标识和分片内索引，查询得到对应目标主键或列标识的数据。使得合并分片时无需修改分片间索引，也能够实现点查，提高了合并的效率和点查效率，优化了点查在合并分片场景下的使用，有助于提高数据存储和查询的效率。
本文档来自技高网...【技术保护点】
1.一种基于分片数据的点查优化方法，其特征在于，所述点查优化方法包括：
2.根据权利要求1所述的点查优化方法，其特征在于，在所述获取查询条件之前，还包括：
3.根据权利要求2所述的点查优化方法，其特征在于，在将一待导入数据导入到数据仓库中的一分片时，所述点查优化方法还包括：
4.根据权利要求2所述的点查优化方法，其特征在于，所述分片间索引为Btree索引结构，所述合并分片内索引和所述分片内索引均为稀疏索引结构、Memtable索引结构和Btree索引结构中的至少一种。
5.根据权利要求1所述的点查优化方法，其特征在于，在所述根据所述目标主键或所述列标识，从所述分片间索引中，确定目标分片信息之后，还包括：
6.根据权利要求5所述的点查优化方法，其特征在于，在所述查询得到对应所述目标主键或所述列标识的数据之后，还包括：
7.一种基于分片数据的点查优化装置，其特征在于，所述点查优化装置包括：
8.根据权利要求7所述的基于分片数据的点查优化装置，其特征在于，所述点查优化装置还包括：
9.一种计
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于分片数据的点查优化方法。
...【技术特征摘要】
1.一种基于分片数据的点查优化方法，其特征在于，所述点查优化方法包括：
2.根据权利要求1所述的点查优化方法，其特征在于，在所述获取查询条件之前，还包括：
3.根据权利要求2所述的点查优化方法，其特征在于，在将一待导入数据导入到数据仓库中的一分片时，所述点查优化方法还包括：
4.根据权利要求2所述的点查优化方法，其特征在于，所述分片间索引为btree索引结构，所述合并分片内索引和所述分片内索引均为稀疏索引结构、memtable索引结构和btree索引结构中的至少一种。
5.根据权利要求1所述的点查优化方法，其特征在于，在所述根据所述目标主键或所述列标识，从所述分片间索引中，确定目标分片信息之后，还包括：
6.根据权利要求5...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。