【技术实现步骤摘要】
本申请涉及大数据处理，尤其涉及基于gpu的日志结构合并树结构设计方法和系统。
技术介绍
1、在当前数字化时代背景下，大数据和云计算的飞速发展为数据处理带来了前所未有的挑战。尤其在那些对高速写入操作有着迫切需求的应用场景中，例如社交网络平台、在线搜索引擎、电子商务网站等，这些场合产生的数据量远远超出了传统数据处理技术的处理上限。例如大型互联网企业每日需要应对数亿级别的数据请求，涉及的内容包括但不限于用户上传的信息、搜索请求、在线交易等。这些海量的数据不只需要有效地存储，更要求能够进行快速且实时的处理，以保证服务的稳定可靠。此外，这种数据的爆炸式增长还对存储设施和处理算法提出了更高的要求，需要新型的技术解决方案来应对这些挑战。
2、在此背景下，日志结构合并树(lsm树)作为一种高效的数据结构被广泛应用于数据库系统，尤其是键值存储系统中，以支持高吞吐量的写入操作。此外，在当前的技术发展趋势中，gpu(图形处理器)已经不仅仅被应用于图形学、深度学习等领域中，在数据库领域，gpu凭借其强大的并行处理能力逐渐扮演重要的角色，例如查询加速等。
3、然而，尽管gpu在数据库系统中的应用带来了显著的性能提升，但同时也带来了新的挑战，尤其是在显存管理和优化方面。由于gpu显存资源有限且成本昂贵，如何在有限的显存空间内高效管理和处理巨量数据成为了一大挑战，对于相关数据结构设计提出新的要求。
4、传统lsm树在gpu上进行实现时，未能充分考虑gpu的显存资源利用问题，导致有大量缓存空间被浪费。
1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本申请的第一个目的在于提出一种基于gpu的日志结构合并树结构设计方法，实现了缓存空间的充分利用，提升了gpu空间利用率。
3、本申请的第二个目的在于提出一种基于gpu的日志结构合并树结构设计系统。
4、为达上述目的，本申请第一方面实施例提出了一种基于gpu的日志结构合并树结构设计方法，包括：设定日志结构合并树每层的区域状态，其中，区域状态为空状态、缓存态或数据态；在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据当前日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换。
5、本申请实施例的基于gpu的日志结构合并树结构设计方法，通过创新地混合使用缓存区域和数据区域(缓存区域用于执行数据合并的临时空间)，不同区域之间状态可以互相转化，利用先前被浪费的缓存区域空间用于管理数据，避免了传统结构设计中固定缓存区域占用gpu显存空间过大导致显存浪费的问题，为gpu上高效数据结构设计与实现提供了一种崭新的思路，极大地提升gpu空间利用率，有助于满足数字化社会对数据处理技术的不断增长的需求。
6、可选地，在本申请的一个实施例中，日志结构合并树的数据采用分级管理策略，日志结构合并树的最底层为容量最大的层，每一层所能容纳的数据批数量为前一层的两倍，每批数据大小固定，每层的数据根据其按键进行排序。
7、可选地，在本申请的一个实施例中，空状态表示未存放数据，缓存态表示存放临时数据，数据态表示已存放数据，所有层级的初始状态为空状态。
8、可选地，在本申请的一个实施例中，在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换，包括：
9、在新的数据抵达且需要和已有数据合并时，通过区域选择算法选择作为缓存区域的空间，将选择的层级确定为缓存层，将确定的缓存层的状态转换为缓存态；
10、在合并后的数据存放时，将存储位置对应的层级的状态转换为数据态，并将缓存层的状态转换为空状态。
11、可选地，在本申请的一个实施例中，选择作为缓存区域的空间，包括：
12、从日志结构合并树的最底层开始迭代检查，在检查时判断当前层是否为空，若为空，将当前层设为缓存层，在当前层检查完成后，设定上一层为当前层，在检查时判断当前层是否为空，若为空，更改当前层为缓存层；
13、在所有层均检查结束后，若未存在缓存层，确定无缓存层。
14、为达上述目的，本专利技术第二方面实施例提出了一种基于gpu的日志结构合并树结构设计系统，包括状态设定模块、状态调整模块，其中，
15、设定日志结构合并树每层的区域状态，其中，区域状态为空状态、缓存态或数据态；
16、在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换。
17、可选地，在本申请的一个实施例中，日志结构合并树的数据采用分级管理策略，日志结构合并树的最底层为容量最大的层，每一层所能容纳的数据批数量为前一层的两倍，每批数据大小固定，每层的数据根据其按键进行排序。
18、可选地，在本申请的一个实施例中，空状态表示未存放数据，缓存态表示存放临时数据，数据态表示已存放数据，所有层级的初始状态为空状态。
19、可选地，在本申请的一个实施例中，在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换，包括：
20、在新的数据抵达且需要和已有数据合并时，通过区域选择算法选择作为缓存区域的空间，将选择的层级确定为缓存层，将确定的缓存层的状态转换为缓存态；
21、在合并后的数据存放时，将存储位置对应的层级的状态转换为数据态，并将缓存层的状态转换为空状态。
22、可选地，在本申请的一个实施例中，选择作为缓存区域的空间，包括：
23、从日志结构合并树的最底层开始迭代检查，在检查时判断当前层是否为空，若为空，将当前层设为缓存层，在当前层检查完成后，设定上一层为当前层，在检查时判断当前层是否为空，若为空，更改当前层为缓存层；
24、在所有层均检查结束后，若未存在缓存层，确定无缓存层。
25、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种基于GPU的日志结构合并树结构设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述日志结构合并树的数据采用分级管理策略，所述日志结构合并树的最底层为容量最大的层，每一层所能容纳的数据批数量为前一层的两倍，每批数据大小固定，每层的数据根据其按键进行排序。
3.如权利要求1所述的方法，其特征在于，所述空状态表示未存放数据，所述缓存态表示存放临时数据，所述数据态表示已存放数据，所有层级的初始状态为空状态。
4.如权利要求3所述的方法，其特征在于，在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换，包括：
5.如权利要求4所述的方法，其特征在于，选择作为缓存区域的空间，包括：
6.一种基于GPU的日志结构合并树结构设计系统，其特征在于，包括状态设定模块、状态调整模块，其中，
7.如权利要求6所述的系统，其特征在于，所述日志结构合并树的数据采用分级管理策略，所述日志结构合并树的最底层为容量最大的层，每一层所能
8.如权利要求6所述的系统，其特征在于，所述空状态表示未存放数据，所述缓存态表示存放临时数据，所述数据态表示已存放数据，所有层级的初始状态为空状态。
9.如权利要求8所述的方法，其特征在于，在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换，包括：
10.如权利要求9所述的系统，其特征在于，所述选择作为缓存区域的空间，包括：
...【技术特征摘要】
1.一种基于gpu的日志结构合并树结构设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的方法，其特征在于，所述日志结构合并树的数据采用分级管理策略，所述日志结构合并树的最底层为容量最大的层，每一层所能容纳的数据批数量为前一层的两倍，每批数据大小固定，每层的数据根据其按键进行排序。
3.如权利要求1所述的方法，其特征在于，所述空状态表示未存放数据，所述缓存态表示存放临时数据，所述数据态表示已存放数据，所有层级的初始状态为空状态。
4.如权利要求3所述的方法，其特征在于，在新的数据抵达且需要和已有数据合并时，通过区域选择算法，根据日志结构合并树数据量动态选择用于作为缓存区域的空间并执行状态转换，包括：
5.如权利要求4所述的方法，其特征在于，选择作为缓存区域的空间，包括：
6.一种...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。