【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种存储型键值数据库批量热加载数据方法、系统、设备及介质。
技术介绍
1、随着信息技术快速发展，kv(键值)数据库因其高效的数据访问和存储特性，在多种应用场景中得到了广泛应用。传统的键值数据库通常将数据存储在内存中，虽然提供了快速的访问速度，但受限于内存容量，且难以进行长期的数据保存。为此，存储型键值数据库应运而生，它将数据存储在磁盘上，从而实现了数据的持久化保存。然而，随着数据量的不断增长，传统的数据加载方式，如逐条使用api写入数据库，在面对数以亿计或以十亿计的键值数据时，不仅耗时长，而且容易对数据库的读写性能造成影响，特别是在高并发的在线业务场景中，这种影响尤为显著，上述问题有待解决。
技术实现思路
1、本申请的主要目的在于克服现有技术的缺点与不足，提供一种存储型键值数据库批量热加载数据方法、系统、设备及介质，提高了数据加载的效率，同时也减少了对数据库读性能的影响，为在线业务提供了更稳定、更高效的数据服务。
2、为了达到上述目的，本申请采用以下技术方案：
3、第一方面，本申请提供了一种存储型键值数据库批量热加载数据方法，包括下述步骤：
4、数据仓库出仓任务组件获取键值数据库集群的分片信息和拓扑信息；
5、出仓任务根据所述分片信息和拓扑信息将键值数据生成对应的数据文件，并将所述数据文件上传到中央存储系统存储，同时将需加载的数据文件的元信息发送到批量加载服务组件；
6、批量加载服务组件基于接收
7、作为优选的技术方案，数据仓库出仓任务组件执行任务前，会配置出仓数据来源和目标出仓键值数据库集群的ip地址或者域名。
8、作为优选的技术方案，所述键值数据库集群的分片信息和拓扑信息是数据仓库出仓任务组件通过访问配置的所述目标出仓键值数据库集群的ip地址或者域名获取得到。
9、作为优选的技术方案，所述出仓任务根据所述分片信息和拓扑信息将键值数据生成对应的数据文件，具体的：
10、数据仓库出仓任务组件按照键值数据库集群的拓扑信息和分片信息，生成与分片同等数量的数据任务，数据任务再将键值数据生成分片对应的数据文件，并生成校验和。
11、作为优选的技术方案，还包括：批量加载服务组件接收到需加载的数据文件的元信息后，确认所有分片的数据文件是否存在以及数据文件大小是否正确。
12、作为优选的技术方案，所述根据分片信息将数据文件的元信息发送给每个节点后，节点检查自身的磁盘空间、下载的数据文件的元信息格式以及节点状态机信息是否满足条件。
13、作为优选的技术方案，所述节点根据数据文件的元信息从中央存储系统下载数据文件，并从数据文件中加载数据后，还包括：
14、检查数据文件元信息格式或者校验和是否合法，若合法，则打开数据文件实例。
15、第二方面，本申请提供了一种存储型键值数据库批量热加载数据系统，应用于所述的存储型键值数据库批量热加载方法，包括获取信息模块、生成文件模块以及加载数据模块；
16、所述获取信息模块，用于数据仓库出仓任务组件获取键值数据库集群的分片信息和拓扑信息；
17、所述生成文件模块，用于出仓任务根据所述分片信息和拓扑信息将键值数据生成对应的数据文件，并将所述数据文件上传到中央存储系统存储，同时将需加载的数据文件的元信息发送到批量加载服务组件；
18、所述加载数据模块，用于批量加载服务组件基于接收到的需加载的数据文件的元信息，根据分片信息将数据文件的元信息发送给每个节点，节点根据数据文件的元信息从中央存储系统下载数据文件，并从数据文件中加载数据。
19、第三方面，本申请提供了一种电子设备，所述电子设备包括：
20、至少一个处理器；以及，
21、与所述至少一个处理器通信连接的存储器；其中，
22、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的存储型键值数据库批量热加载方法。
23、第四方面，本申请提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的存储型键值数据库批量热加载方法。
24、综上所述，与现有技术相比，本申请提供的技术方案带来的有效效果至少包括：
25、本申请提出了一种存储型键值数据库批量热加载数据方法，通过从键值数据库集群获取分片信息和拓扑信息，生成数据文件，并将数据文件的元信息发送到批量加载服务组件，批量加载服务组件协调指导各个节点加载相应的数据，实现了高效进行大规模数据的加载，且在批量数据加载时，系统的读性能受影响很小。
本文档来自技高网...【技术保护点】
1.一种存储型键值数据库批量热加载数据方法，其特征在于，包括下述步骤：
2.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，数据仓库出仓任务组件执行任务前，会配置出仓数据来源和目标出仓键值数据库集群的IP地址或者域名。
3.根据权利要求2所述存储型键值数据库批量热加载数据方法，其特征在于，所述键值数据库集群的分片信息和拓扑信息是数据仓库出仓任务组件通过访问配置的所述目标出仓键值数据库集群的IP地址或者域名获取得到。
4.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，所述出仓任务根据所述分片信息和拓扑信息将键值数据生成对应的数据文件，具体的：
5.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，还包括：批量加载服务组件接收到需加载的数据文件的元信息后，确认所有分片的数据文件是否存在以及数据文件大小是否正确。
6.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，所述根据分片信息将数据文件的元信息发送给每个节点后，节点检查自身的磁盘空间、下载的数据文件的
7.根据权利要求6所述存储型键值数据库批量热加载数据方法，其特征在于，所述节点根据数据文件的元信息从中央存储系统下载数据文件，并从数据文件中加载数据后，还包括：
8.一种存储型键值数据库批量热加载数据系统，其特征在于，应用于权利要求1-7中任一项所述的一种存储型键值数据库批量热加载数据方法，包括获取信息模块、生成文件模块以及加载数据模块；
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的存储型键值数据库批量热加载数据方法。
...【技术特征摘要】
1.一种存储型键值数据库批量热加载数据方法，其特征在于，包括下述步骤：
2.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，数据仓库出仓任务组件执行任务前，会配置出仓数据来源和目标出仓键值数据库集群的ip地址或者域名。
3.根据权利要求2所述存储型键值数据库批量热加载数据方法，其特征在于，所述键值数据库集群的分片信息和拓扑信息是数据仓库出仓任务组件通过访问配置的所述目标出仓键值数据库集群的ip地址或者域名获取得到。
4.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，所述出仓任务根据所述分片信息和拓扑信息将键值数据生成对应的数据文件，具体的：
5.根据权利要求1所述存储型键值数据库批量热加载数据方法，其特征在于，还包括：批量加载服务组件接收到需加载的数据文件的元信息后，确认所有分片的数据文件是否存在以及数据文件大小是否...
【专利技术属性】
技术研发人员：廖晓波，刘佩东，陈方，
申请(专利权)人：唯品会广州软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。