【技术实现步骤摘要】
本专利技术涉及向量数据库、多模态数据库，具体涉及一种向量数据库的分片管理方法、装置及电子设备。
技术介绍
1、向量数据库，尤其分布式的向量数据库，能够存储查询海量数据。向量数据库通过不同节点的分片(region)对各节点的数据进行组织、管理、调度。但在相关技术中，存在不同分片存储的数据量不一致的情况，某些分片存储的数据量较多，而某些分片存储的数据量较少，在该情况下数据量较多的分片被访问的次数较多，导致对应节点的负载较大。
2、可见，相关技术中存在向量数据库的分片大小分配不合理的问题，降低了向量数据库的数据管理性能和效率。
技术实现思路
1、本专利技术实施例提供一种向量数据库的分片管理方法、装置及电子设备，以解决相关技术中存在向量数据库的分片大小分配不合理的问题。
2、为解决上述问题，本专利技术是这样实现的：
3、第一方面，本专利技术实施例提供一种数据处理方法，包括：
4、在目标分片对应的扫描数据满足第一预设条件的情况下，基于所述目标分片确定预先创建的多个子分片，所述扫描数据用于表征所述目标分片对应的数据的信息；
5、根据所述目标分片对应的数据确定所述多个子分片中每个子分片对应的数据。
6、第二方面，本专利技术实施例还提供一种数据处理装置，包括：
7、第一处理模块，用于在目标分片对应的扫描数据满足第一预设条件的情况下，基于所述目标分片确定预先创建的多个子分片，所述扫描数据用于表征所述目标分片对应的数据
8、第二处理模块，用于根据所述目标分片对应的数据确定所述多个子分片中每个子分片对应的数据。
9、第三方面，本专利技术实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的向量数据库的分片管理方法中的步骤。
10、第四方面，本专利技术实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如上述第一方面所述的向量数据库的分片管理方法中的步骤。
11、第五方面，本专利技术实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上述第一方面所述的向量数据库的分片管理方法中的步骤。
12、在本专利技术实施例中，通过在目标分片对应的扫描数据满足第一预设条件的情况下，基于所述目标分片确定预先创建的多个子分片，所述扫描数据用于表征所述目标分片对应的数据的信息；根据所述目标分片对应的数据确定所述多个子分片中每个子分片对应的数据。这样，通过判断目标分片对应的扫描数据是否满足第一预设条件，在满足第一预设条件的情况下对目标分片进行分裂，实现了向量数据块的动态扩容；调整后的根据目标分片对应的数据确定多个子分片中每个子分片对应的数据，以使得多个子分片对应的数据更少，使整个数据库的吞吐量也得到提升，提高使数据库的性能；与此同时：通过多个子分片对应数据，使得数据均衡的分布在不同子分片上，减少数据倾斜，提高各节点的资源利用率，方便数据管理调度，有利于数据库集群的整体健康，从而降低了每个子分片对应数据的负载。
本文档来自技高网...【技术保护点】
1.一种向量数据库的分片管理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述多个子分片与所述目标分片位于同一个节点内，所述节点中每个子分片对应的数据的键编码与该子分片为非绑定关系，所述多个子分片对应的数据的键编码根据所述目标分片对应的数据的键编码得到子分片。
3.根据权利要求2所述的方法，其特征在于，所述目标分片对应的数据包括第一数据和第二数据，所述根据所述目标分片对应的数据确定所述多个子分片中每个子分片对应的数据，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述向客户端推送所述路由信息和所述版本信息，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述预测数据包括所述目标分片对应的预测数据大小、预测数据数量和所述目标分片所在筏集群的健康状况中的至少一项，所述扫描数据包括所述目标分片对应的扫描数据大小和扫描数据数量中的至少一项；
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。