【技术实现步骤摘要】
本申请涉及索引，尤其涉及一种索引分片数量调整方法、装置、设备及存储介质。
技术介绍
1、弹性搜索引擎(elasticsearch，es)是一个分布式、高扩展、高实时的搜索与数据分析引擎，应用于搜索服务、日志分析、数据分析和存储等场景。在elasticsearch中，集群(cluster)由一个或多个节点组成，共同持有数据并提供索引和搜索功能，节点(node)是集群中的一个服务器，存储数据并参与集群的索引和搜索功能，索引是文档的集合，一个索引由一个或多个分片组成，用于存储和搜索数据，这些分片可以在不同的节点上分布存储。随着数据量的不断增长和业务需求的复杂化，原有索引的分片数量可能不足以支撑高效的查询和写入操作，需要重新调整索引的分片数量。
2、在相关技术中，通常是根据当前索引的数据量和预测数据增长率计算出的分配数量进行调整，然而，增长率的预测可能存在偏差，计算得到的分片数量不合理，导致集群磁盘占用不均匀，分片迁移和恢复困难，集群的稳定性差和健壮性差。
技术实现思路
1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
2、鉴于以上所述现有技术的缺点，本申请公开了一种索引分片数量调整方法、装置、设备及存储介质，以解决上述如何合理调整索引分片数量的技术问题。
3、第一方面，本申请提供了一种索引分片数量调整方法，包括：监测弹性搜索
4、于本申请一实施例中，所述监测弹性搜索集群节点中每一索引的当前写入速率，包括：每间隔预设周期时间检测所述索引在所述预设周期时间内的总数据量；根据所述预设周期时间和所述总数据量进行计算，得到所述索引在所述预设周期时间内的写入速率；将当前预设周期数量的所述预设周期时间各自对应的所述写入速率进行中位数计算，确定所述当前写入速率。
5、于本申请一实施例中，在所述得到目标分片数之后，还包括：将所述目标分片数分别和预设最大分片数、预设最小分片数进行比较；若所述目标分片数小于所述预设最小分片数，则将所述目标分片数调整为所述预设最小分片数；若所述目标分片数大于所述预设最大分片数，则将所述目标分片数调整为所述预设最大分片数，并生成警示信息。
6、于本申请一实施例中，所述若监测到任一所述索引下各所述分片的数据量符合预设条件，则将所述索引作为目标索引，包括：将所述索引下每一所述分片的所述数据量分别和所述最大数据量进行比较；若所述索引下每一所述分片的所述数据量均大于所述最大数据量，则新建索引，将所述索引作为所述目标索引；若所述索引下任一所述分片的所述数据量小于或等于所述最大数据量，则不新建索引。
7、于本申请一实施例中，在所述监测弹性搜索集群各节点中每一索引的当前写入速率之前，还包括：确定一所述弹性搜索集群下各所述节点和所述索引的映射关系；基于所述映射关系配置所述弹性搜索集群的集群表，所述集群表至少包括所述节点的数量、每一所述节点可承载所述索引的分片数上限、各所述索引下所述分片的所述最大数据量、各所述索引下的所述预设最小分片数和所述预设最大分片数、所述预设周期时间。
8、于本申请一实施例中，在所述基于所述映射关系配置所述弹性搜索集群的集群表之后，还包括：配置索引表，每一所述索引表对应一索引模版，所述索引表包括多个所述索引，所述索引表至少包括所述索引模版的名称和版本号、所述索引模版下各所述索引的当前分片数，以及各所述索引的名称、所述当前写入速率、在当前所述预设周期时间内的所述总数据量和所述写入速率，所述索引的名称包括所述索引模版的名称和创建时间；其中，每间隔所述预设周期时间对所述索引表进行更新。
9、于本申请一实施例中，所述基于所述目标分片数在承载所述目标索引的所述节点下新建索引，包括：比较所述目标索引的所述目标分片数和所述当前分片数，并将所述目标索引对应所述索引模版确定为目标索引模版；若所述目标分片数和所述当前分片数一致，则根据所述目标索引模版的名称和当前时间在所述目标索引模版下新建索引；若所述目标分片数和所述当前分片数不一致，则更新所述目标索引模版对应的所述版本号并将所述当前分片数更新为所述目标分片数后，根据所述目标索引模版的名称和当前时间在所述目标索引模版下新建索引。
10、第二方面，本申请提供了一种索引分片数量调整装置，所述装置包括：监测模块，用于监测弹性搜索集群各节点中每一索引的当前写入速率，以及所述索引下各分片的数据量；判定模块，用于若监测到任一所述索引下各所述分片的数据量符合预设条件，则将所述索引作为目标索引；计算模块，用于根据所述目标索引对应的最大数据量和所述当前写入速率进行计算，得到目标分片数，所述目标索引下各所述分片的所述最大数据量一致；创建模块，用于基于所述目标分片数在承载所述目标索引的所述节点下新建索引，以完成索引分片数量调整。
11、第三方面，本申请还提供了一种电子设备，包括：处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中所述的方法。
12、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被计算机的处理器执行时，使计算机执行如上述实施例中所述的方法。
13、本申请的有益效果：本申请提出了一种索引分片数量调整方法、装置、设备及存储介质。第一，通过监测弹性搜索集群各节点中每一索引下各分片的数据量，判断索引是否需要新建，即分片数量是否需要调整，若需要调整，则将索引作为目标索引，这样，基于实时监测索引下分片的数量动态新建索引，索引分片数量调整的实时性高，一定程度上避免了大量索引需要重新分片，影响集群的性能的情况，提高了集群的稳定性；第二，根据目标索引对应的最大数据量和索引的当前写入速率计算目标分片数，基于目标分片数在承载目标索引的节点下新建索引，以完成索引分片数量调整，这样，通过实时监测得到的索引的当前写入速率计算合理的目标分片数，即索引分片数量的调整是基于索引实时的业务数据量确定的，调整的索引分片数量合理，进一步提高了集群的稳定性和健壮性。
14、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种索引分片数量调整方法，其特征在于，包括：
2.根据权利要求1所述的索引分片数量调整方法，其特征在于，所述监测弹性搜索集群节点中每一索引的当前写入速率，包括：
3.根据权利要求1所述的索引分片数量调整方法，其特征在于，在所述得到目标分片数之后，还包括：
4.根据权利要求1至3任一项所述的索引分片数量调整方法，其特征在于，所述若监测到任一所述索引下各所述分片的数据量符合预设条件，则将所述索引作为目标索引，包括：
5.根据权利要求2所述的索引分片数量调整方法，其特征在于，在所述监测弹性搜索集群各节点中每一索引的当前写入速率之前，还包括：
6.根据权利要求5所述的索引分片数量调整方法，其特征在于，在所述基于所述映射关系配置所述弹性搜索集群的集群表之后，还包括：
7.根据权利要求6所述的索引分片数量调整方法，其特征在于，所述基于所述目标分片数在承载所述目标索引的所述节点下新建索引，包括：
8.一种索引分片数量调整装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器、存储器
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种索引分片数量调整方法，其特征在于，包括：
2.根据权利要求1所述的索引分片数量调整方法，其特征在于，所述监测弹性搜索集群节点中每一索引的当前写入速率，包括：
3.根据权利要求1所述的索引分片数量调整方法，其特征在于，在所述得到目标分片数之后，还包括：
4.根据权利要求1至3任一项所述的索引分片数量调整方法，其特征在于，所述若监测到任一所述索引下各所述分片的数据量符合预设条件，则将所述索引作为目标索引，包括：
5.根据权利要求2所述的索引分片数量调整方法，其特征在于，在所述监测弹性搜索集群各节点中每一索引的当前写入速率之前，还包括：
6.根据权利要求5所述的索引分片数...
【专利技术属性】
技术研发人员：明双，朱红霞，周沁含，谭昙，罗顺桥，代云龙，曾玉兴，杨常，
申请(专利权)人：重庆赛力斯新能源汽车设计院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。