本申请公开了一种分布式系统的配置优化方法、装置及电子设备。其中，该方法包括：确定分布式系统的运行状态；在运行状态不满足预设性能指标的情况下，通过配置优化模型对分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，其中，配置优化模型包括全局代理优化模型和局部分区优化模型，全局代理优化模型用于通过调整代理数量来优化系统性能，局部分区优化模型用于通过调整分区数量来优化系统性能；依据目标代理数量和目标分区数量对分布式系统进行配置。本申请解决了由于相关技术中的Kafka配置在高并发的实时数据流处理中，存在数据延迟过大、处理瓶颈困难和资源浪费的技术问题。
1、随着信息技术的快速发展和大规模数据的不断涌现，分布式数据处理平台在企业运维、云计算和大数据分析中扮演着至关重要的角色。其中，kafka作为一种广泛使用的分布式数据流处理平台，能够支持高吞吐量的实时数据交换，其在生产者-消费者模式中的应用可以为运维技术数字化转型提供强大的技术支持。例如，在自动化部署过程中，系统需要处理大量的实时日志、告警信息和设备状态数据，使用kafka实时传输这些数据，可以保证运维人员在第一时间获取系统状态，提升对突发故障和异常事件的响应速度。此外，在智能监控和运维自动化场景中，kafka可以作为数据流的核心枢纽，帮助快速分发和处理监控数据，以支持故障检测、告警和自处理功能。
2、然而，kafka的性能表现高度依赖于其内部配置，特别是分区(partitions)和代理(brokers)的设置。分区数量决定了数据的并行处理能力，而代理数量则影响数据的存储和系统的容错性。因此，尽管kafka本身提供了一定程度的容错和高并发支持，但其默认配置往往无法满足特定场景下的需求，尤其是在多节点分布式的复杂网络环境下，数据处理的吞吐量、延迟和系统可用性成为了亟待解决的关键问题。若kafka配置不当，可能会导致数据处理效率下降，数据延迟增加，甚至出现处理瓶颈，影响整个运维系统的实时响应能力和稳定性。
>1、本申请实施例提供了一种分布式系统的配置优化方法、装置及电子设备，以至少解决由于相关技术中的kafka配置在高并发的实时数据流处理中，存在数据延迟过大、处理瓶颈困难和资源浪费的技术问题。2、根据本申请实施例的一个方面，提供了一种分布式系统的配置优化方法，包括：确定分布式系统的运行状态，其中，运行状态包括分布式系统中每个实例的负载情况和资源使用情况；在运行状态不满足预设性能指标的情况下，通过配置优化模型对分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，其中，配置优化模型包括全局代理优化模型和局部分区优化模型，全局代理优化模型用于通过调整代理数量来优化系统性能，局部分区优化模型用于通过调整分区数量来优化系统性能；依据目标代理数量和目标分区数量对分布式系统进行配置。
3、可选地，配置优化模型至少包括：第一目标函数、第二目标函数和第三目标函数，其中，第一目标函数用于衡量分布式系统的全局延迟，第二目标函数用于衡量分布式系统在目标代理数量下的资源成本，第三目标函数用于衡量分布式系统在目标分区数量下的资源利用率和性能指标。
4、可选地，在运行状态不满足预设性能指标的情况下，通过配置优化模型对分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，包括：在负载情况超过第一预设阈值的情况下，通过全局代理优化模型确定分布式系统的目标代理数量，其中，目标代理数量用于表示分布式系统在负载情况下所需的代理数量；在资源使用情况超过第二预设阈值的情况下，通过局部分区优化模型确定分布式系统的目标分区数量，其中，目标分区数量用于表示分布式系统在资源使用情况下所需的分区数量。
5、可选地，通过全局代理优化模型确定分布式系统的目标代理数量，包括：通过全局代理优化模型中的第四目标函数确定目标代理数量，其中，第四目标函数通过以下方式确定：确定分布式系统的初始分区数量；确定在负载情况下的延迟约束和可用性约束，其中，延迟约束用于保持分布式系统的代理数量、初始分区数量、复制因子和复制延迟之间的关系满足系统的预设延迟，可用性约束用于保持分布式系统的代理不可用时间满足系统的预设不可用时间，其中，复制因子用于表示分布式系统中分区的副本数，复制延迟用于表示分布式系统中代理的复制时间，预设延迟用于表示系统能够接受的最大延迟时间，代理不可用时间用于表示分布式系统中代理的暂停服务时间，预设不可用时间用于表示系统能够接受的最大代理不可用时间；依据初始分区数量、延迟约束和可用性约束确定第四目标函数。
6、可选地，通过局部分区优化模型确定分布式系统的目标分区数量，包括：通过局部分区优化模型中的第五目标函数确定目标分区数量，其中，第五目标函数通过以下方式确定：确定分布式系统的吞吐量约束，其中，吞吐量约束用于保持分布式系统的分区数量满足系统的吞吐量需求；依据目标代理数量、延迟约束和吞吐量约束确定第五目标函数。
7、可选地，方法还包括：在预设时间周期内确定分布式系统集群的目标运行状态，其中，目标运行状态为分布式系统配置了目标代理数量和目标分区数量后的运行状态；在目标运行状态不满足预设性能指标的情况下，通过配置优化模型对目标代理数量和目标分区数量进行调整；在目标运行状态满足预设性能指标的情况下，保持分布式系统的配置情况。
8、可选地，预设性能指标至少包括：分布式系统的全局延迟、分布式系统中每个分区的延迟以及分布式系统中每个代理的最大负载。
9、根据本申请实施例的另一方面，还提供了一种分布式系统的配置优化装置，包括：确定模块，用于确定分布式系统的运行状态，其中，运行状态包括分布式系统中每个实例的负载情况和资源使用情况；调整模块，用于在运行状态不满足预设性能指标的情况下，通过配置优化模型对分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，其中，配置优化模型包括全局代理优化模型和局部分区优化模型，全局代理优化模型用于通过调整代理数量来优化系统性能，局部分区优化模型用于通过调整分区数量来优化系统性能；配置模块，用于依据目标代理数量和目标分区数量对分布式系统进行配置。
10、根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器和处理器，其中，存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现上述分布式系统的配置优化方法。
11、根据本申请实施例的再一方面，还提供了一种非易失性存储介质，非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行计算机程序执行上述分布式系统的配置优化方法。
12、根据本申请实施例的再一方面，还提供了一种计算机程序产品，包括计算机指令，计算机指令被处理器执行时实现上述分布式系统的配置优化方法。
13、在本申请实施例中，通过确定分布式系统的运行状态，其中，运行状态包括分布式系统中每个实例的负载情况和资源使用情况；在运行状态不满足预设性能指标的情况下，通过配置优化模型对分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，其中，配置优化模型包括全局代理优化模型和局部分区优化模型，全局代理优化模型用于通过调整代理数量来优化系统性能，局部分区优化模型用于通过调整分区数量来优化系统性能；依据目标代理数量和目标分区数量对分布式系统进行配置，达到了通过自适应地调整代理和分区数量，以适应不同负载和资源条件的目的，从而实现了在高并发场景下减少数本文档来自技高网...
【技术保护点】
1.一种分布式系统的配置优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述配置优化模型至少包括：第一目标函数、第二目标函数和第三目标函数，其中，所述第一目标函数用于衡量所述分布式系统的全局延迟，所述第二目标函数用于衡量所述分布式系统在所述目标代理数量下的资源成本，所述第三目标函数用于衡量所述分布式系统在所述目标分区数量下的资源利用率和性能指标。
3.根据权利要求1所述的方法，其特征在于，在所述运行状态不满足预设性能指标的情况下，通过配置优化模型对所述分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，包括：
4.根据权利要求3所述的方法，其特征在于，通过全局代理优化模型确定所述分布式系统的目标代理数量，包括：通过所述全局代理优化模型中的第四目标函数确定所述目标代理数量，其中，所述第四目标函数通过以下方式确定：
5.根据权利要求4所述的方法，其特征在于，通过局部分区优化模型确定所述分布式系统的目标分区数量，包括：通过所述局部分区优化模型中的第五目标函数确定所述目标分区数量，其中，所述第五目标函数通过以下方式确定：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述预设性能指标至少包括：所述分布式系统的全局延迟、所述分布式系统中每个分区的延迟以及所述分布式系统中每个代理的最大负载。
8.一种分布式系统的配置优化装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器，用于存储程序指令；所述处理器，与所述存储器连接，用于执行实现权利要求1至7中任意一项所述的分布式系统的配置优化方法。
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至7中任意一项所述的分布式系统的配置优化方法。
11.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至7中任意一项所述的分布式系统的配置优化方法。
...
【技术特征摘要】
1.一种分布式系统的配置优化方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述配置优化模型至少包括：第一目标函数、第二目标函数和第三目标函数，其中，所述第一目标函数用于衡量所述分布式系统的全局延迟，所述第二目标函数用于衡量所述分布式系统在所述目标代理数量下的资源成本，所述第三目标函数用于衡量所述分布式系统在所述目标分区数量下的资源利用率和性能指标。
3.根据权利要求1所述的方法，其特征在于，在所述运行状态不满足预设性能指标的情况下，通过配置优化模型对所述分布式系统的代理数量和分区数量进行调整，得到目标代理数量和目标分区数量，包括：
4.根据权利要求3所述的方法，其特征在于，通过全局代理优化模型确定所述分布式系统的目标代理数量，包括：通过所述全局代理优化模型中的第四目标函数确定所述目标代理数量，其中，所述第四目标函数通过以下方式确定：
5.根据权利要求4所述的方法，其特征在于，通过局部分区优化模型确定所述分布式系统的目标分区数量，包括：通过所述局部分区优化模型中的第五目标...
【专利技术属性】
技术研发人员：周展平，祖晓晖，马睿，潘强，刘炜，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。