基于yarn调度的flink参数优化方法、系统、设备和存储介质技术方案

本申请涉及一种基于yarn调度的flink参数优化方法、系统、设备和存储介质，该方法包括：获取任务请求，根据任务请求通过yarn集群启动flink应用；实时获取flink应用运行过程中的指标参数；基于指标参数能否满足规格要求的情况，根据相应的预设调整策略对flink应用的初始参数进行动态优化。通过本申请，解决了无法根据运行情况进行参数动态优化的问题，实现了能在flink应用运行过程中，根据实际运行情况进行动态参数优化的效果。进行动态参数优化的效果。进行动态参数优化的效果。

【技术实现步骤摘要】
基于yarn调度的flink参数优化方法、系统、设备和存储介质


[0001]本申请涉及流计算
，特别是涉及一种基于yarn调度的flink参数优化方法、系统、设备和存储介质。

技术介绍

[0002]Flink是一种分布式处理引擎，它以数据并行和流水线方式执行任意流数据程序，用于对无界和有界数据流进行有状态的计算，因此在实时统计、分析或推荐领域有许多应用。同时，在实际应用时为了充分利用应用资源，通常还需要对flink应用的参数配置进行优化。
[0003]现有技术中，通常是根据固定的配置策略，人为设置flink应用的参数，实现静态资源配置，那么在flink应用运行过程中，就无法根据实际运行情况再调整参数进行优化。
[0004]针对相关技术中存在无法根据运行情况进行参数动态优化的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种基于yarn调度的flink参数优化方法、系统、设备和存储介质，以解决相关技术中的问题。
[0006]第一个方面，在本实施例中提供了一种基于yarn调度的flink参数优化方法，其特征在于，包括：
[0007]获取任务请求，根据所述任务请求通过yarn集群启动flink应用；
[0008]实时获取所述flink应用运行过程中的指标参数；
[0009]基于所述指标参数能否满足规格要求的情况，根据相应的预设调整策略对所述flink应用的初始参数进行动态优化。
[0010]在其中的一些实施例中，所述初始参数包括TaskManager数量、每个TaskManager上slot数量、每个TaskManager使用cpu核的数量以及每个TaskManager使用的内存。
[0011]在其中的一些实施例中，所述基于所述指标参数能否满足规格要求的情况，根据相应的预设调整策略对所述flink应用的初始参数进行动态优化，包括：
[0012]当所述指标参数不满足所述规格要求时，根据相应的预设调整策略对所述初始参数进行调整，得到第一优化参数；
[0013]若所述第一优化参数满足所述规格要求，则进一步对所述第一优化参数进行优化，得到第二优化参数；
[0014]若所述第一优化参数不满足所述规格要求，则报警异常。
[0015]在其中的一些实施例中，所述对所述初始参数进行调整，得到第一优化参数，包括：
[0016]将所述初始参数中TaskManager数量翻倍，同时保持所述初始参数中每个TaskManager上slot数量和每个TaskManager使用cpu核的数量不变；
[0017]当所述指标参数中吞吐量达到所述规格要求时，得到所述第一优化参数；
[0018]当所述指标参数中吞吐量未达到所述规格要求，且所述TaskManager数量达到上限时，再将所述每个TaskManager上slot数量和所述每个TaskManager使用cpu核的数量翻倍，直到所述吞吐量达到所述规格要求，得到所述第一优化参数。
[0019]在其中的一些实施例中，述进一步对所述第一优化参数进行优化，得到第二优化参数，包括：
[0020]通过二分法将所述第一优化参数中TaskManager数量减半，同时将所述第一优化参数中每个TaskManager上slot数量和每个TaskManager使用cpu核的数量翻倍，直到所述cpu核数量超过上限；
[0021]当所述cpu核数量超过上限且所述指标参数中吞吐量达到所述规格要求时，所述yarn集群无法提供更多应用资源，将超过上限前一次的所述第一优化参数作为所述第二优化参数。
[0022]在其中的一些实施例中，上述方法还包括：
[0023]在能够达到业务要求的情况下，通过二分法将所述第二优化参数中每个TaskManager使用cpu核的数量减半，再将所述第二优化参数中每个TaskManager使用的内存作适应性调整，以达到使用最少内存满足业务要求，得到第三优化参数。
[0024]在其中的一些实施例中，上述方法还包括：
[0025]当所述指标参数满足所述规格要求时，根据相应的预设调整策略对所述初始参数进行优化，得到第四优化参数。
[0026]在其中的一些实施例中，所述对所述初始参数进行优化，得到第四优化参数，包括：
[0027]通过二分法将所述初始参数中TaskManager数量减半，同时将所述初始参数中每个TaskManager上slot数量和每个TaskManager使用cpu核的数量翻倍，直到所述cpu核数量超过上限；
[0028]当所述cpu核数量超过上限且所述指标参数中吞吐量达到所述规格要求时，所述yarn集群无法提供更多应用资源，将超过上限前一次的所述初始参数作为所述第四优化参数。
[0029]在其中的一些实施例中，上述方法还包括：
[0030]在能够达到业务要求的情况下，通过二分法将所述第四优化参数中每个TaskManager使用cpu核的数量减半，再将所述第四优化参数中每个TaskManager使用的内存作适应性调整，以达到使用最少内存满足业务要求，得到第五优化参数。
[0031]在其中的一些实施例中，上述方法还包括：
[0032]每次对所述TaskManager数量进行调整后，将所述指标参数中的内存使用率与预设值的进行比较；
[0033]若所述内存使用率超过所述预设值，则将每个TaskManager使用的内存翻倍；
[0034]若所述内存使用率未超过所述预设值，则保持每个TaskManager使用的内存不变。
[0035]在其中的一些实施例中，上述方法还包括：
[0036]根据实际应用场景采集的真实数据，定时获取训练样本集；
[0037]通过所述方法对所述训练样本集进行相应配置，并根据所述训练样本集进行目标
等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
[0056]在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于yarn调度的flink参数优化方法，其特征在于，包括：获取任务请求，根据所述任务请求通过yarn集群启动flink应用；实时获取所述flink应用运行过程中的指标参数；基于所述指标参数能否满足规格要求的情况，根据相应的预设调整策略对所述flink应用的初始参数进行动态优化。2.根据权利要求1所述的基于yarn调度的flink参数优化方法，其特征在于，所述初始参数，包括TaskManager数量、每个TaskManager上slot数量、每个TaskManager使用cpu核的数量以及每个TaskManager使用的内存。3.根据权利要求1所述的基于yarn调度的flink参数优化方法，其特征在于，所述基于所述指标参数能否满足规格要求的情况，根据相应的预设调整策略对所述flink应用的初始参数进行动态优化，包括：当所述指标参数不满足所述规格要求时，根据相应的预设调整策略对所述初始参数进行调整，得到第一优化参数；若所述第一优化参数满足所述规格要求，则进一步对所述第一优化参数进行优化，得到第二优化参数；若所述第一优化参数不满足所述规格要求，则报警异常。4.根据权利要求3所述的基于yarn调度的flink参数优化方法，其特征在于，所述对所述初始参数进行调整，得到第一优化参数，包括：将所述初始参数中TaskManager数量翻倍，同时保持所述初始参数中每个TaskManager上slot数量和每个TaskManager使用cpu核的数量不变；当所述指标参数中吞吐量达到所述规格要求时，得到所述第一优化参数；当所述指标参数中吞吐量未达到所述规格要求，且所述TaskManager数量达到上限时，再将所述每个TaskManager上slot数量和所述每个TaskManager使用cpu核的数量翻倍，直到所述吞吐量达到所述规格要求，得到所述第一优化参数。5.根据权利要求3所述的基于yarn调度的flink参数优化方法，其特征在于，所述进一步对所述第一优化参数进行优化，得到第二优化参数，包括：通过二分法将所述第一优化参数中TaskManager数量减半，同时将所述第一优化参数中每个TaskManager上slot数量和每个TaskManager使用cpu核的数量翻倍，直到所述cpu核数量超过上限；当所述cpu核数量超过上限且所述指标参数中吞吐量达到所述规格要求时，所述yarn集群无法提供更多应用资源，将超过上限前一次的所述第一优化参数作为所述第二优化参数。6.根据权利要求3所述的基于yarn调度的flink参数优化方法，其特征在于，还包括：在能够达到业务要求的情况下，通过二分法将所述第二优化参数中每个TaskManager使用cpu核的数量减半，再将所述第二优化参数中每个TaskManager使用的内存作适应性调整，以达到使用最少内存满足业务要求，得到第三优化参数。7.根据权利...

【专利技术属性】
技术研发人员：薛楚，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：