【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种流处理系统的扩缩容方法及装置、计算机程序产品、介质。
技术介绍
1、以storm、flink为代表的大数据流处理系统，通过由算子构成的有向无环图(dag)，实现对海量数据的实时处理。流处理系统中的资源管理模块尤为重要，它负责决定算子的资源配置(例如容器数量，cpu核数，内存大小)和部署位置。然而，现有的资源管理模块缺乏高效的自动弹性扩缩容策略，流处理作业往往被预先赋予冗余的计算资源，导致云资源资源配置效率较低。
2、因此，如何设计流处理系统的自动弹性扩缩容算法，如何使得流处理作业随着工作负载变化实时优化云资源配置，最大化作业吞吐量并保证高资源使用率引起了研究人员和开发人员的广泛关注。
技术实现思路
1、本专利技术的目的至少在于提供一种流处理系统的扩缩容方法，能够缩短查找最大吞吐量的云资源配置的时间。
2、第一方面，本专利技术提供了一种流处理系统的扩缩容方法，包括：获取云资源配置优化目标，所述云资源配置优化目标包括：最大吞吐量、最短搜索时间；确定所述云资源配置优化目标对应的目标云资源配置，包括：从配置的搜索空间中，获取前t-1个时间槽内的候选云资源配置；获取前t-1个时间槽内的候选云资源配置运行目标流处理作业得到的作业吞吐量、各个算子的吞吐量以及各个算子的资源利用率；t为正整数；基于所述前t-1个时间槽内采用候选云资源配置运行目标流处理作业得到的作业吞吐量、各个算子的吞吐量以及各个算子的资源利用率，确定所述目标流处理作业的瓶
3、获取云资源配置优化目标，云资源配置优化目标包括最大吞吐量和/或最短搜索时间。基于云资源配置优化目标，确定对应的目标云资源配置。由此，将最大吞吐量以及最短搜索时间作为约束条件，采用最终得到的目标云资源配置能够在最短搜索时间内获得最大吞吐量。
4、可选的，所述云资源配置优化目标为：其中，xi(t)为第i个算子在第t个时间槽内的候选云资源配置，xt＝{xi(t)}i为所有算子在第t个时间槽内的候选云资源配置构成的向量，yt(xt)＝{yi(xi(t))}i为xt对应的候选云资源配置在运行所述目标流处理作业时获得的各个算子处理速度构成的向量，ft(yt(xt))为所述目标流处理作业的算子处理速度到作业吞吐量的映射函数，表征xt可以使得所述目标流处理作业在1到t时间内累计吞吐量最大。
5、可选的，使用如下式子，观测算子处理速度yi(t)：其中，cpui(xi(t))是第i个算子在所述第t个时间槽内采用xi(t)得到的cpu利用率，是第i个算子到第j个算子的吞吐量，ci(t)为第i个算子在第t个时间槽内处理速度yi(t)的采样，ci(t)服从于期望为yi(t)的正态分布。
6、可选的，yi所对应的高斯过程为gp(μ(x)，k(x，x′))，其中：μ(x)为yi的平均值，k(x，x′)为yi的协方差。
7、可选的，所述基于所述瓶颈算子、前t-1个时间槽内所述瓶颈算子的吞吐量以及前t-1个时间槽内所述瓶颈算子的资源利用效率，确定所述瓶颈算子的预测处理速度，包括：基于yi对应的高斯过程gp(μ(x)，k(x，x′))，以及所述前t-1个时间槽内候选云资源配置运行所述目标流处理作业，使用预测操作得到所述预测处理速度的期望μt(x)与方差其中，μt(x)＝kt(x)t(kt+σ2i)-1yt，kt(x，x′)＝k(x，x′)-kt(x)(kt+σ2i)-1kt(x′)；kt(x)＝[k(x1，x)，k(x2，x)，...，k(xt，x)]t；i为单位矩阵，kt是正定的内核矩阵at为前t个时间槽内的候选云资源配置的集合，且at＝{x1，x2，…，xt}，x1为第1个时间槽内的候选云资源配置，x2为第2个时间槽内采用的候选云资源配置，xt为第t个时间槽内的候选云资源配置，x′为所述第t个时间槽后的下一个时间槽内候选云资源配置。
8、可选的，所述基于所述瓶颈算子以及所述瓶颈算子的预测处理速度，从所述搜索空间中选择第t个时间槽内的候选云资源配置，包括：采用下式从所述搜索空间中选择所述第t个时间槽内的候选云资源配置：其中πχ是指从所述搜索空间x中选取第t个时间槽内的候选云资源配置，βt为上置信区间权重，βt＝2log(|x|t2π2δ/6)，δ∈(1，∞)；μt-1(x)为yi对应期望的后验分布，σt-1(xt)为yi对应方差的后验分布。
9、第二方面，本专利技术提供了一种流处理系统的扩缩容装置，包括：获取单元，用于获取云资源配置优化目标，所述云资源配置优化目标包括：最大吞吐量、最短搜索时间；确定单元，用于确定所述云资源配置优化目标对应的目标云资源配置，包括：从配置的搜索空间中，获取前t-1个时间槽内的候选云资源配置；获取前t-1个时间槽内采用候选云资源配置运行目标流处理作业得到的作业吞吐量、各个算子的吞吐量以及各个算子的资源利用率；t为正整数；基于所述前t-1个时间槽内采用候选云资源配置运行目标流处理作业得到的作业吞吐量、各个算子的吞吐量以及各个算子的资源利用率，确定所述目标流处理作业的瓶颈算子；基于所述瓶颈算子、前t-1个时间槽内所述瓶颈算子的吞吐量以及前t-1个时间槽内所述瓶颈算子的资源利用效率，确定所述瓶颈算子的预测处理速度；基于所述瓶颈算子以及所述瓶颈算子的预测处理速度，从所述搜索空间中选择第t个时间槽内的候选云资源配置；采用所述第t个时间槽内的候选云资源配置运行所述目标流处理作业时，所述瓶颈算子的预测处理速度满足上游算子产生的流量的需求；检测到所述第t个时间槽内的候选云资源配置与所述第t-1个时间槽内的候选云资源配置相同时，将所述第个时间槽内的候选云资源配置作为所述目标云资源配置。
10、第三方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述任一种所述的流处理系统的扩缩容方法的步骤。
11、第四方面，本专利技术提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一种所述的流处理系统的扩缩容方法的步骤。
12、第五方面，本专利技术提供了另一种流处理系统的扩缩容装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述任一种所述的流处理系统的扩缩容方法的步骤本文档来自技高网...
【技术保护点】
1.一种流处理系统的扩缩容方法，其特征在于，包括：
2.如权利要求1所述的流处理系统的扩缩容方法，其特征在于，所述云资源配置优化目标为：
3.如权利要求2所述的流处理系统的扩缩容方法，其特征在于，使用如下式子确定算子处理速度yi(t)：
4.如权利要求3所述的流处理系统的扩缩容方法，其特征在于，yi所对应的高斯过程为GP(μ(x),k(x,x′))，其中：
5.如权利要求4所述的流处理系统的扩缩容方法，其特征在于，所述基于所述瓶颈算子、前t-1个时间槽内所述瓶颈算子的吞吐量以及前t-1个时间槽内所述瓶颈算子的资源利用效率，确定所述瓶颈算子的预测处理速度，包括：基于yi对应的高斯过程GP(μ(x),k(x,x′))，以及所述前t-1个时间槽内候选云资源配置运行所述目标流处理作业，使用预测操作得到所述预测处理速度的期望μt(x)与方差
6.如权利要求5所述的流处理系统自动弹性扩缩容算法，其特征在于，所述基于所述瓶颈算子以及所述瓶颈算子的预测处理速度，从所述搜索空间中选择第t个时间槽内的候选云资源配置，包括：
7.
8.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1～6任一项所述的流处理系统的扩缩容方法的步骤。
9.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～6任一项所述的流处理系统的扩缩容方法的步骤。
10.一种流处理系统的扩缩容装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1～6任一项所述的流处理系统的扩缩容方法的步骤。
...【技术特征摘要】
1.一种流处理系统的扩缩容方法，其特征在于，包括：
2.如权利要求1所述的流处理系统的扩缩容方法，其特征在于，所述云资源配置优化目标为：
3.如权利要求2所述的流处理系统的扩缩容方法，其特征在于，使用如下式子确定算子处理速度yi(t)：
4.如权利要求3所述的流处理系统的扩缩容方法，其特征在于，yi所对应的高斯过程为gp(μ(x),k(x,x′))，其中：
5.如权利要求4所述的流处理系统的扩缩容方法，其特征在于，所述基于所述瓶颈算子、前t-1个时间槽内所述瓶颈算子的吞吐量以及前t-1个时间槽内所述瓶颈算子的资源利用效率，确定所述瓶颈算子的预测处理速度，包括：基于yi对应的高斯过程gp(μ(x),k(x,x′))，以及所述前t-1个时间槽内候选云资源配置运行所述目标流处理作业，使用预测操作得到所述预测处理速度的期望μt(x)与方差
6.如权利要求5所述的流...
【专利技术属性】
技术研发人员：刘洋，惠鑫源，崔阳光，刘通，童维勤，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。