基于流式计算的资源管理方法及装置制造方法及图纸

本发明专利技术实施例提供了一种基于流式计算的资源管理方法及装置。其中，基于流式计算的资源管理方法包括：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。本发明专利技术实施例的基于流式计算的资源管理方法及装置，实现了在流式计算过程中，自动地对分配给计算流的既有资源进行调整以适应流量变化，使得流量高峰期和低峰期的资源使用率相对均衡，进而保证服务质量。

【技术实现步骤摘要】

本专利技术设及互联网
，尤其设及一种基于流式计算的资源管理方法及装 置。
技术介绍
在流式计算中，对于重要的计算往往会添加多份备份。W便于当一条计算流失效 时，其他的计算仍然可用，从而不影响整体的服务质量。当然，每一条计算流的资源都会受 到限制，仅保留可见的必要的余量，W保证峰值期间仍然可用。 近年来，随着流式计算业务的发展，数据量也逐步增大，通常会发生一些突发状 况。例如高峰期流量超出预期。在此状况下，任何一条计算流都会因数据量暴增而处理不 及时，导致延时，进而无法满足可靠性要求。现有技术一般采用投入更多的计算资源的方式 来保证服务质量。然而，上述方式具有无限制地获取额外资源，流量低峰期造成资源闲置等 不足之处。
技术实现思路
本专利技术实施例的目的在于，提供一种基于流式计算的资源管理方法及装置，W实 现在流式计算过程中，自动地调整分配给计算流的既有资源W适应数据量骤增等突发状 况，并保证服务质量。 为实现上述专利技术目的，本专利技术的实施例提供了一种基于流式计算的资源管理方 法，包括：分别获取多条计算流的数据订阅流量W及所述计算流的延迟时间长度；根据所 述多条计算流的数据订阅流量W及延迟时间长度对分配给所述计算流的资源进行调整。 优选地，所述根据所述多条计算流的数据订阅流量W及延迟时间长度对分配给所 述计算流的资源进行调整的处理包括：根据所述多条计算流的数据订阅流量分别对所述多 条计算流赋予权值，并且根据所述计算流的延迟时间长度分别计算在预定的时间间隔内所 述计算流的平均延迟时间长度；根据为所述多条计算流赋予的权值W及计算的平均延迟时 间长度分别计算所述多条计算流的价值评分；根据计算的所述多条计算流的价值评分对分 配给所述计算流的资源进行调整。 优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括：增加为计算出的价值评分低于预定的第一价值阔值的计算流分配的 资源。 优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值 评分，如果计算出的总价值评分低于预设的总价值阔值，则增加为计算出的价值评分低于 预定的第二价值阔值的计算流分配的资源。 优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理包括：根据为所述计算流计算出的价值评分计算所述多条计算流的总价值 评分，如果计算出的总价值评分低于预设的总价值阔值，则选取权值最大的计算流，并计算 选取的计算流的价值评分，如果所述选取的计算流的价值评分低于预定的第=价值阔值， 则增加为选取的计算流分配的资源。 优选地，所述根据计算的所述多条计算流的价值评分对分配给所述计算流的资源 进行调整的处理还包括：减少为计算出的价值评分高于预定的第四价值阔值的计算流分配 的资源。 优选地，所述根据所述多条计算流的数据订阅流量分别对所述多条计算流赋予权 值的处理包括：根据计算流的数据订阅流量在全部计算流的数据订阅流量总和的百分比分 别对所述多条计算流赋予权值。 优选地，所述分别获取多条计算流的延迟时间长度的处理包括：根据计算流的收 到确认时间和数据订阅时间分别计算所述计算流的延迟时间长度。 本专利技术的实施例还提供了一种基于流式计算的资源管理装置，包括：数据获取模 块，用于分别获取多条计算流的数据订阅流量W及所述计算流的延迟时间长度；资源调整 模块，用于根据所述多条计算流的数据订阅流量W及延迟时间长度对分配给所述计算流的 资源进行调整。 优选地，所述资源调整模块包括：权值及延迟时间计算单元，用于根据所述多条计 算流的数据订阅流量分别对所述多条计算流赋予权值，并且根据所述计算流的延迟时间长 度分别计算在预定的时间间隔内所述计算流的平均延迟时间长度；价值评分计算单元，用 于根据为所述多条计算流赋予的权值W及计算的平均延迟时间长度分别计算所述多条计 算流的价值评分；资源调整单元，用于根据计算的所述多条计算流的价值评分对分配给所 述计算流的资源进行调整。 优选地，所述资源调整单元用于增加为计算出的价值评分低于预定的第一价值阔 值的计算流分配的资源。 优选地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多 条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阔值，则增加为计算 出的价值评分低于预定的第二价值阔值的计算流分配的资源。 优选地，所述资源调整单元用于根据为所述计算流计算出的价值评分计算所述多 条计算流的总价值评分，如果计算出的总价值评分低于预设的总价值阔值，则选取计算出 的价值评分最高的计算流，如果选取的计算流的价值评分低于预定的第S价值阔值，则增 加为选取的计算流分配的资源。 优选地，所述资源调整单元还用于减少为计算出的价值评分高于预定的第四价值 阔值的计算流分配的资源。 优选地，所述权值及延迟时间计算单元用于根据计算流的数据订阅流量在全部计 算流的数据订阅流量总和的百分比分别对所述多条计算流赋予权值。 优选地，所述数据获取模块用于根据计算流的收到确认时间和数据订阅时间分别 计算所述计算流的延迟时间长度。 本专利技术实施例提供的基于流式计算的资源管理方法及装置，在获取多条计算流的 数据订阅流量W及所述计算流的延迟时间长度后，进一步根据获取到的多条计算流的数据 订阅流量W及延迟时间长度，自动地对分配给所述计算流的资源进行调整，从而适应数据 量骤增等突发状况并保证服务质量。可见，本实施例所述方法充分利用既有资源，无论是在 流量高峰期还是低峰期对资源的使用情况都相对平衡。同时，无需获取额外资源来保证流 式计算服务质量，由此，减少了资源浪费。【附图说明】 图1是示出本专利技术实施例一的基于流式计算的资源管理方法的流程图； 图2是示出本专利技术实施例二的基于流式计算的资源管理装置的逻辑框图。【具体实施方式】 本专利技术的基本构思是，提供一种基于流式计算的资源管理方式：分别获取多条计 算流的数据订阅流量W及所述计算流的延迟时间长度，由此，可基于获取到的所述多条计 算流的数据订阅流量W及延迟时间长度，自动地对分配给所述计算流的资源进行调整。与现有技术相比，本专利技术实施例所述的基于流式计算的资源管理方法能够充分利 用既有资源，无需获取额外资源。无论是在流量高峰期还是低峰期对资源的使用情况相对 平衡，减少资源浪费。并且，使得流式计算服务既满足常规的计算需求，又满足流量高峰期 的低延迟性需求。 下面结合附图详细描述本专利技术实施例的基于流式计算的资源管理方法及装置。 实施例一[002引图1是示出本专利技术实施例一的基于流式计算的资源管理方法的流程图。可在如图 2所示的装置上执行该方法。 参照图1，在步骤S110,分别获取多条计算流的数据订阅流量W及所述计算流的 延迟时间长度。 根据本专利技术的示例性实施例，步骤S110中分别获取多条计算流的延迟时间长度 的处理包括：根据计算流的收到确认时间和数据订阅时间分别计算所述计算流的延迟时间 长度。具体地，在传输可靠的流式计算系统中，下游应用（AP巧一般在收到计算流传递的上 游数据之后，会向计算流发送确认信息。因此，可W根据计算流收到的确认信息的时间计算 传输延迟时间长度。 在步本文档来自技高网...

【技术保护点】
一种基于流式计算的资源管理方法，其特征在于，所述方法包括：分别获取多条计算流的数据订阅流量以及所述计算流的延迟时间长度；根据所述多条计算流的数据订阅流量以及延迟时间长度对分配给所述计算流的资源进行调整。

【技术特征摘要】

【专利技术属性】
技术研发人员：熊云，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11