一种面向跨地域的流计算延迟优化方法及装置制造方法及图纸

本发明专利技术涉及计算机通信技术领域，特别是指一种面向跨地域的流计算延迟优化方法及装置，装置包括任务调度模块、延迟约束模块以及集群能耗优化模块；方法包括：为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度；当监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略。采用本发明专利技术，可以降低系统延迟，提高利用率，降低系统能耗。降低系统能耗。降低系统能耗。

【技术实现步骤摘要】
一种面向跨地域的流计算延迟优化方法及装置


[0001]本专利技术涉及计算机通信
，特别是指一种面向跨地域的流计算延迟优化方法及装置。

技术介绍

[0002]当前，在实时流计算模型中，混合大量数据和复杂计算是很常见的。由于数据流的实时性以及对数据不规则接收和处理的特点，很难了解要处理的数据规模大小，以至于所需的资源数量也无法直接确定，出现资源分配不均、资源过剩、资源短缺等现象。并且资源不足和数据流拥塞导致处理速度变慢，系统的资源分配自然会消耗大量不必要的时间，从而影响系统的整体性能。在跨域大规模的集群工作中，由于地理跨度较大，造成了数据中心因业务需求不同而存在着数据差异以及用户群体差异，流计算系统的跨区域集群模式是常有处理方式，对于需要实时反馈的系统，保证系统低延迟以及集群合理的能耗成为研究者优化的重点方向。
[0003]造成系统延迟的因素是多方面的，以下从三方面进行介绍：
[0004]第一方面为选择方式的差异对系统延迟造成的影响。目前，大多数任务分配模型基本上都是基于两种方案：一种方式为根据工作节点资源的可用性进行划分，这种方式有利于维护系统内各个节点的负载均衡，有效避免了过载问题，但淡化了上下游组件中任务的作用关系。另一种方式为根据拓扑图的相关性划分子图进行节点选择，这种方式的优势在于根据拓扑图区分了上下游组件间的关联关系，但在任务量较大的流计算场景中会造成单一服务器压力过大。
[0005]第二方面为系统内组件的交互以及具体细化在执行器层级的延迟。系统内部的延迟主要包括为调度延迟，处理延迟和通信延迟。调度延迟描述的是系统中所提交拓扑后进行相关调度中所需要的时间，其中主要的过程为Nimbus响应时间和执行器资源分配的延迟时间。处理延迟描述的是系统中所运行的各个逻辑组件的整体处理延迟情况，其中主要包括各个执行器处理任务所需消耗的时间成本。通信延迟又可以区分为线程间的通信和进程间的通信，Storm中的通信机制同样为线程间通信压力最小，而进程间的通信压力较大，需要辅助手段进行通信。
[0006]第三方面为集群方面的能耗，随着数据量的增加和集群规模的扩大，规模较小的服务器集群组难以提供足够的服务资源，而集群组的规模变大时，各服务器组之间的跨地域通信对时延的影响就变得不可忽视，其中数据通信延迟是由数据传输距离与底层网络基础设施之间的差异造成的。

技术实现思路

[0007]为了解决现有技术中存在的延迟高、能耗大的问题，本专利技术实施例提供了一种面向跨地域的流计算延迟优化方法及装置。所述技术方案如下：
[0008]一方面，提供了一种面向跨地域的流计算延迟优化方法，该方法由面向跨地域的
流计算延迟优化装置实现，该方法包括：
[0009]根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
[0010]当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
[0011]当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
[0012]可选地，所述根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，包括：
[0013]根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
[0014]使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
[0015]根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
[0016]可选地，所述当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，包括：
[0017]当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
[0018]可选地，所述通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，包括：
[0019]通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
[0020]可选地，所述选择服务器进行休眠之后，还包括：
[0021]直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
[0022]另一方面，提供了一种面向跨地域的流计算延迟优化装置，该系统应用于面向跨地域的流计算延迟优化方法，该装置包括：
[0023]任务调度模块，用于根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
[0024]延迟约束模块，用于当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界
值参数的确定由提交拓扑的类型和数量决定；
[0025]集群能耗优化模块，用于当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
[0026]可选地，所述任务调度模块，用于：
[0027]根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
[0028]使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
[0029]根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
[0030]可选地，所述延迟约束模块，用于：
[0031]当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向跨地域的流计算延迟优化方法，其特征在于，所述方法包括：根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。2.根据权利要求1所述的方法，其特征在于，所述根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，包括：根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。3.根据权利要求1所述的方法，其特征在于，所述当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，包括：当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。4.根据权利要求1所述的方法，其特征在于，所述通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，包括：通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。5.根据权利要求1所述的方法，其特征在于，所述选择服务器进行休眠之后，还包括：直到CP...

【专利技术属性】
技术研发人员：孙大为，隋佳良，
申请(专利权)人：中国地质大学北京，
类型：发明
国别省市：