实时计算任务控制方法、装置及应用其的实时计算系统制造方法及图纸

本申请公开了一种实时计算任务控制方法、装置及应用其的实时计算系统，其通过在任务处理模块中设置任务控制节点，将与协调服务无关的辅助数据存储于该任务控制节点中，并由任务控制节点将辅助数据发送至中央调度模块，既可以减轻协调服务模块的存储及读写压力，又可以减少中央调度模块和任务处理节点在数据读写操作上的等待时间，进而提高实时计算系统的计算能力及响应能力，有利于系统运行大集群和大拓扑任务。另外，由于上述辅助数据与协调服务无关，故即使不通过协调服务模块进行存储，也不会影响后续步骤对这些辅助数据的应用。

【技术实现步骤摘要】
实时计算任务控制方法、装置及应用其的实时计算系统
本专利技术涉及分布式实时计算
，特别是涉及实时计算任务控制方法、装置及应用其的实时计算系统。
技术介绍
图1所示为现有Storm、Jstorm、Sparkstreaming等实时计算系统的拓扑结构。参照图1，在处理实时计算任务时，实时计算系统的任务执行模块1000的各个任务处理节点(task)1200分别将计算过程中产生的状态信息或采样信息等辅助数据存储在外部的协调服务模块3000(如Zookeeper)中；同时，中央调度模块2000(如Nimbus)从协调服务模块3000读取所需的辅助数据，以对所述任务执行模块1000进行实时调度和监控。例如，中央调度模块2000可以从协调服务模块3000读取任务处理节点的心跳数据，并判断其是否超时，如果超时，则中央调度模块2000触发该task的重新调度。又如，中央调度模块2000也会定期从协调服务模块3000中读取实时计算任务的采样数据，以用于任务信息的监控和展示。基于上述实时计算任务处理过程，随着实时计算需求的增加，计算量随之增大,单位时间内需要由协调服务模块存储的数据量及存储次数也随之增加，相应的，中央调度模块为实现任务监控，单位时间内从协调服务模块中读取数据的次数也会增加。可见，实时计算任务的增加，要求协调服务模块有更高的数据读写速度；如果协调服务模块不能满足实时计算任务增加导致的数据高速读写要求，将导致系统的任务执行模块及中央调度模块长时间等待协调服务模块执行读写操作，即不能及时存储及读取辅助数据，最终导致系统计算能力及响应能力的下降。
技术实现思路
为了解决上述技术问题，本申请公开了一种实时计算任务控制方法、装置及应用其的实时计算系统。本申请第一方面提供了一种实时计算任务控制方法，所述方法应用于实时计算系统，且所述实时计算系统的任务执行模块中设置有控制节点；所述方法包括：在所述控制节点作为任务控制节点时，所述任务控制节点获取并存储所述任务执行模块的各个任务处理节点产生的与协调服务无关的辅助数据；所述任务控制节点将所述辅助数据发送至中央调度模块，以便所述中央调度模块根据所述辅助数据对所述任务处理节点进行调度和监控。结合第一方面，在第一方面第一种可行的实施方式中，所述任务控制节点在将所述辅助数据发送至中央调度模块之前，所述方法还包括：所述任务控制节点将所述辅助数据中的冗余数据进行合并。结合第一方面，或者第一方面第一种可行的实施方式，在第一方面第二种可行的实施方式中，所述任务执行模块中设置的所述控制节点有多个，任一时刻有且仅有一个控制节点作为所述任务控制节点，其他控制节点作为备用控制节点；所述方法还包括：定期判断所述任务控制节点是否失效；如果失效，则将所述任务控制节点更改为当前备用控制节点中的任一控制节点。结合第一方面第二种可行的实施方式，在第一方面第三种可行的实施方式中，所述定期判断所述任务控制节点是否失效，包括：所述备用控制节点接收所述任务控制节点的同步消息；如果所述备用控制节点在预设周期内未接收到所述同步消息，则判定所述任务控制节点失效。结合第一方面，或者第一方面第一种可行的实施方式，在第一方面第四种可行的实施方式中，所述辅助数据至少包括：任务处理节点的心跳数据和监控采样数据。本申请第二方面提供了一种实时计算任务控制装置，所述装置应用于实时计算系统；所述装置包括：设置于所述实时计算系统的任务执行模块中的控制节点；所述控制节点包括：数据存储单元，用于在所述控制节点作为任务控制节点时，获取并存储所述任务执行模块的任务处理节点在执行所述实时计算任务时产生的与协调服务无关的辅助数据；数据发送单元，用于将所述辅助数据发送至所述实时计算系统的中央调度模块，以便所述中央调度模块根据所述辅助数据对所述任务处理节点进行调度和监控。结合第二方面，在第二方面第一种可行的实施方式中，所述控制节点还包括：数据合并单元，用于在所述数据发送单元将所述辅助数据发送至中央调度模块之前，将所述辅助数据中的冗余数据进行合并。结合第二方面，或者第二方面第一种可行的实施方式，在第二方面第二种可行的实施方式中，所述控制节点有多个，任一时刻有且仅有一个控制节点作为所述任务控制节点，其他控制节点作为备用控制节点；所述装置还包括：失效检测单元，用于定期判断所述任务控制节点是否失效；如果失效，则将所述任务控制节点更改为当前备用控制节点中的任一控制节点。结合第二方面第二种可行的实施方式，在第二方面第三种可行的实施方式中，所述失效检测单元设置于所述控制节点中；所述失效检测单元具体被配置为：在所在控制节点为备用控制节点时，接收所述任务控制节点的同步消息，如果在预设周期内未接收到所述同步消息，则判定所述任务控制节点失效。本申请第三方面提供了一种实时计算系统，该系统包括：任务执行模块和中央调度模块；其中，所述任务执行模块包括任务处理节点和任务控制节点；所述任务处理节点用于执行实时计算任务；所述任务控制节点用于获取并存储所述任务处理节点在执行所述实时计算任务时产生的与协调服务无关的辅助数据，并将所述辅助数据发送至所述中央调度模块；所述中央调度模块用于根据所述辅助数据对所述任务处理节点进行调度和监控。由以上技术方案可知，本申请实施例通过在任务处理模块中设置任务控制节点，将与协调服务无关的辅助数据存储于该任务控制节点中，并由任务控制节点将辅助数据发送至中央调度模块，既可以减轻协调服务模块的存储及读写压力，又可以减少中央调度模块和任务处理节点在数据读写操作上的等待时间，进而提高实时计算系统的计算能力及响应能力，有利于系统运行大集群和大拓扑任务。另外，由于上述辅助数据与协调服务无关，故即使不通过协调服务模块进行存储，也不会影响后续步骤对这些辅助数据的应用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为现有实时计算系统的拓扑结构图；图2本申请实施例提供的一种实时计算系统的拓扑结构图；图3为本申请一个实施例提供的实时计算任务控制方法的信号流图；图4本申请实施例提供的另一种实时计算系统的拓扑结构图；图5为本申请另一个实施例提供的实时计算任务控制方法的信号流图；图6为本申请一个实施例提供的实时计算任务控制装置的结构框图；图7为本申请另一个实施例提供的实时计算任务控制装置的结构框图；图8为本申请又一个实施例提供的实时计算任务控制装置的结构框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。首先对本申请提供的实时计算任务控制方法的实施例进行说明。图2为基于本申请实施例进行改进得到的实时计算系统的拓扑结构图；参照图2，本实施例预先在实时计算系统的任务执行模块1000中设置控制节点1110，通过该控制节点1110实现对实时计算任务的控制本文档来自技高网...

【技术保护点】
一种实时计算任务控制方法，其特征在于，应用于实时计算系统，且所述实时计算系统的任务执行模块中设置有控制节点；所述方法包括：在所述控制节点作为任务控制节点时，所述任务控制节点获取并存储所述任务执行模块的各个任务处理节点产生的与协调服务无关的辅助数据；所述任务控制节点将所述辅助数据发送至中央调度模块，以便所述中央调度模块根据所述辅助数据对所述任务处理节点进行调度和监控。

【技术特征摘要】
1.一种实时计算任务控制方法，其特征在于，应用于实时计算系统，且所述实时计算系统的任务执行模块中设置有控制节点；所述方法包括：在所述控制节点作为任务控制节点时，所述任务控制节点获取并存储所述任务执行模块的各个任务处理节点产生的与协调服务无关的辅助数据；所述任务控制节点将所述辅助数据发送至中央调度模块，以便所述中央调度模块根据所述辅助数据对所述任务处理节点进行调度和监控。2.根据权利要求1所述的方法，其特征在于，所述任务控制节点在将所述辅助数据发送至中央调度模块之前，所述方法还包括：所述任务控制节点将所述辅助数据中的冗余数据进行合并。3.根据权利要求1或2所述的方法，其特征在于，所述任务执行模块中设置的所述控制节点有多个，任一时刻有且仅有一个控制节点作为所述任务控制节点，其他控制节点作为备用控制节点；所述方法还包括：定期判断所述任务控制节点是否失效；如果失效，则将所述任务控制节点更改为当前备用控制节点中的任一控制节点。4.根据权利要求3所述的方法，其特征在于，所述定期判断所述任务控制节点是否失效，包括：所述备用控制节点接收所述任务控制节点的同步消息；如果所述备用控制节点在预设周期内未接收到所述同步消息，则判定所述任务控制节点失效。5.根据权利要求1或2所述的方法，其特征在于，所述辅助数据至少包括：任务处理节点的心跳数据和监控采样数据。6.一种实时计算任务控制装置，其特征在于，应用于实时计算系统；所述装置包括：设置于所述实时计算系统的任务执行模块中的控制节点；所述控制节点包括：数据存储单元，用于在所述控制节点...

【专利技术属性】
技术研发人员：刘键，封仲淹，方孝健，王逸，伍翀，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY