基于分布式流式计算系统的任务处理方法、系统及节点技术方案

技术编号：9993142 阅读：111 留言：0更新日期：2014-05-02 11:39

本发明专利技术公开了一种基于分布式流式计算系统的任务处理方法、系统及节点，包括各工作节点监控自身的状态并存储状态信息，同时，主节点定时获取各工作节点的状态信息；当主节点确定出存在超负载的工作节点时，通知未超负载的工作节点进行负载情况预测；主节点根据预测的负载情况，对超负载的工作节点的任务类型进行调整，以减轻该超负载的工作节点的负载。通过本发明专利技术方法，在分布式流式计算系统中的工作节点出现超负载时，主节点根据预测的未来各工作节点的负载情况，动态调整各工作节点所处理的任务类型，实现了集群各工作节点的动态负载均衡，达到了系统资源层面的负载均衡，从而提高了集群整体的最大处理能力。