基于映射规约模型分布式文件系统作业的运行方法技术方案

技术编号:13351845 阅读:98 留言:0更新日期:2016-07-15 13:42
本发明专利技术涉及分布式文件系统技术领域,具体涉及一种基于映射规约模型分布式文件系统作业的运行方法。本发明专利技术基于映射归约模型分布式文件系统作业运行方法通过客户端将作业提交到作业追踪器上,然后由作业追踪器将作业分解成若干个任务,并对这些任务进行调度和监控,以保障这些程序运行成功,而任务追踪器则启动作业追踪器发来的任务,并向作业追踪器汇报这些任务的运行状态和本节点上资源的使用情况。采用上述方法作业运行所需的程序只需要编写映射和规约函数,之后通过调用就可以实现自动运行作业,极大的减少了人力成本而且提高了运行效率。

【技术实现步骤摘要】

【技术保护点】
一种基于映射规约模型分布式文件系统作业的运行方法,其特征在于,所述方法包括:通过作业客户端将作业提交到作业追踪器上;作业追踪器接收到作业后调用作业初始化模块对所述作业初始化得到多个任务,并通知任务调度器将所述任务分配给任务追踪器;任务追踪器为接收到的任务准备运行环境,然后启动执行任务,并将资源使用情况和任务运行进度汇报给作业追踪器;作业追踪器监控资源使用情况以及任务运行进度,并根据资源使用情况进行任务调度。

【技术特征摘要】

【专利技术属性】
技术研发人员:何利文徐洪波黄俊陈向东李杰杨雨轩
申请(专利权)人:南京绿云信息技术有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1