存储调度方法和系统、作业调度方法和系统及管理节点技术方案
【技术实现步骤摘要】
存储调度方法和系统、作业调度方法和系统及管理节点
本专利技术涉及云计算
，尤其涉及一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点。
技术介绍
随着搜索引擎、社交网站、电子商务等数据密集型互联网应用的迅猛发展，基于分布式基础架构的海量数据处理平台(如Had00p、MapReduCe、分布式文件系统、数据定义存储等)被广泛关注。在这些平台上，不仅需要支持大容量文件(TB级、PB级)存储/下载、快速检索，还需要执行机器学习、数据挖掘、数据分析等大规模数据处理作业，还需要快速响应交互式用户请求，因此，云计算平台需要分发执行多个数据密集型的并行作业。当前作业调度算法往往从保证作业间公平分享数据中心计算资源存储的同时，通过加强作业的数据本地性(即把任务调度于输入数据所在的数据节点以减少网络传输开销)来提升系统性能和作业吞吐率。这类任务调度算法存在如下缺点:1、远程数据存储和读取过程中，分布式文件系统因未感知平台内的网络路径可用带宽信息，任务调度算法为作业所选择的数据节点可能会因网络质量差，导致数据存取时间延长，用户体验很差；2、数据中心工作负荷、网络负荷等环境因素随时可能变化，而现有的延迟调度算法的等待时间阈值是用户提交作业时设定的，不能适应数据中心负荷的变化，虽有改进的算法，如时间阈值动态变化，但计算公式复杂，计算负荷较大，不适合大容量分布式系统，导致实用性降低。
技术实现思路
本专利技术的目的是提出一种云计算任务调度中的存储调度方法和系统、作业调度方法和系统及管理节点，够提高云计算系统的执行性能。为了达到上述目的，本专利技...
【技术保护点】
一种存储调度方法，其特征在于，包括：管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽；当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出n组数据节点，每组数据节点中包括m个数据节点，其中，n、m为预先设定的整数；管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。
【技术特征摘要】
1.一种存储调度方法，其特征在于，包括: 管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽； 当管理节点接收到来自客户端的数据块存储请求时，根据存储调度算法预选出η组数据节点，每组数据节点中包括m个数据节点,其中，n、m为预先设定的整数； 管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值； 并将计算得到的路径可用带宽加权均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。2.如权利要求1所述的存储调度方法，其特征在于，所述m为3，每组数据节点中，包括第二数据节点、第三数据节点和第四数据节点，第三数据节点和第四数据节点处于同一机架，第二数据节点与第三数据节点处于不同机架； 所述管理节点根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值包括: 计算每组数据节点中 所述客户端到所述第二数据节点之间的第一网络路径的路径可用带宽； 计算每组数据节点中所述第二数据节点到第三数据节点之间的第二网络路径的路径可用带宽； 计算每组数据节点中所述第三数据节点到第四数据节点之间的第三网络路径的路径可用带宽； 将每组数据节点中三条网络路径的路径可用带宽进行加权平均计算路径可用带宽加权均值。3.如权利要求2所述的存储调度方法，其特征在于，所述每组数据节点中所述第一网络路径和所述第二网络路径的加权系数均为0.4，所述第三网络路径的加权系数为0.2。4.一种作业调度方法，其特征在于，包括: 管理节点获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽； 当第一数据节点空闲并向管理节点请求新任务时，管理节点选择一个作业； 当所选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时， 管理节点根据获得的各数据节点的路径可用带宽，计算第一数据节点所在的机架内含有所述选择的作业所需数据块的第一待选数据节点和第一数据节点间的路径可用带宽均值Btemp，并计算路径可用带宽比值Y ;所述第一待选数据节点为一个或一个以上。5.如权利要求4所述的作业调度方法，其特征在于，所述第一待选数据节点和所述第一数据节点的路径可用带宽均值Btanp为: B, =Iy k d }；temp ” L U3” O， ， IjnX， 其中，η为所述第一待选数据节点的个数；i表示机架；j表示端口 Ay1, Bij J2,......,Biijn为所述第一待选数据节点的路径可用带宽；所述路径可用带宽比值Y为: 6.如权利要求4所述的作业调度方法，其特征在于，当所述选择的作业的轮空次数满足第一条件时，该方法还包括: 所述管理节点选择所述第一待选数据节点中路径可用带宽最大的数据节点作为所述第一数据节点的数据源； 设置所述选择的作业的轮空次数为O ; 所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行； 其中，第一条件为:Countk≤(1- Y ) X1 ; 其中，Countk为所述选择的作业的轮空次数，X1为所述第一数据节点可以申请到数据 块存储在所述第一数据节点的任务的概率为 7.如权利要求4所述的作业调度方法，其特征在于，当所选择出的作业中有尚未处理的数据块存储在第一数据节点的任务时，该方法还包括: 所述管理节点将所述任务返回给所述第一数据节点执行。8.如权利要求4所述的作业调度方法，其特征在于，当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数满足第二条件时，该方法还包括: 所述管理节点选择其他机架中含有所述选择的作业所需数据块所在的第二待选数据节点的路径中路径可用带宽最大的数据节点作为所述第一数据节点的数据源； 设置所述选择的作业的轮空次数为O ; 所述管理节点将所述路径可用带宽最大的数据节点作为数据源的任务返回给所述第一数据节点执行； 其中，第二条件为 9.如权利要求4所述的作业调度方法，其特征在于，当所述选择的作业中有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务，且所述选择的作业的轮空次数不满足第一条件；或者当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点所在的机架内的任务，且所述选择的作业的轮空次数不满足第二条件时，该方法还包括:所述管理节点将所述选择的作业的轮空次数加I。10.根据权利要求4~9任意一项所述的作业调度方法，所述管理节点选择一个作业的方法包括: 所述管理节点根据各作业在系统中运行的任务数对作业进行升序排列； 所述管理节点在作业队列中查找第一个含有尚未处理的数据块存储在所述第一数据节点的任务的作业，将该作业调整至同一级别的最高位置； 所述管理节点从作业队列中由上到下选择一个作业。11.一种管理节点，其特征在于，至少包括: 获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽； 预选模块，用于当接收到来自客户端的数据块存储请求时，根据存储调度算法预选出η组数据节点，每组数据节点中包括m个数据节点，其中，m、η为预先设定的整数； 计算模块，用于根据获得的各数据节点的路径可用带宽，分别计算每组数据节点的路径可用带宽加权均值；将计算得到的路径可用带宽均值最大的一组数据节点作为发起数据块存储请求的数据块的存储节点。12.—种管理节点，其特征在于，至少包括: 获取模块，用于获取网络节点各端口的网络流量统计信息，并换算出各数据节点的路径可用带宽； 选择模块，用于当接收到来自第一数据节点的新任务请求时，选择一个作业； 返回模块，用于当所述选择的作业中没有尚未处理的数据块存储在所述第一数据节点的任务，但有尚未处理的数据块存储的数据节点与所述第一数据节点处于同一机架的任务时，根据获得的各数据节点的路径可用带宽，计算所述数据节点所在的机架内含有所述作业所需数据块的第一待选数据节点和所述第一数据节点的路径可用带宽均值BtMP，并计算路径可用带宽比值Y，所述第一待选数据节点为一个或一个以上。13.根据权利要求12所述的管理节点，当所述选择的作业的轮空次数满足第一条件时，所述返回模块，还用于: 选择所述第一待选数据节点中路径可用带宽最大的数据节点作为...
【专利技术属性】
技术研发人员：左奇，戚晨，王东，王志坤，曲文武，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。