一种多磁盘场景下的磁盘管理方法和设备技术

本发明专利技术实施例公开了一种多磁盘场景下的磁盘管理方法和设备，通过应用本发明专利技术实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。

【技术实现步骤摘要】

本专利技术涉及通信
，特别是涉及一种多磁盘场景下的磁盘管理方法和设备。
技术介绍
并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算系统，如MapReduce、Pregel、MPI、OpenMP等为高性能计算和海量数据处理提供了一种并行和分布式的处理方法。该类系统一般是由大量处理节点和中控节点组成，中控节点用于进行任务的分解、调度和状态监控等工作，处理节点进行任务的执行。一个并行计算程序首先要提交到中控节点，由中控节点进行任务的分解，并调度至处理节点；处理节点进行子任务的计算，并将结果反馈。在高性能计算和海量数据处理系统中，处理节点会产生大量的临时中间结果。不同并行应用的临时中间结果的数据大小不同，中间结果的访问情况(顺序写顺序读，或者顺序写随机读，或者随机写随机读等)不同， 中间结果的存储时间也不相同。为了保存中间数据结果，可以在每个处理节点上挂载一个或多个本地磁盘，或者将结果保存在共享存储系统中。但是，由于共享存储昂贵的价格和可能会成为瓶颈的网络带宽，特别是在海量数据处理的场景下，并行计算系统一般采用在处理节点挂载多个本地磁盘来存储中间数据结果的方法。下面，以MapReduce并行计算系统为例来介绍并行计算系统的架构、数据处理流程和数据存储方式。MapReduce是一种用于处理海量数据集的并行编程模型和系统，可以自动将 MapReduce作业并行化为多个子任务，并调度到一个由普通PC (Personal Computer，个人电脑)构建的集群上并发执行；同时，系统自动解决对节点失效、任务失效及节点间数据交换等问题，使得MapReduce应用可以不必关心此问题，而通过定义相应的Map和Reduce函数即可实现分布式数据处理的功能。MapReduce系统主要由三个模块组成，其系统架构如图1所示。客户端(Client)用于将用户撰写的并行处理作业提交至主节点(Master)；主节点自动将用户作业分解为Map 任务和Reduce任务，并将任务调度到工作节点(Worker)；工作节点用于向主节点请求执行任务。在MapReduce作业执行过程中，会产生大量临时数据，这些临时数据保存在每个工作节点的本地磁盘上，当MapReduce作业执行完毕后，这些临时数据会被清除。因此，在 MapReduce执行过程中，会有大量的本地磁盘I/Oanput/Output，输入/输出)。为了提升本地数据的读写性能，一般都会在每个工作节点服务器上配置多个磁盘。当配置多个磁盘时，MapReduce对本地多个磁盘的管理采用的处理方案的流程图如图2所示，包括以下步骤步骤S201、当本地磁盘管理系统接收到磁盘写请求时，首先判断是否指定了要写入的数据的大小。如果指定了写入数据的大小，则执行步骤S202 ；如果未指定写入数据的大小，则执行步骤S203。步骤S202、轮询每个磁盘，直到找到一个剩余存储空间可以满足要求的磁盘。步骤S203、采用带有概率的轮询方法(Roulette selection)，以较大的概率选择剩余存储空间较多的磁盘。在实现本专利技术的过程中，专利技术人发现现有技术至少存在如下问题在现有并行计算系统中，本地磁盘管理策略仅仅考虑了磁盘的容量和剩余存储空间是否可以满足要求或者以较高优先级将剩余存储空间较多的磁盘分配出去。但是，当处理节点上配置异构的磁盘时，由于已购磁盘存在性能以及操作策略的差异，目前的磁盘管理策略将不能更合理的调度各个磁盘。
技术实现思路
本专利技术的目的在于提供一种多磁盘场景下的磁盘管理方法和设备，同时考虑各磁盘的剩余空间和性能信息，根据综合得到的优先级参数进行磁盘选择，从而，更加高效合理的进行磁盘管理，发挥磁盘的性能，为此，本专利技术采用如下技术方案一方面，本专利技术实施例提出了一种多磁盘场景下的磁盘管理方法，包括接收任务调度指示消息，并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数；根据所述各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。另一方面，本专利技术实施例还提供了一种处理节点，包含多个磁盘，所述处理节点包括接收模块，用于接收任务调度指示消息；获取模块，用于获取各磁盘当前的剩余空间信息和性能信息；确定模块，用于根据所述获取模块所获取的各磁盘当前的剩余空间信息和性能信息，为各磁盘确定针对所述接收模块所接收的任务调度指示消息所对应的任务的优先级参数；选择模块，用于根据所述确定模块所确定的各磁盘的优先级参数，为所述任务调度指示消息所对应的任务选择磁盘，执行相应的任务处理。与现有技术相比，本专利技术实施例所提出的技术方案具有以下优点通过应用本专利技术实施例所提出的技术方案，在进行磁盘选择时，针对每个任务，不仅考虑各磁盘的剩余空间，还进一步考虑各磁盘的性能信息，为各磁盘确定综合的优先级参数，并根据该优先级参数为该任务进行磁盘选择，从而，可以更加高效合理的进行磁盘管理，实现发挥磁盘的性能。附图说明图1为现有技术中的MapReduce系统的架构示意图；图2为现有技术中MapReduce对本地多个磁盘的管理采用的处理方案的流程示意图；图3为本专利技术实施例所提出的一种多磁盘场景下的磁盘管理方法的流程示意图；图4为本专利技术实施例所提出的一种具体应用场景中的磁盘管理方法的流程示意图；图5为本专利技术实施例所提出的一种处理节点的结构示意图。 具体实施例方式下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如
技术介绍
所述，在现有的磁盘管理策略中，只是根据磁盘的剩余空间大小进行磁盘选择，所以，在存在性能差异较大的异构磁盘，或磁盘大小本身差异较大的情况下，不能够实现磁盘的合理管理，具体的，基于如图2所示的处理流程，现有磁盘管理策略的缺陷主要表现为以下三个方面一、处理节点上可能会配置不同容量的磁盘。依照现有技术中的磁盘管理策略，当处理节点上配置一个较大容量的磁盘时，则其将有较高的概率被调度，大容量磁盘的I/O负载将高于小容量磁盘，导致了磁盘间I/O负载的不平衡。在极端的情况下，大容量磁盘I/O负载较高，但是小容量磁盘I/O负载则是空闲的。二、处理节点上可能会配置不同性能的磁盘。当处理节点上配置高性能的磁盘，如SSD(Solid State Disk，固态硬盘)或 SAS(Serial Attached SCSI，串行连接SC^I接口)盘，其读写性能是SATA(Serial Advanced Technology Attachment,串行高级技术附件，一种基于行业标准的串行硬件驱动器接口 ) 盘的数倍。但是，由于SSD硬盘价格昂贵且存储容量较小，一般会将其与慢速磁盘共同使用。现有技术中的磁盘管理策略并未考虑不同磁盘本身性能的差异，从而SSD等高速磁盘的高读写性能本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：郭磊涛，钱岭，齐骥，周大，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：