MapReduce系统中的任务分配方法、系统及装置制造方法及图纸

本发明专利技术公开了一种MapReduce系统中任务分配的方法、系统及装置，用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障，从而影响MR系统可靠性的问题。该方法在原有MR系统中增加对各个客户端进行管理的客户端管理节点，客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端，并指示该确定的客户端进行对待处理的数据进行数据分片处理。由于在本发明专利技术实施例中客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端，从而可以减小资源利用信息不满足条件的客户端进行业务处理的风险，并减小该客户端出现宕机的可能性，进而提高了MR系统的可靠性。

【技术实现步骤摘要】

本专利技术涉及云计算
，尤其涉及一种映射化简(MapReduce，MR)系统中的任务分配方法、系统及装置。
技术介绍
MR系统为一种分布式的并行系统，应用于云计算中的海量数据处理中，在MR系统中通过映射(Map)和化简(Reduce)过程实现对数据的分布式处理。图1为现有技术中MR系统的逻辑组成结构示意图，在MR系统中包括客户端 (client)、主节点(master)和工作节点(worker)，并且为了实现对数据的分布式处理，在 MR系统中包括多个客户端和多个工作节点。图2为现有技术MR系统中进行任务分配的过程，该过程包括以下步骤S201 用户向客户端发送进行业务处理的指示信息以及待处理的数据。S202:客户端接收到该待处理的数据后，将进行业务处理的指示信息和待处理的数据保存到分布式文件系统。S203 该客户端对待处理的数据进行数据分片处理。S204:客户端对数据分片处理后，将所述用户发送的进行业务处理的指示信息发送到所述主节点。S205:主节点根据接收的所述指示信息将所述分片后的数据分解为待执行的任务，即将分片后的数据分解为Map任务和/或Reduce任务。S206:当工作节点请求任务时，主节点将分解后的待执行任务发送到工作节点执行。在现有技术的上述实施过程中，当客户端接收到用户发送的待处理的数据后，自身进行处理，由于对待处理的数据进行数据分片时占用客户端一定的内存资源，当客户端在短时间内对大量的数据进行数据分片处理时，客户端可能出现由于内存溢出而宕机的故障。由于整个MR系统为并行处理系统，当该客户端出现故障时，整个MR系统的可靠性将受到影响。
技术实现思路
有鉴于此，本专利技术实施例提供一种MapReduce系统中任务分配方法、系统及装置， 用以解决现有技术中客户端可能出现由于内存溢出而宕机的故障，从而影响MR系统可靠性的问题。本专利技术实施例提供的一种MapReduce系统中的任务分配方法，包括客户端管理节点接收数据分片任务；所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端；所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端。本专利技术实施例提供的一种MapReduce系统中的任务分配方法，包括第一客户端接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件；当所述第一客户端的资源利用信息不满足预设条件时，所述第一客户端根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理。本专利技术实施例提供的一种MapReduce系统中的任务分配系统，包括客户端管理节点，用于接收数据分片任务，根据各客户端的资源利用信息，确定进行数据分片处理的客户端，将所述数据分片任务中的待处理数据分配给确定的所述客户端，指示确定的所述客户端对待处理的数据进行数据分片处理；客户端，用于接收所述客户端管理节点分配的对待处理数据进行分片处理的任务，并对所述待处理的数据进行数据分片处理。本专利技术实施例提供的一种MapReduce系统中的任务分配系统，包括第一客户端，用于接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件，当自身的资源利用信息不满足预设条件时，所述第一客户端根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理；第二客户端，用于对所述待处理的数据进行数据分片处理。本专利技术实施例提供的一种MapReduce系统中的任务分配装置，包括接收模块，用于接收数据分片任务；确定模块，用于根据各客户端的资源利用信息，确定进行数据分片处理的客户端；分配模块，用于将所述数据分片任务中的待处理数据分配给确定的所述客户端， 指示确定的所述客户端对待处理的数据进行数据分片处理。本专利技术实施例提供的一种MapReduce系统中的任务分配装置，包括接收判断模块，用于接收用户发送的待处理的数据，判断自身的资源利用信息是否满足预设条件；确定模块，用于在自身的资源利用信息不满足预设条件时，根据保存的其他客户端的资源利用信息，确定进行数据分片处理的第二客户端，指示所述第二客户端对所述待处理的数据进行数据分片处理。本专利技术实施例提供了一种MR系统中任务分配的方法、系统及装置，通过在原有MR 系统中增加对各个客户端进行管理的客户端管理节点，客户端管理节点根据保存的各客户端的资源利用信息，确定进行数据分片处理的客户端，并指示该确定的客户端进行对待处理的数据进行数据分片处理。由于在本专利技术实施例中客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端，从而可以减小资源利用信息不满足条件的客户端进行业务处理的风险，并减小该客户端出现宕机的可能性，进而提高了 MR系统的可靠性。附图说明图1为现有技术中MR系统的组成结构示意图；图2为现有技术MR系统中进行任务分配的方法；图3为本专利技术实施例提供的MR系统中进行任务分配的方法；图4为本专利技术实施例提供的MR系统中进行任务分配的另一实施过程；图5为本专利技术实施例提供的一种MR系统中的任务分配系统的结构示意图；图6为本专利技术实施例提供的一种MR系统中的任务分配装置的结构示意图；图7为本专利技术实施例提供的一种MR系统中的任务分配系统的结构示意图；图8为本专利技术实施例提供的一种MR系统中的任务分配装置的结构示意图。具体实施例方式本专利技术实施例为了提高客户端的稳定性，进而提高MR系统的可靠性，提供了一种 MR系统中的任务分配方法、系统及装置，在本专利技术实施例中通过获取客户端的资源利用信息，将对数据进行分片的任务分配到对应的客户端进行，从而减轻资源利用较大的客户端的压力，减少了客户端出现宕机的可能性，从而提高了 MR系统的可靠性。下面结合说明书附图，对本专利技术实施例进行详细说明。图3为本专利技术实施例提供的MR系统中进行任务分配的过程，该过程包括以下步骤S301 客户端管理节点接收数据分片任务。在本专利技术实施例中在MR系统中增加对各个客户端进行管理的客户端管理节点， 当客户端接收到用户发送的待处理数据时，客户端将接收的该待处理的数据保存到分布式文件系统，客户端根据接收的所述待处理的数据，向客户端管理节点发送数据分片任务。S302:所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端。在本专利技术实施例中客户端管理节点获取各客户端的资源利用信息包括所述客户端管理节点接收到所述数据分片任务时，根据保存的与其连接的各客户端的标识信息，向所述各客户端发送获取资源利用信息的请求信息，接收并保存所述各客户端返回的资源利用信息；或者，客户端管理节点根据与自身连接的各客户端根据设置的上报周期，上报给自身的资源利用信息并保存。并且在本专利技术实施例中确定进行数据分片处理的客户端，可以将资源利用最低的客户端确定为进行数据分片处理的客户端，或者，根据设置的阈值，选择资源利用小于阈值的客户端，并且在选择的客户端中任意选择一个客户端作为确定的进行数据分片处理的客户端等等。S303:所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端，指示确定的所述客户端对待处理的数据进行数据分片处理。在本专利技术实施例中当确定的客户端对该待处理的数据本文档来自技高网...

【技术保护点】
１．一种映射化简ＭａｐＲｅｄｕｃｅ系统中的任务分配方法，其特征在于，包括：客户端管理节点接收数据分片任务；所述客户端管理节点根据各客户端的资源利用信息，确定进行数据分片处理的客户端；所述客户端管理节点将所述数据分片任务中的待处理数据分配给确定的所述客户端。

【技术特征摘要】

【专利技术属性】
技术研发人员：孙宏伟，郭磊涛，罗治国，孙少陵，黄晓庆，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：11