分布式并行计算方法、装置及系统制造方法及图纸

本发明专利技术公开了一种分布式并行计算方法、装置及系统，包括：接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型；如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息；接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果中包括所述待处理执行步骤的唯一标识；根据所述步骤处理结果，生成所述待处理任务的任务处理结果。本发明专利技术提供的分布式并行计算方法、装置及系统，能够提高任务处理效率，而且能够使得计算资源得到合理分配。

【技术实现步骤摘要】

本专利技术涉及分布式计算领域，特别涉及一种分布式并行计算方法、装置及系统。
技术介绍
随着信息量的爆炸式增长，以及任务的复杂性不断的提高，对于复杂的任务处理 已经不能单单靠提高服务器性能得以解决。通常情况下，一个复杂的任务会包括多个执行 步骤，在任务处理时应用多种计算资源，例如中央处理器(CPU)、内存、网络输入/输出系统 和硬盘输入/输出系统等，为了解决服务器处理能力有限的问题，目前一般采用的并行计 算技术是将待处理任务静态地或者动态地分配到任务处理器中去处理。如果有多个复杂的 任务，通常做法是为这些任务分配多个进程或者线程来处理，我们把处理整个任务的进程 或者线程定义为任务处理器(Task Processor)。图1为现有技术中多个任务处理器并行处理多个待处理任务的示意图。如图1所 示，任务处理器集合(Task Processor Group)中包括多个任务处理器,其中，每个任务处理 器集合中包括的任务处理器的个数可以是固定的，也可以是可变的，通过调整任务处理器 集合中包括的任务处理器的个数来控制待处理任务的执行速度。如图1所示，每一个任务 处理器处理一个固定的待处理任务，多个任务处理器可以并行地处理多个待处理任务，当 一个任务处理器在处理一个具体的待处理任务时，对于所述待处理任务中包括的所有执行 步骤，任务处理器则按照预先定义好的执行顺序，串行地处理所述待处理任务中的每个执 行步骤。在这种处理方式中，当任务处理器集合中的任务处理器的个数发生变化时，会涉及 到待处理任务中所有的执行步骤的资源使用情况，从而导致系统资源的浪费，同时也缩小 了资源可调整的空间。在实现本专利技术的过程中，专利技术人发现现有技术中至少存在如下问题现有的并行计算技术是将待处理任务静态地或者动态地分配到任务处理器中去 处理，任务处理效率较低，而且计算资源不能得到合理分配。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供两种分布式并行计算方法，能够提高任务 处理效率，而且能够使得计算资源得到合理分配。本专利技术的另一目的在于提供两种并行计算装置，能够提高任务处理效率，而且能 够使得计算资源得到合理分配。本专利技术的又一目的在于提供一种并行计算系统，能够提高任务处理效率，而且能 够使得计算资源得到合理分配。为达到上述目的，本专利技术的技术方案是这样实现的一种分布式并行计算方法，该方法包括接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处 理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型；如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行 步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步 骤以及所述待处理执行步骤的唯一标识；接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理 结果中包括所述待处理执行步骤的唯一标识；根据所述步骤处理结果，生成所述待处理任务的任务处理结果。一种分布式并行计算方法，包括向执行端任务容器发送步骤请求消息，所述步骤请求消息用于请求待处理任务中 的待处理执行步骤，并且，所述步骤请求消息中包括步骤处理类型；接收所述执行端任务容器回复的步骤响应消息，所述步骤响应消息中包括所述待 处理执行步骤以及所述待处理执行步骤的唯一标识；处理所述待处理执行步骤，得到所述待处理执行步骤的步骤处理结果；将所述步骤处理结果发送给所述执行端任务容器。一种执行端任务容器，包括第一接收单元，用于接收两个以上步骤处理器发送的步骤请求消息，所述步骤请 求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步 骤处理器的步骤处理类型，所述第一接收单元在接收到所述步骤请求消息之后，将所述步 骤请求消息发送给判断单元；所述判断单元，用于判断所述步骤处理类型对应的执行步骤是否依赖于所述待处 理任务中的已处理执行步骤，如果所述步骤处理类型对应的执行步骤依赖于所述待处理任 务中的已处理执行步骤，则向第一发送单元发送一个发送指令；所述第一发送单元，用于在接收到所述发送指令之后，向所述步骤处理器发送步 骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯 一标识；所述第一接收单元，还用于接收所述步骤处理器发送的所述待处理执行步骤的步 骤处理结果，所述步骤处理结果包括所述待处理执行步骤的唯一标识，所述第一接收单元 在接收到所述步骤处理结果之后，将所述步骤处理结果发送给任务处理结果生成单元；所述任务处理结果生成单元，用于根据所述步骤处理结果，生成所述待处理任务 的任务处理结果。一种步骤处理器，包括第二发送单元，用于向执行端任务容器发送步骤请求消息，所述步骤请求消息用 于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器 的步骤处理类型；第二接收单元，用于接收所述执行端任务容器回复的步骤响应消息，所述步骤响 应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识，所述第二接收单 元在接收到所述步骤响应消息之后，将所述步骤响应消息发送给处理单元；所述处理单元，用于在接收到所述第二接收单元发送的步骤响应消息之后，处理 所述待处理执行步骤，得到所述待处理执行步骤的步骤处理结果，并将所述步骤处理结果发送给所述第二发送单元；所述第二发送单元，还用于在接收到所述处理单元发送的步骤处理结果之后，将所述步骤处理结果发送给所述执行端任务容器。一种分布式并行计算系统，包括执行端任务容器和步骤处理器，其中，所述执行端任务容器，用于接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型，如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识，接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果中包括所述待处理执行步骤的唯一标识，根据所述步骤处理结果，生成所述待处理任务的任务处理结果；所述步骤处理器，用于向所述执行端任务容器发送步骤请求消息，接收所述执行端任务容器回复的步骤响应消息，处理所述待处理执行步骤，得到所述待处理执行步骤的步骤处理结果，将所述步骤处理结果发送给所述执行端任务容器。本专利技术提出的分布式并行计算方法、装置及系统，执行端任务容器接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型，如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识。本专利技术没有采用现有的将待处理任务分配到任务处理器中进行处理的方法，而是提出一种执行端任务容器等待步骤处理器主动上报步骤请求消息的分布式并行计算方法，将待处理任务中包括的多个预先分解的具有依赖关系的待处理执行步骤并行地进行处理。和现有技术相比，本专利技术提出的分布式并行计算方法、装置及系统，能够提本文档来自技高网...

【技术保护点】
一种分布式并行计算方法，其特征在于，包括：接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型；如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识；接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果中包括所述待处理执行步骤的唯一标识；根据所述步骤处理结果，生成所述待处理任务的任务处理结果。

【技术特征摘要】
1.一种分布式并行计算方法，其特征在于，包括 接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型； 如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识； 接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果中包括所述待处理执行步骤的唯一标识； 根据所述步骤处理结果，生成所述待处理任务的任务处理结果。2.根据权利要求1所述的方法，其特征在于，还包括 向服务端任务容器发送任务请求消息，所述任务请求消息用于请求所述待处理任务；接收所述服务端任务容器回复的任务响应消息，所述任务响应消息中包括所述待处理任务，其中，所述待处理任务中包括两个以上预先分解的具有依赖关系的所述待处理执行步骤。3.根据权利要求2所述的方法，其特征在于，在所述生成所述待处理任务的任务处理结果之后，还包括 将所述任务处理结果发送给所述服务端任务容器。4.根据权利要求3所述的方法，其特征在于，具体包括 在向所述步骤处理器发送步骤响应消息之后，将所述待处理执行步骤标记为正在处理执行步骤； 在接收到所述步骤处理结果之后，将所述正在处理执行步骤标记为已处理执行步骤。5.根据权利要求2所述的方法，其特征在于，所述向服务端任务容器发送任务请求消息包括 检查自身包括的所述待处理任务的任务数量； 如果所述任务数量少于预设阈值，则向所述服务端任务容器发送所述任务请求消息。6.根据权利要求2所述的方法，其特征在于，在所述向服务端任务容器发送任务请求消息之前，还包括 向所述服务端任务容器发送注册请求消息； 接收所述服务端任务容器回复的注册响应消息。7.一种分布式并行计算方法，其特征在于，包括 向执行端任务容器发送步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括步骤处理类型； 接收所述执行端任务容器回复的步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识； 处理所述待处理执行步骤，得到所述待处理执行步骤的步骤处理结果； 将所述步骤处理结果发送给所述执行端任务容器。8.根据权利要求7所述的方法，其特征在于，还包括 记录接收到所述步骤响应消息的时间，并且记录将所述步骤处理结果发送给所述执行端任务容器的时间； 根据所述接收到所述步骤响应消息的时间和所述将所述步骤处理结果发送给所述执行端任务容器的时间，计算所述将所述步骤处理结果发送给所述执行端任务容器的时间与所述接收到所述步骤响应消息的时间的的时间差值，得到所述待处理执行步骤的处理时间。9.根据权利要求8所述的方法，其特征在于，所述处理所述待处理执行步骤，还包括根据所述待处理执行步骤的处理时间，按照预定的调整策略调整在处理所述待处理执行步骤时使用的计算资源。10.根据权利要求7所述的方法，其特征在于，在向执行端任务容器发送步骤请求消息之前，还包括 向所述执行端任务容器发送注册请求消息； 接收所述执行端任务容器回复的注册响应消息。11.一种执行端任务容器，其特征在于，包括 第一接收单元，用于接收两个以上步骤处理器发送的步骤请求消息，所述步骤请求消息用于请求待处理任务中的待处理执行步骤，并且，所述步骤请求消息中包括所述步骤处理器的步骤处理类型，所述第一接收单元在接收到所述步骤请求消息之后，将所述步骤请求消息发送给判断单元； 所述判断单元，用于判断所述步骤处理类型对应的执行步骤是否依赖于所述待处理任务中的已处理执行步骤，如果所述步骤处理类型对应的执行步骤依赖于所述待处理任务中的已处理执行步骤，则向第一发送单元发送一个发送指令； 所述第一发送单元，用于在接收到所述发送指令之后，向所述步骤处理器发送步骤响应消息，所述步骤响应消息中包括所述待处理执行步骤以及所述待处理执行步骤的唯一标识； 所述第一接收单元，还用于接收所述步骤处理器发送的所述待处理执行步骤的步骤处理结果，所述步骤处理结果包括所述待处理执行步骤的唯一标识，所述第一接收单元在接收到所述步骤处理结果之后，将所述步骤处理结果发送给任务处理结果生成单元； 所述任务处理结果生成单元，用于根据所述步骤处理结果，生成所述待处理任务的任务处理结果。12.根据权利要求13所述的执行端任务容器，其特征在于，还包括 所述第一发送单元，还用于向服务端任务容器发送任务请求消息，所述任务请求消息用于请求所述待处理任务； 所述第一接收单元，还用于接收所述服务端任务容器回复的任务响应消息，所述任务响应消息中包括所述待处理任务，其中，所述待处理任务中包括两个以上预先分解具有依赖关系的所述待处理执行步骤。13.根据权利要求12所述的执行端任务容器，还包括 所述第一发送单元，还用于将所述任务处理结果发送给...

【专利技术属性】
技术研发人员：简勤，郭正平，王全礼，曾东，廖勤耘，肖巍，杨俊拯，郑长松，
申请(专利权)人：中国移动通信集团四川有限公司，
类型：发明
国别省市：