一种通用多机并行计算方法及系统技术方案

本发明专利技术提供了一种通用多机并行计算方法及系统，通过获取计算任务；获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力；根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务；根据所述各计算节点的处理能力，将所述多个计算子任务与所述各节点相匹配；通过底层通信协议，将所述多个计算子任务的数据格式转换为协议格式，并根据匹配关系，分发给各计算节点；通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果；将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回，实现了异构环境下的多机并行计算。

【技术实现步骤摘要】
一种通用多机并行计算方法及系统
本专利技术涉及异构环境下的通信
，特别涉及一种通用多机并行计算方法及系统。
技术介绍
随着物探技术装备的进步和发展，国内外地震采集软件也面临着大数据量处理、高效高性能计算的需求变化，如三维照明，层析静校正，波动方程正演等，计算量大，耗时长，传统单机处理模式已远不能满足高性能计算需要，支持大数据量处理、高性能、高效计算是大势所趋。目前地震采集系统却面临着复杂的、异构的、性能差异巨大的计算环境，而不是传统的并行计算所需要的基于昂贵的同构的集群系统。要解决这个问题，需要有一种适应于异构差异网络计算环境下的多机并行计算框架，对并行任务的进行智能化分解、调度、管理与控制，适应不同的并行任务。传统的物探并行计算已经有很多成熟解决方案，但对于异构差异计算环境，往往基于不同的并行应用的特点进行有针对性的并行处理，满足特定的应用需要，目前尚没有一个通行的适用于异构差异计算环境的通用多机并行计算解决模式与方案。对于地震采集应用系统来说，计算任务大多具有内在的可并行性，计算任务可以分解成相互基本独立的计算子任务，从而相对独立地运行于不同的计算资源上。在地震采集野外生产中，由不同的计算资源组成的网络计算环境中，设备硬件(包括CPU多核，CPU众核，GPU，网络路由与结构等)、软件环境差异巨大，计算能力也相差甚远，同时，不同的计算任务其数据处理方式，计算控制过程、计算精度、效率差异也很大，要适合于不同的计算任务，其核心是用一种通用的计算架构去固化并行计算中的关键环节，同时又要灵活地解决每个环节中不同并行计算任务的差异性。这也是异构环境并行计算框架的关键技术，也是提高地震采集应用软件计算效率的关键因素。
技术实现思路
为解决现有技术中的问题，本申请提出一种通用多机并行计算方法及系统，通过底层通信协议对计算任务进行格式转换，以适应异构计算环境中各个计算点，从而实现适应物探采集应用特点、且能够适应异构环境的通用多机并行计算。为达到上述目的，本申请提供了一种通用多机并行计算方法，包括：获取计算任务；获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力；根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务；根据所述各计算节点的处理能力，将所述多个计算子任务与所述各节点相匹配；通过底层通信协议，将所述多个计算子任务的数据格式转换为协议格式，并根据匹配关系，分发给各计算节点；通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果；将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回。可选的，所述根据匹配关系，分发给各计算节点之后，还包括：将所述协议格式的多个计算子任务，分别转换为与之相匹配的计算节点需要的格式；所述各计算节点分别执行计算任务，并得到计算结果；将该计算结果转换为协议格式并返回。其中，所述根据所述各计算节点的处理能力，将所述多个计算子任务与所述各节点相匹配包括：根据所述各计算节点的处理能力进行筛选，得到符合条件的计算节点参与计算；将所述多个计算子与所述符合条件的计算节点相匹配，所述计算子任务和计算节点之间的匹配包括一对一或多对多；释放不符合条件的计算节点。可选的，所述各个计算节点为异构节点。可选的，该方法还包括：计算节点执行计算任务期间，当某计算节点率先完成分配的技术任务后，重新为其分配计算任务；可选的，该方法还包括：计算节点执行计算任务期间，监测所述各计算节点的状态，当某节点出现异常时，将该节点负责的计算任务重新分配给其它节点。本专利技术另外提供了一种通用多机并行计算系统，包括：任务获取单元，用于获取计算任务；计算能力信息获取单元，用于获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力；任务分解单元，用于根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务；任务匹配单元，用于根据所述各计算节点的处理能力，将所述多个计算子任务与所述各节点相匹配；任务分发单元，用于通过底层通信协议，将所述多个计算子任务的数据格式转换为协议格式，并根据匹配关系，分发给各计算节点；结果回收单元，用于通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果；格式转换单元，用于将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回。可选的，还包括运算服务器，具体包括：第二格式转换单元，用于将所述协议格式的多个计算子任务，分别转换为与之相匹配的计算节点需要的格式；多个计算节点，用于执行计算任务，并得到计算结果；反馈单元，用于将该计算结果转换为协议格式并返回。其中，任务匹配单元包括：计算节点筛选子单元，用于根据所述各计算节点的处理能力进行筛选，得到符合条件的计算节点参与计算；匹配子单元，用于将所述多个计算子与所述符合条件的计算节点相匹配，所述计算子任务和计算节点之间的匹配包括一对一或多对多；释放子单元，用于释放不符合条件的计算节点。可选的，所述各个计算节点为异构节点。可选的，还包括：二次分配单元，用于计算节点执行计算任务期间，当某计算节点率先完成分配的技术任务后，重新为其分配计算任务。异常处理单元：用于监测所述各节点的状态，当某节点出现异常时，将该节点负责的计算任务重新分配给其它节点。本专利技术能够达到以下有益效果：通过获取计算任务；获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力；根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务；根据所述各计算节点的处理能力，将所述多个计算子任务与所述各节点相匹配；通过底层通信协议，将所述多个计算子任务的数据格式转换为协议格式，并根据匹配关系，分发给各计算节点；通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果；将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回，实现了异构环境下的多机并行计算，支持异常状态的处理，确保在单个设备出现异常时，不影响整个计算任务的完成。附图说明图1为本专利技术一种通用多机并行计算方法的流程图；图2为本专利技术一种通用多机并行计算系统的结构图。具体实施方式以下通过具体实施例进行说明：实施例一：如图1所示，为本实施例一种通用多机并行计算方法的流程图，包括以下步骤：步骤101，获取计算任务；步骤102，获取计算资源的各计算节点的能力参数，并根据该能力参数计算各计算节点的处理能力；物探采集并行计算通常具有大计算量，输入数据小，结果数据巨大的特点，不同类型的应用也存在一定差异，因此定义一个应用类型因子fa，用于表征在某种类型的应用中输入数据大小di、计算量ca、结果数据do大小的相互关系，在并行任务调度过程中是一个重要的参考项。初始的应用类型因子计算采用如下方法：fa=Fa(ca,do,di)=ca/di*ρa+do/di；其中，ρa是系数。在得到计算资源列表和计算任务列表后，管理节点就可以进行任务调度和管理，根据计算任务的计算量大小以及计算节点的运算能力，进行任务分配。在并行系统中，计算任务的计算量、输入数据多少和结果数据的大小都将响应整个并行作业的计算时间，为了更加真实有效的反映各计算任务的任务量，我们将计算各任务的任务当量，并且将待分本文档来自技高网...

【技术保护点】
一种通用多机并行计算方法，其特征在于，包括： 获取计算任务； 获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力； 根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务； 通过底层通信协议，将所述多个计算子任务根据所述各计算节点的处理能力分配到所述各计算节点；该底层通信协议可将所述计算子任务转换为所述计算节点能够识别并处理的格式； 通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果； 将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回。

【技术特征摘要】
1.一种通用多机并行计算方法，其特征在于，包括：获取计算任务；获取计算资源的各计算节点的硬件信息和软件信息，并根据该硬件信息和软件信息计算各计算节点的处理能力；根据所述计算任务的内在可并行性，将该计算任务分解为多个计算子任务；通过底层通信协议，将所述多个计算子任务根据所述各计算节点的处理能力分配到所述各计算节点；该底层通信协议可将所述计算子任务转换为所述计算节点能够识别并处理的格式；通过所述底层通信协议，获取所述各计算节点返回的协议格式的计算结果；将所述计算结果的数据格式由协议格式转换为原计算任务的格式并返回；将所述多个计算子任务根据所述各计算节点的处理能力分配到所述各计算节点包括：根据所述各计算节点的处理能力进行筛选，得到符合条件的计算节点参与计算；将所述多个计算子任务与所述符合条件的计算节点相匹配，所述计算子任务和计算节点之间的匹配包括一对一或多对多；释放不符合条件的计算节点。2.如权利要求1所述的方法，其特征在于，所述根据匹配关系，分发给各计算节点之后，还包括：将所述协议格式的多个计算子任务，分别转换为与之相匹配的计算节点需要的格式；所述各计算节点分别执行计算任务，并得到计算结果；将该计算结果转换为协议格式并返回。3.如权利要求1所述的方法，其特征在于，所述各个计算节点为异构节点。4.如权利要求2所述的方法，其特征在于，还包括：计算节点执行计算任务期间，当某计算节点率先完成分配的技术任务后，重新为其分配计算任务。5.如权利要求2所述的方法，其特征在于，还包括：计算节点执行计算任务期间，监测所述各计算节点的状态，当某节点出现异常时，将该节点负责的计算任务重新分配给其它节点。6.一种通用多机并行计算系统，其特征在于，包括：任务获取单元，用于获取计算任务；计算...

【专利技术属性】
技术研发人员：梅胜全，潘英杰，杜清波，马涛，
申请(专利权)人：中国石油天然气集团公司，中国石油集团东方地球物理勘探有限责任公司，
类型：发明
国别省市：北京;11