针对物探应用的多机异构并行计算方法及装置制造方法及图纸

本发明专利技术提供一种针对物探应用的多机异构并行计算方法及装置，方法包括：用户节点向管理节点发送异构计算资源查找命令；该命令包括查找参数信息；管理节点将该命令向各个计算节点广播；每一计算节点根据查找到的异构计算资源情况及查找参数信息，生成和启动多个计算任务异构执行端，向管理节点反馈资源信息；管理节点将反馈的资源信息发送至用户节点；用户节点对反馈的资源信息进行筛选，将选定的资源信息发送给管理节点；管理节点根据选定的资源信息，向各个计算节点发送选定确认消息；每一计算节点根据确认消息确定计算任务异构执行端，进行多机并行计算。上述技术方案分发挥了计算节点内的所有异构计算资源性能，实现负载均衡和作业高性能计算。和作业高性能计算。和作业高性能计算。

【技术实现步骤摘要】
针对物探应用的多机异构并行计算方法及装置


[0001]本专利技术涉及石油物探领域
，特别涉及一种针对物探应用的多机异构并行计算方法及装置。

技术介绍

[0002]在石油地震勘探中，有大量需要进行高性能计算的业务需求和算法，如二维模型正演、二维模型照明等，这些物探应用为了充分发挥单机计算性能，在单机上常利用CPU、GPU分别按炮进行计算，利用多线程、OpenCL等技术来充分发挥所有硬件资源性能，为了使用方便，通常将整个正演、照明等业务算法或计算过程封装成独立的动态库或独立的进程，由外部程序调用库接口或调用进程来进行计算。由于目前施工面积越来越大，工区中的激发点数，即炮数越来越多，用单机来实现整个工区的模型正演、模型照明计算变得越来越难，如何利用现有的多机异构资源、如何方便快捷地调用现有程序或算法库来完成整个工区的模型照明、模型正演等计算将成为多机并行计算的关键。
[0003]由于在实现单机高性能计算过程中，不同算法和应用使用的硬件、方法和策略不尽相同，有的采用CPU、GPU异构非协同计算，有的采用CPU、GPU异构协同计算，因此，无法满足物探应用作业的高性能计算。
[0004]对于目前的在进行多机并行计算，通常将一台物理机作为一个计算节点，将其所有计算资源给计算程序使用，但当在其上进行多机异构并行计算时，如果以最小任务单位炮进行任务分配，因为不能使用多种异构设备协调同计算，所以只能使用一种计算设备进行计算，就不能充分发挥计算节点内的所有计算资源性能，异构计算资源使用存在不合理性；如果分配多炮作为计算任务单元进行计算，由于不同设备之间的计算性能差异，就会出现GPU很快完成计算，然后等待CPU完成计算的现象，造成计算设备负载不均，同时利用调试算法很难准确地为不同计算节点划分合适的炮数来消除计算节点内计算设备负载不均、出现闲置等待的现象。
[0005]针对上述技术问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种针对物探应用的多机异构并行计算方法，用以充分发挥计算节点内的所有异构计算资源性能，实现负载均衡和作业高性能计算，该方法包括：
[0007]用户节点在进行地震勘探多机并行计算之前，向管理节点发送异构计算资源查找命令；所述异构计算资源查找命令包括查找参数信息；
[0008]管理节点将异构计算资源查找命令向各个计算节点广播；
[0009]每一计算节点在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描，根据查找到的异构计算资源情况以及所述查找参数信息，生成和启动多个计算任务异构执行端，在多个计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息；其中，每一个计算任务异构执行端对应一种类型的异构计算资源；
[0010]管理节点将各计算节点反馈的异构计算资源信息发送至所述用户节点；
[0011]用户节点利用预设筛选条件，对各计算节点反馈的异构计算资源信息进行筛选处理，得到选定的异构计算资源信息，将选定的异构计算资源信息发送给管理节点；
[0012]管理节点根据选定的异构计算资源信息，向各个计算节点发送异构计算资源使用确认消息；
[0013]每一计算节点根据异构计算资源使用确认消息，确定参与多机并行计算的计算任务异构执行端，确定的计算任务异构执行端进行地震勘探多机并行计算。
[0014]本专利技术实施例还提供了一种针对物探应用的多机异构并行计算装置，用以充分发挥计算节点内的所有异构计算资源性能，实现负载均衡和作业高性能计算，该装置包括：
[0015]用户节点，用于在进行地震勘探多机并行计算之前，向管理节点发送异构计算资源查找命令；所述异构计算资源查找命令包括查找参数信息；利用预设筛选条件，对各计算节点反馈的异构计算资源信息进行筛选处理，得到选定的异构计算资源信息，将选定的异构计算资源信息发送给管理节点；
[0016]管理节点，用于将异构计算资源查找命令向各个计算节点广播；将各计算节点反馈的异构计算资源信息发送至所述用户节点；根据选定的异构计算资源信息，向各个计算节点发送异构计算资源使用确认消息；
[0017]每一计算节点，用于在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描，根据查找到的异构计算资源情况以及所述查找参数信息，生成和启动多个计算任务异构执行端，在多个计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息；其中，每一个计算任务异构执行端对应一种类型的异构计算资源；根据异构计算资源使用确认消息，确定参与多机并行计算的计算任务异构执行端，确定的计算任务异构执行端进行地震勘探多机并行计算。
[0018]本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述针对物探应用的多机异构并行计算方法。
[0019]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述针对物探应用的多机异构并行计算方法的计算机程序。
[0020]本专利技术实施例提供的技术方案通过：用户节点在进行地震勘探多机并行计算之前，向管理节点发送异构计算资源查找命令；所述异构计算资源查找命令包括查找参数信息；管理节点将异构计算资源查找命令向各个计算节点广播；每一计算节点在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描，根据查找到的异构计算资源情况以及所述查找参数信息，生成和启动多个计算任务异构执行端，在多个计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息；其中，每一个计算任务异构执行端对应一种类型的异构计算资源；管理节点将各计算节点反馈的异构计算资源信息发送至所述用户节点；用户节点利用预设筛选条件，对各计算节点反馈的异构计算资源信息进行筛选处理，得到选定的异构计算资源信息，将选定的异构计算资源信息发送给管理节点；管理节点根据选定的异构计算资源信息，向各个计算节点发送异构计算资源使用确认消息；每一计算节点根据异构计算资源使用确认消息，确定参与多机并行计算的计算任务异构执行端，确定的计算任务异构执行端进行地震勘探多机并行计算，实现了在单机内自动生成多个针对不
同计算设备的计算任务异构执行端，并分别利用不同异构计算设备进行多机异构并行任务计算，利用上述技术方案可满足单机内异构协同计算和异构非协同计算的要求，充分发挥计算节点内的所有异构计算资源性能，实现负载均衡和作业高性能计算。
附图说明
[0021]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是本专利技术实施例中针对物探应用的多机异构并行计算方法的流程示意图；
[0023]图2是本专利技术实施例中选定异构计算资源信息的原理示意图；
[0024]图3是本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对物探应用的多机异构并行计算方法，其特征在于，包括：用户节点在进行地震勘探多机并行计算之前，向管理节点发送异构计算资源查找命令；所述异构计算资源查找命令包括查找参数信息；管理节点将异构计算资源查找命令向各个计算节点广播；每一计算节点在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描，根据查找到的异构计算资源情况以及所述查找参数信息，生成和启动多个计算任务异构执行端，在多个计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息；其中，每一个计算任务异构执行端对应一种类型的异构计算资源；管理节点将各计算节点反馈的异构计算资源信息发送至所述用户节点；用户节点利用预设筛选条件，对各计算节点反馈的异构计算资源信息进行筛选处理，得到选定的异构计算资源信息，将选定的异构计算资源信息发送给管理节点；管理节点根据选定的异构计算资源信息，向各个计算节点发送异构计算资源使用确认消息；每一计算节点根据异构计算资源使用确认消息，确定参与多机并行计算的计算任务异构执行端，确定的计算任务异构执行端进行地震勘探多机并行计算。2.如权利要求1所述的针对物探应用的多机异构并行计算方法，其特征在于，还包括：用户节点根据选定的异构计算资源信息，将作业进行计算任务划分处理，设置计算任务流程配置文件，在计算任务流程配置文件设置完成后，进行作业提交和启动操作；所述计算任务流程配置文件包括计算任务处理流程；管理节点在接收到作业提交和启动操作的触发指令后，向各个计算节点发送所述计算任务流程配置文件；每一计算节点根据异构计算资源使用确认消息，确定参与多机并行计算的计算任务异构执行端，确定的计算任务异构执行端进行地震勘探多机并行计算，包括：各个计算节点中确定的计算任务异构执行端根据所述计算任务处理流程，进行地震勘探计算任务处理。3.如权利要求2所述的针对物探应用的多机异构并行计算方法，其特征在于，各个计算节点中确定的计算任务异构执行端根据所述计算任务处理流程，进行地震勘探计算任务处理，包括：计算任务异构执行端根据所述计算任务处理流程，加载相应的计算任务插件；所述计算任务处理流程包括预先定义的计算任务插件及其调用顺序和调用方式；计算任务异构执行端通过加载的计算任务插件，从预先建立的物探业务算法库中调用相应的物探算法，完成地震勘探计算任务处理。4.如权利要求1所述的针对物探应用的多机异构并行计算方法，其特征在于，每一计算节点在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描，根据查找到的异构计算资源情况以及所述查找参数信息，生成和启动多个计算任务异构执行端，在多个计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息，包括：每一计算节点在接收到异构计算资源查找命令后，对所在物理机进行硬件扫描；每一计算节点根据查找到的异构计算资源情况以及所述查找参数信息，在计算节点的默认的计算任务异构执行端程序所在的同级目录上拷贝得到多个计算任务异构执行端；
每一计算节点的默认的计算任务异构执行端分别启动拷贝得到的各计算任务异构执行端；每一计算节点在拷贝得到的各计算任务异构执行端启动完成后，向管理节点反馈异构计算资源信息。5.如权利要求4所述的针对物探应用的多机异构并行计算方法，其特征在于，还包括：每一计算节点根据异构计算资源使用确认消息，在确定拷贝得到的计算任务异构执行端未被选定时，对拷贝得到的计算任务异构执行端进行关闭处理，在确定默认的计算任务异构执行端未被选定时，将默认的计算任务异构执行端设置为自由状态。6.如权利要求1所述的针对物探应用的多机异构并行计算方法，其特征在于，还包括：在检测到管理节点出现异常时，用户节点对接收到的计算任务结果进行检测，对已经完成的计算任务结果进行合并处理，同时给出未完成的计算任务列表。7.如权利要求1所述的针对物探应用的多机异构并行计算方法，其特征在于，还包括：在检测到用户节点出现异常时，用户节点进行程序重启处理，检测作业结果目录下的内容，对已经完成的计算任务结果进行合并处理，同时给出未完成的计算任务列表。8.如权利要求1所述的针对物探应用的多机异构并行计算方法，其特征在于，还包括：在检测到计算节点出现异...

【专利技术属性】
技术研发人员：潘英杰，何宝庆，何永清，罗开云，杜清波，皮红梅，
申请(专利权)人：中国石油集团东方地球物理勘探有限责任公司，
类型：发明
国别省市：