System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及mpi通信传输,尤其涉及一种基于gpgpu的mpi集体通信传输系统及方法。
技术介绍
1、随着信息时代的到来,数据的规模与多样性呈现出指数级增长。在此背景下,传统的集中式计算架构由于其固有的的算力集中性限制,已逐渐显示出在处理大规模数据集方面的不足。为了应对这一挑战,分布式计算架构应运而生,并迅速发展成为一种主流的计算范式,成为应对大数据挑战的有效手段。
2、然而,分布式计算架构在实现高效数据传输方面面临显著挑战。信息传输接口协议(message passing interface,mpi)作为一种应对策略,被设计用于优化分布式计算环境中的数据交换过程。mpi通过在现有网络通信协议之上构建的高级抽象,为分布式计算节点间的数据存储与交互提供了一种主要的通信机制。
3、尽管mpi通信在分布式计算领域中发挥着关键作用,但其在处理大规模数据传输时仍存在一些局限性。一方面当前的mpi通信节点主要依赖于cpu来执行数据的压缩、解压缩以及迁移等操作。在小规模数据传输场景中,这种依赖性尚可接受,但在面对大规模数据集时,cpu的大量资源被用于信息处理,从而显著影响了其执行其他计算任务的能力。另一方面,当前的mpi通信机制在处理点对点通信时表现出较高的效率,但在集体通信场景下,其性能表现并不理想,这已成为分布式计算框架中的一个性能瓶颈。
技术实现思路
1、本专利技术实施例提供了一种基于gpgpu的mpi集体通信传输系统及方法,用于解决如下技术问题:当前的mpi通信
2、本专利技术实施例采用下述技术方案:
3、一方面,本专利技术实施例提供了一种基于gpgpu的mpi集体通信传输系统,所述系统包括mpi通信网络及若干个mpi通信节点,所述mpi通信网络与所述若干个mpi通信节点分别通讯连接;
4、所述mpi通信节点用于对所述mpi通信网络发送的压缩数据进行并行处理;
5、所述mpi通信节点中至少包括一个仲裁单元及若干个通用图形处理单元gpgpu;
6、所述仲裁单元与所述若干个通用图形处理单元gpgpu分别通讯连接;
7、所述仲裁单元用于监控各个gpgpu的资源使用情况以及计算资源余量,并为接收到的压缩数据分配gpgpu;
8、所述通用图形处理单元gpgpu中包含mpi信息处理模块,用于对接收到的压缩数据进行并行处理。
9、另一方面,本专利技术实施例还提供了一种基于gpgpu的mpi集体通信传输方法,应用于所述的一种基于gpgpu的mpi集体通信传输系统,所述方法包括:
10、仲裁单元接收所述mpi通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标gpgpu;
11、所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果;
12、所述目标gpgpu对所述并行计算结果进行并行压缩,得到mpi处理数据并传回所述mpi通信网络。
13、在一种可行的实施方式中,仲裁单元接收所述mpi通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标gpgpu,具体包括:
14、所述仲裁单元识别所述压缩数据的数据量以及所需计算资源,并筛选出未使用资源大于等于所述数据量的第一批gpgpu;在所述第一批gpgpu中,筛选出计算资源余量大于等于所述所需计算资源的第二批gpgpu,并将所述第二批gpgpu作为所述目标gpgpu;
15、若所述目标gpgpu多于一个,所述仲裁单元则将计算资源余量最多的一个目标gpgpu确定为最终的目标gpgpu。
16、在一种可行的实施方式中,所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果,具体包括:
17、所述目标gpgpu将所述压缩数据按照包含的线程总数进行拆分,得到若干个压缩数据包,并将所述若干个压缩数据包分别分配到不同的线程,进行并行解压;
18、所述目标gpgpu将每个线程解压后的数据进行汇总,得到解压后的mpi通信数据,并根据解压后的所述mpi通信数据,提取所需的辅助计算数据;
19、所述目标gpgpu将所述mpi通信数据与所述辅助计算数据按照所述线程总数进行拆分,并分配到不同的线程,进行并行计算;并将每个线程的计算结果进行汇总,得到所述并行计算结果。
20、在一种可行的实施方式中,根据解压后的所述mpi通信数据,提取所需的辅助计算数据,具体包括:
21、所述目标gpgpu根据解压后的所述mpi通信数据,判断是否需要在当前mpi通信节点的其他gpgpu或cpu中提取辅助计算数据;
22、若需要,则利用内置的直接内存访问引擎dma,从对应的cpu或gpgpu的内存单元读取所述辅助计算数据。
23、在一种可行的实施方式中,所述目标gpgpu对所述并行计算结果进行并行压缩,得到mpi处理数据并传回所述mpi通信网络,具体包括:
24、所述目标gpgpu将所述并行计算结果按照包含的线程总数进行拆分,得到若干个计算结果数据包;将所述若干个计算结果数据包分别分配到不同的线程,进行并行压缩;
25、所述目标gpgpu将每个线程压缩后的计算结果数据进行汇总,得到所述mpi处理数据,并发送回所述仲裁单元;
26、所述仲裁单元将所述mpi处理数据传回所述mpi通信网络。
27、在一种可行的实施方式中,所述方法还包括:
28、所述mpi通信节点在所述mpi通信网络中获取数据传输计算指令;其中,所述数据传输计算指令至少包括:多对多数据传输计算指令、多对一数据传输计算指令以及一对多数据传输计算指令;
29、所述mpi通信节点根据所述数据传输计算指令,获取对应的数据传输优化方案,并根据所述数据传输优化方案,进行mpi数据计算及传输;其中,所述数据传输优化方案至少包括:二分倍增式通信传输模式、缩减二分倍增式通信传输模式以及数据倍增传递通信传输模式。
30、在一种可行的实施方式中,所述mpi通信节点根据所述数据传输计算指令,获取对应的数据传输优化方案,并根据所述数据传输优化方案,进行mpi数据计算及传输,具体包括:
31、在多个mpi通信节点需要发送数据,同时需要将数据计算结果写回至所述多个mpi通信节点的情况下,采用二分倍增式通信传输模式:
32、所述多个mpi通信节点在所述mpi通信网络中获取所述多对多数据传输计算指令,从自身的内存单元中提取待发送数据,并将所述待发送数据输入自身的gpgpu中进行并行处理,得到第一计算结果数据并发送至所述mpi通信网络中;
33、所述多个mpi通信节点两两匹配,组成若干个mpi通信节点组合;并在所述mpi通信网络中获取本文档来自技高网...
【技术保护点】
1.一种基于GPGPU的MPI集体通信传输系统,所述系统包括MPI通信网络及若干个MPI通信节点,所述MPI通信网络与所述若干个MPI通信节点分别通讯连接,其特征在于,
2.一种基于GPGPU的MPI集体通信传输方法,应用于如权利要求1所述的一种基于GPGPU的MPI集体通信传输系统,其特征在于,所述方法包括:
3.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,仲裁单元接收所述MPI通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标GPGPU,具体包括:
4.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述目标GPGPU对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果,具体包括:
5.根据权利要求4所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,根据解压后的所述MPI通信数据,提取所需的辅助计算数据,具体包括:
6.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述目标GPG
7.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述方法还包括:
8.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述MPI通信节点根据所述数据传输计算指令,获取对应的数据传输优化方案,并根据所述数据传输优化方案,进行MPI数据计算及传输,具体包括:
9.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述MPI通信节点根据所述数据传输计算指令,获取对应的数据传输优化方案,并根据所述数据传输优化方案,进行MPI数据计算及传输,具体还包括:
10.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法,其特征在于,所述MPI通信节点根据所述数据传输计算指令,获取对应的数据传输优化方案,并根据所述数据传输优化方案,进行MPI数据计算及传输,具体还包括:
...【技术特征摘要】
1.一种基于gpgpu的mpi集体通信传输系统,所述系统包括mpi通信网络及若干个mpi通信节点,所述mpi通信网络与所述若干个mpi通信节点分别通讯连接,其特征在于,
2.一种基于gpgpu的mpi集体通信传输方法,应用于如权利要求1所述的一种基于gpgpu的mpi集体通信传输系统,其特征在于,所述方法包括:
3.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,仲裁单元接收所述mpi通信网络发送的压缩数据,并基于所述压缩数据的数据量以及所需计算资源,确定目标gpgpu,具体包括:
4.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算,得到并行计算结果,具体包括:
5.根据权利要求4所述的一种基于gpgpu的mpi集体通信传输方法,其特征在于,根据解压后的所述mpi通信数据,提取所需的辅助计算数据,具体包括:
6.根据权利要求2所述的一种基于gpgpu的m...
【专利技术属性】
技术研发人员:周凯,王帅,赵鑫鑫,姜凯,
申请(专利权)人:山东浪潮科学研究院有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。