【技术实现步骤摘要】
本专利技术涉及mpi通信传输，尤其涉及一种基于gpgpu的mpi集体通信传输系统及方法。
技术介绍
1、随着信息时代的到来，数据的规模与多样性呈现出指数级增长。在此背景下，传统的集中式计算架构由于其固有的的算力集中性限制，已逐渐显示出在处理大规模数据集方面的不足。为了应对这一挑战，分布式计算架构应运而生，并迅速发展成为一种主流的计算范式，成为应对大数据挑战的有效手段。
2、然而，分布式计算架构在实现高效数据传输方面面临显著挑战。信息传输接口协议（message passing interface，mpi）作为一种应对策略，被设计用于优化分布式计算环境中的数据交换过程。mpi通过在现有网络通信协议之上构建的高级抽象，为分布式计算节点间的数据存储与交互提供了一种主要的通信机制。
3、尽管mpi通信在分布式计算领域中发挥着关键作用，但其在处理大规模数据传输时仍存在一些局限性。一方面当前的mpi通信节点主要依赖于cpu来执行数据的压缩、解压缩以及迁移等操作。在小规模数据传输场景中，这种依赖性尚可接受，但在面对大规模数据集时，cpu的大量资源被用于信息处理，从而显著影响了其执行其他计算任务的能力。另一方面，当前的mpi通信机制在处理点对点通信时表现出较高的效率，但在集体通信场景下，其性能表现并不理想，这已成为分布式计算框架中的一个性能瓶颈。
技术实现思路
1、本专利技术实施例提供了一种基于gpgpu的mpi集体通信传输系统及方法，用于解决如下技术问题：当前的mpi通信
2、本专利技术实施例采用下述技术方案：
3、一方面，本专利技术实施例提供了一种基于gpgpu的mpi集体通信传输系统，所述系统包括mpi通信网络及若干个mpi通信节点，所述mpi通信网络与所述若干个mpi通信节点分别通讯连接；
4、所述mpi通信节点用于对所述mpi通信网络发送的压缩数据进行并行处理；
5、所述mpi通信节点中至少包括一个仲裁单元及若干个通用图形处理单元gpgpu；
6、所述仲裁单元与所述若干个通用图形处理单元gpgpu分别通讯连接；
7、所述仲裁单元用于监控各个gpgpu的资源使用情况以及计算资源余量，并为接收到的压缩数据分配gpgpu；
8、所述通用图形处理单元gpgpu中包含mpi信息处理模块，用于对接收到的压缩数据进行并行处理。
9、另一方面，本专利技术实施例还提供了一种基于gpgpu的mpi集体通信传输方法，应用于所述的一种基于gpgpu的mpi集体通信传输系统，所述方法包括：
10、仲裁单元接收所述mpi通信网络发送的压缩数据，并基于所述压缩数据的数据量以及所需计算资源，确定目标gpgpu；
11、所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算，得到并行计算结果；
12、所述目标gpgpu对所述并行计算结果进行并行压缩，得到mpi处理数据并传回所述mpi通信网络。
13、在一种可行的实施方式中，仲裁单元接收所述mpi通信网络发送的压缩数据，并基于所述压缩数据的数据量以及所需计算资源，确定目标gpgpu，具体包括：
14、所述仲裁单元识别所述压缩数据的数据量以及所需计算资源，并筛选出未使用资源大于等于所述数据量的第一批gpgpu；在所述第一批gpgpu中，筛选出计算资源余量大于等于所述所需计算资源的第二批gpgpu，并将所述第二批gpgpu作为所述目标gpgpu；
15、若所述目标gpgpu多于一个，所述仲裁单元则将计算资源余量最多的一个目标gpgpu确定为最终的目标gpgpu。
16、在一种可行的实施方式中，所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算，得到并行计算结果，具体包括：
17、所述目标gpgpu将所述压缩数据按照包含的线程总数进行拆分，得到若干个压缩数据包，并将所述若干个压缩数据包分别分配到不同的线程，进行并行解压；
18、所述目标gpgpu将每个线程解压后的数据进行汇总，得到解压后的mpi通信数据，并根据解压后的所述mpi通信数据，提取所需的辅助计算数据；
19、所述目标gpgpu将所述mpi通信数据与所述辅助计算数据按照所述线程总数进行拆分，并分配到不同的线程，进行并行计算；并将每个线程的计算结果进行汇总，得到所述并行计算结果。
20、在一种可行的实施方式中，根据解压后的所述mpi通信数据，提取所需的辅助计算数据，具体包括：
21、所述目标gpgpu根据解压后的所述mpi通信数据，判断是否需要在当前mpi通信节点的其他gpgpu或cpu中提取辅助计算数据；
22、若需要，则利用内置的直接内存访问引擎dma，从对应的cpu或gpgpu的内存单元读取所述辅助计算数据。
23、在一种可行的实施方式中，所述目标gpgpu对所述并行计算结果进行并行压缩，得到mpi处理数据并传回所述mpi通信网络，具体包括：
24、所述目标gpgpu将所述并行计算结果按照包含的线程总数进行拆分，得到若干个计算结果数据包；将所述若干个计算结果数据包分别分配到不同的线程，进行并行压缩；
25、所述目标gpgpu将每个线程压缩后的计算结果数据进行汇总，得到所述mpi处理数据，并发送回所述仲裁单元；
26、所述仲裁单元将所述mpi处理数据传回所述mpi通信网络。
27、在一种可行的实施方式中，所述方法还包括：
28、所述mpi通信节点在所述mpi通信网络中获取数据传输计算指令；其中，所述数据传输计算指令至少包括：多对多数据传输计算指令、多对一数据传输计算指令以及一对多数据传输计算指令；
29、所述mpi通信节点根据所述数据传输计算指令，获取对应的数据传输优化方案，并根据所述数据传输优化方案，进行mpi数据计算及传输；其中，所述数据传输优化方案至少包括：二分倍增式通信传输模式、缩减二分倍增式通信传输模式以及数据倍增传递通信传输模式。
30、在一种可行的实施方式中，所述mpi通信节点根据所述数据传输计算指令，获取对应的数据传输优化方案，并根据所述数据传输优化方案，进行mpi数据计算及传输，具体包括：
31、在多个mpi通信节点需要发送数据，同时需要将数据计算结果写回至所述多个mpi通信节点的情况下，采用二分倍增式通信传输模式：
32、所述多个mpi通信节点在所述mpi通信网络中获取所述多对多数据传输计算指令，从自身的内存单元中提取待发送数据，并将所述待发送数据输入自身的gpgpu中进行并行处理，得到第一计算结果数据并发送至所述mpi通信网络中；
33、所述多个mpi通信节点两两匹配，组成若干个mpi通信节点组合；并在所述mpi通信网络中获取本文档来自技高网...
【技术保护点】
1.一种基于GPGPU的MPI集体通信传输系统，所述系统包括MPI通信网络及若干个MPI通信节点，所述MPI通信网络与所述若干个MPI通信节点分别通讯连接，其特征在于，
2.一种基于GPGPU的MPI集体通信传输方法，应用于如权利要求1所述的一种基于GPGPU的MPI集体通信传输系统，其特征在于，所述方法包括：
3.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，仲裁单元接收所述MPI通信网络发送的压缩数据，并基于所述压缩数据的数据量以及所需计算资源，确定目标GPGPU，具体包括：
4.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述目标GPGPU对所述压缩数据进行数据并行解压以及数据并行计算，得到并行计算结果，具体包括：
5.根据权利要求4所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，根据解压后的所述MPI通信数据，提取所需的辅助计算数据，具体包括：
6.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述目标GPG
7.根据权利要求2所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述MPI通信节点根据所述数据传输计算指令，获取对应的数据传输优化方案，并根据所述数据传输优化方案，进行MPI数据计算及传输，具体包括：
9.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述MPI通信节点根据所述数据传输计算指令，获取对应的数据传输优化方案，并根据所述数据传输优化方案，进行MPI数据计算及传输，具体还包括：
10.根据权利要求7所述的一种基于GPGPU的MPI集体通信传输方法，其特征在于，所述MPI通信节点根据所述数据传输计算指令，获取对应的数据传输优化方案，并根据所述数据传输优化方案，进行MPI数据计算及传输，具体还包括：
...【技术特征摘要】
1.一种基于gpgpu的mpi集体通信传输系统，所述系统包括mpi通信网络及若干个mpi通信节点，所述mpi通信网络与所述若干个mpi通信节点分别通讯连接，其特征在于，
2.一种基于gpgpu的mpi集体通信传输方法，应用于如权利要求1所述的一种基于gpgpu的mpi集体通信传输系统，其特征在于，所述方法包括：
3.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法，其特征在于，仲裁单元接收所述mpi通信网络发送的压缩数据，并基于所述压缩数据的数据量以及所需计算资源，确定目标gpgpu，具体包括：
4.根据权利要求2所述的一种基于gpgpu的mpi集体通信传输方法，其特征在于，所述目标gpgpu对所述压缩数据进行数据并行解压以及数据并行计算，得到并行计算结果，具体包括：
5.根据权利要求4所述的一种基于gpgpu的mpi集体通信传输方法，其特征在于，根据解压后的所述mpi通信数据，提取所需的辅助计算数据，具体包括：
6.根据权利要求2所述的一种基于gpgpu的m...
【专利技术属性】
技术研发人员：周凯，王帅，赵鑫鑫，姜凯，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。