【技术实现步骤摘要】
本专利技术涉及gnn技术，尤其涉及基于异构gpu负载均衡的图神经网络分区方法。
技术介绍
1、与图像和文本这些高度结构化的数据不同，图是由顶点和边组成的数据结构，它能有效捕捉非欧式空间中不规则数据之间的复杂关系。而图神经网络(graphneuralnetwork,gnn)是专为图(graph)数据设计的深度学习模型，相比于cnn等传统深度学习方法，其可以直接处理图结构数据。在现实生活中，任何实体及其连接关系都可以表示为图结构数据。由于图神经网络的特殊性质，其具有非常广泛的应用场景。
2、然而，随着数据规模的不断增大，传统的gnn处理起来变得越来越低效。并且，由于gnn还存在节点关系复杂、具有不规则和规则访存与计算的双重模式、特征维度高、存在幂律分布等特点，因此对于大规模的图数据，其计算和存储需求可能都超出了单机的容量。此外，在一些场景中(如云计算)，用户无法完全控制所使用的gpu类型。因此，近年来，越来越多的研究开始探索gnn在多个gpu上的训练方法。如何实现图神经网络的高效训练，成为实际应用中迫切需要解决的关键问题。
3、在多gpu训练中，需要将数据分布到不同的gpu上面进行训练并更新梯度。由于同步策略的限制，训练时间将受速度最慢的gpu的影响。现有方法大多追求分区大小的相似，因为他们默认gpu类型相同。如cn 107122248a是直接根据节点总数进行平均划分。cn118504609a中使用的metis方法是使分区规模一致，虽然其对分区中冗余节点进行了剪枝处理，但其并不是出于适配gpu算力的目的。然而
技术实现思路
1、本专利技术目的在于提供基于异构gpu负载均衡的图神经网络分区方法，以解决上述现有技术存在的问题。
2、本专利技术中所述基于异构gpu负载均衡的图神经网络分区方法，包括以下步骤。
3、s1.获取原始图g及分区目标数量n；
4、s2.使用图分区算法进行粗化分区；
5、s3.将每个子图随机预分配给各gpu；
6、s4.对每个gpu进行计算开销建模；
7、s5.对每个gpu进行通信开销建模；
8、s6.根据计算开销和通信开销，设置启发式分区函数和内存约束；
9、s7.根据启发式分区函数和内存约束对粗化分区进行调整；
10、s8.将划分完成的分区子图分配至对应的gpu，执行图计算任务并汇总输出。
11、本专利技术中所述基于异构gpu负载均衡的图神经网络分区方法，其优点在于，所划分的子图可以在精度影响很小的情况下，不仅能适配gpu的性能，还尽可能减少通信需求，并防止内存溢出，最终有效减少训练时间、提升训练效率。
本文档来自技高网...【技术保护点】
1.基于异构GPU负载均衡的图神经网络分区方法，其特征在于，包括以下步骤。
2.根据权利要求1所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，在所述步骤S1中，原始图G和分区目标数量N由用户输入，且分区目标数量N与GPU数量相同；GPU集合P表示为：P＝{P1,P2,...Pi,...,PN}，其中Pi表示第i个GPU。
3.根据权利要求2所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，在所述步骤S2中，将原始图G划分为N个分区子图，N个分区子图的集合表示为S＝{S1,S2,...Si,...,SN}，Si表示第i个分区子图；
4.根据权利要求3所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，所述步骤S4包括以下子步骤：
5.根据权利要求4所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，所述步骤S5包括以下子步骤：
6.根据权利要求5所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，在所述步骤S6中，启发式分区函数为：
7.根据权利要求6所述基于异构G
8.根据权利要求7所述基于异构GPU负载均衡的图神经网络分区方法，其特征在于，所述步骤S8具体为：将调整完成的分区子图直接分配至对应GPU的内存中；每个GPU在本地开始执行相应的图计算任务；最终，将每个GPU上的计算结果汇总，形成图计算任务的输出结果。
...【技术特征摘要】
1.基于异构gpu负载均衡的图神经网络分区方法，其特征在于，包括以下步骤。
2.根据权利要求1所述基于异构gpu负载均衡的图神经网络分区方法，其特征在于，在所述步骤s1中，原始图g和分区目标数量n由用户输入，且分区目标数量n与gpu数量相同；gpu集合p表示为：p＝{p1,p2,...pi,...,pn}，其中pi表示第i个gpu。
3.根据权利要求2所述基于异构gpu负载均衡的图神经网络分区方法，其特征在于，在所述步骤s2中，将原始图g划分为n个分区子图，n个分区子图的集合表示为s＝{s1,s2,...si,...,sn}，si表示第i个分区子图；
4.根据权利要求3所述基于异构gpu负载均衡的图神经网络分区方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。