【技术实现步骤摘要】
本专利技术涉及分布式深度学习领域，尤其涉及一种基于部分历史嵌入的分布式图神经网络训练框架。
技术介绍
1、图神经网络(gnn)在分析非欧几里得图数据方面取得了很大的成功，在包括社交网络、推荐系统和知识图谱等各种应用中都取得了良好的效果。然而，在面对大规模的图数据时，现有的硬件技术，特别是显存大小成为了扩大图数据规模的阻碍。现有框架为了处理这种大规模图神经网络，采用了非全图训练方法，将图数据划分为多个子集，逐子集进行训练。进一步地，为了引入更多的计算与存储资源，加快训练速度，减少显存负担，将多个小批量并行地在多台机器上进行分布式训练。但在使用这些方法的训练过程中，在显存与内存间会存在的大量的图特征传输开销以及机器间的网络通信开销，这些为了将小批量加载进训练器而引入的数据加载开销成为了大规模图训练的性能瓶颈。部分工作采用采样的方法以减少数据加载开销，但同时会损失训练精度。因此，如何在保证精度的同时缓解该瓶颈已经成为扩大图神经网络规模的重大挑战。为了解决这一挑战，相关工作提出了使用节点历史嵌入(即中间训练状态)对非当前待训练子集内的依赖节点进行全部替换的方法，有效减小了每次迭代的数据加载量，进而提高了神经网络训练单次迭代的速度。但是，这种方法会带来不可控的训练精度损失，进而严重影响模型收敛速度与效果。由于图结构的各节点中心性具有差异，选择性地使用历史嵌入进行替换，给同时保证数据加载速度与精度带来了机会。因此，本文提出了一种基于部分历史嵌入的图神经网络在分布式环境下的训练框架。
技术实现思路
<...【技术保护点】
1.一种用于分布式图神经网络的训练优化方法，量化节点中心性，在线选择部分历史嵌入代替原始数据进行训练，减少了数据传输过程中的特征传输量，保证了传输的特征量消耗相对于输入节点的数量保持常数倍或次线性，其特征在于：数据加载速度接近于完全历史嵌入训练，整体收敛精度接近于原始数据训练。
2.根据权利要求1所述的一种用于分布式图神经网络的训练优化方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种基于部分历史嵌入的分布式图神经网络训练优化方法，其特征在于：所述步骤S2中，选择部分历史嵌入节点而不是全部历史嵌入节点进行替换。
4.根据权利要求2所述的一种基于部分历史嵌入的分布式图神经网络训练优化方法，其特征在于：所述步骤S2中，根据历史嵌入的时间戳以及神经网络参数变化的剧烈程度选择部分历史嵌入进行替换。
5.根据权利要求2所述的一种基于部分历史嵌入的分布式图神经网络训练优化方法，其特征在于：所述步骤S3中，需要收集以及传输至训练器的数据量相比于已有方法大大减小。
6.根据权利要求2所述的一种基于部分历史嵌入的分布式图神经网
...【技术特征摘要】
1.一种用于分布式图神经网络的训练优化方法，量化节点中心性，在线选择部分历史嵌入代替原始数据进行训练，减少了数据传输过程中的特征传输量，保证了传输的特征量消耗相对于输入节点的数量保持常数倍或次线性，其特征在于：数据加载速度接近于完全历史嵌入训练，整体收敛精度接近于原始数据训练。
2.根据权利要求1所述的一种用于分布式图神经网络的训练优化方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种基于部分历史嵌入的分布式图神经网络训练优化方法，其特征在于：所述步骤s2中，选择部分历史嵌入节点而不是全部历史嵌入节点...
【专利技术属性】
技术研发人员：李洪亮，徐海啸，韩俊泽，李想，徐哲文，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。