【技术实现步骤摘要】
本专利技术涉及图神经网络模型领域，尤其涉及一种提升图神经网络节点预测准确性的方法。
技术介绍
1、现实世界的图数据通常都有着丰富的节点属性。例如，文献引用网络中的文献节点以论文摘要和正文作为节点属性；商品关系网络以商家提供的商品文本描述作为节点属性；蛋白质交互网络以蛋白质序列作为节点属性。
2、然而，传统图神经网络采用采用一些简单的手工特征设计方法简化这些节点属性，丢失了节点属性中丰富的语义，导致节点预测准确率不高。例如，对于文本属性图上的节点文本属性，传统图神经网络通常采用词频向量作为节点特征，丢失了文本语义；对于蛋白质交互网络上的蛋白质序列，传统图神经网络通常直接学习蛋白质交互网络的图结构，忽略掉这些丰富但难以处理的蛋白质序列。
3、随着大语言模型的发展，出现了大量的面向文本或蛋白质序列的预训练大模型。他们首先在大量的语料库上预训练，然后在下游任务中微调来编码复杂的节点属性。然而，在下游任务中同时微调预训练大模型和图神经网络需要昂贵的计算开销，由于预训练模型的巨大模型规模和图数据本身的大规模。因此结合预训练大模型与图神经网络也需要设计相应的可扩展训练方法。
4、有鉴于此，特提出本专利技术。
技术实现思路
1、本专利技术的目的是提供了一种提升图神经网络节点预测准确性的方法、设备及介质，能在不增加训练开销的前提下，结合图神经网络和预训练大模型，提高图神经网络节点性质预测任务的准确率，进而解决现有技术中存在的上述技术问题。
2、本专利技
3、一种提升图神经网络节点预测准确性的方法，图神经网络为文献引用图结构网络、商品图谱图结构网络、蛋白质交互图结构网络中的任一种，包括：
4、步骤1，获取图神经网络属性图上的节点属性、图结构数据矩阵、节点标签数据矩阵，根据节点属性的数据模态选择对应的预训练大模型；
5、步骤2，根据步骤1获取的图结构数据矩阵和节点标签数据矩阵计算得出k跳标签；
6、步骤3，根据步骤2计算得出的k跳标签计算反标签，基于反标签微调步骤1所选择的预训练大模型参数的同时固定图神经网络的参数；
7、步骤4，固定步骤3微调后的预训练大模型的参数，向该预训练大模型输入节点属性，推理并存储相应的低维节点特征向量；
8、步骤5，基于原始的节点标签数据矩阵训练图神经网络，用训练后的图神经网络根据步骤4得出的低维节点特征向量和步骤1得出的图结构数据矩阵进行节点属性预测。
9、一种处理设备，包括：
10、至少一个存储器，用于存储一个或多个程序；
11、至少一个处理器，能执行所述存储器所存储的一个或多个程序，在一个或多个程序被处理器执行时，使得所述处理器能实现本专利技术所述的方法。
12、一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时能实现本专利技术所述的方法。
13、与现有技术相比，本专利技术所提供的提升图神经网络节点预测准确性的方法、设备及介质，其有益效果包括：
14、通过将预训练大模型和图神经网络的训练过程分离开，相比于结合两者同时训练，极大地减少了计算开销。在常见的nvidia geforce rtx 3090 (24 gb)设备上，同时训练会出现显存不足的问题，然而通过本专利技术提出的分离训练框架能够正常训练，通过计算k跳标签和反标签，在理论上保证了分离训练框架能在取得和同时训练的模型预测准确率。
本文档来自技高网...【技术保护点】
1.一种提升图神经网络节点预测准确性的方法，其特征在于，图神经网络为文献引用图结构网络、商品图谱图结构网络、蛋白质交互图结构网络中的任一种，包括：
2.根据权利要求1所述的提升图神经网络节点预测准确性的方法，其特征在于，所述方法中，若图神经网络为文献引用图结构网络，则图神经网络的节点属性的数据为文本数据；
3.根据权利要求1或2所述的提升图神经网络节点预测准确性的方法，其特征在于，所述步骤1中，按以下方式根据节点属性的数据模态选择对应的预训练大模型，包括：
4.根据权利要求3所述的提升图神经网络节点预测准确性的方法，其特征在于，所述文本处理预训练大模型为GPT预训练大模型、DeBERTa预训练大模型、Llama预训练大模型中的任一种；
5.根据权利要求1或2所述的提升图神经网络节点预测准确性的方法，其特征在于，所述步骤2中，根据步骤1获取的图结构数据矩阵和节点标签数据矩阵按以下公式（2）计算得出K跳标签，包括：
6.根据权利要求1或2所述的提升图神经网络节点预测准确性的方法，其特征在于，所述步骤3中，按以下公式（1）根据
7.一种处理设备，其特征在于，包括：
8.一种可读存储介质，其特征在于，存储有计算机程序，当计算机程序被处理器执行时能实现权利要求1-6任一项所述的方法。
...【技术特征摘要】
1.一种提升图神经网络节点预测准确性的方法，其特征在于，图神经网络为文献引用图结构网络、商品图谱图结构网络、蛋白质交互图结构网络中的任一种，包括：
2.根据权利要求1所述的提升图神经网络节点预测准确性的方法，其特征在于，所述方法中，若图神经网络为文献引用图结构网络，则图神经网络的节点属性的数据为文本数据；
3.根据权利要求1或2所述的提升图神经网络节点预测准确性的方法，其特征在于，所述步骤1中，按以下方式根据节点属性的数据模态选择对应的预训练大模型，包括：
4.根据权利要求3所述的提升图神经网络节点预测准确性的方法，其特征在于，所述文本处理预训练大模型为gpt预训练大模型、...
【专利技术属性】
技术研发人员：王杰，石志皓，路方华，陈瀚铸，连得富，吴枫，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。