一种基于层间互信息的图对比学习方法及系统技术方案

本发明专利技术公开了一种基于层间互信息的图对比学习方法及系统。所述系统包括据预处理模块、网络模型模块、训练控制模块、性能验证模块，所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示；所述网络模型模块代表图神经网络模型的前向传播计算过程；所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值，控制梯度下降和反向传播过程，以及设定训练模型中止条件；所述性能验证模块使用节点分类器通过图点分类任务评估和验证所发明专利技术的基于层间互信息的图对比学习方法的质量。本发明专利技术充分考虑了深度图神经网络的特性，根据提出的层间互信息概念，改进了传统框架中图增强过程存在的缺陷。改进了传统框架中图增强过程存在的缺陷。改进了传统框架中图增强过程存在的缺陷。

【技术实现步骤摘要】
一种基于层间互信息的图对比学习方法及系统


[0001]本专利技术涉及一种基于层间互信息的图对比学习方法及系统，属于机器学习


技术介绍

[0002]图作为一种广泛存在于自然界的数据结构，主要由结点以及结点间的边关系组成，其中结点用于刻画某类对象，对结点进行有效分类可以挖掘图中诸多性质，因而蕴含巨大价值。但由于图是一种非欧式结构数据，每个结点具有不同数量的相邻结点且排列顺序任意，这给图结点分类任务带来了困难。图学习是一种专门研究图数据特征提取的机器学习方法，其中图神经网络(Graph Neural Networks，GNNs)将图结点被表示成低维稠密特征向量的同时又保留了一定结构性信息，大大促进了结点分类任务的发展。
[0003]在人工智能从学术层面到工业化领域迁移的过程中，由于缺乏足够的先验知识，难以对样本进行标注，或者获取带有标注的样本的成本过高，是人工智能最频繁面对的问题。为了解决标签样本的获取和降噪问题这样的问题，许多从无标签信息或少量标签信息样本中提取有效特征，以用于下游具体任务的方法被提出。迁移学习，小样本学习，自监督学习，元学习等等。其中自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。已经有大量研究和实验证明，在合理的上游自监督任务的设计的基础上，自监督学习所学习到的特征信息是非常有效的。在自监督上游任务的设计上，如果通过对相似或不同样本间相似度的度量和对比来挖掘数据本身的信息，那么这种学习方法就被称为对比学习(Contractive learning)。对比学习是一种使用机器学习模型来描述和学习相似和不同事物的任务特征的方法。通过对事物样本之间的相似或不同的判断，来学习到可以区分事物的最有效特征。
[0004]图对比学习是把对比学习的思想应用在图学习理论中，通过对于图或节点的正负采样以及对其相似和不同的度量，无监督地，有效地对图神经网络进行预训练。目前通用的图对比学习框架大都是基于图增强以进行对比，其主要步骤为：根据数据特性选择适配的图增强方法并将其应用在图数据中；对增强后的子图及原图进行节点级别或图级别采样对比学习过程。
[0005]然而由于图数据的多样性以及图增强过程中的数据敏感性，目前的通用图对比学习框架难以自适应地适配不同的数据集。由此可能导致低质量的图表征的结果，或因对适当图增强方式的大量探索而产生的低效算力浪费。总而言之，基于图增强的图对比学习框架，面临着由图增强带来的不可忽视的弱点，包括机器学习质量及计算效率上的缺陷。

技术实现思路

[0006]专利技术目的：为了解决上述问题，本专利技术提出一种基于层间互信息的图对比学习方法及系统，该方法充分考虑了深度图神经网络的特性，根据提出的层间互信息概念，改进了
传统框架中图增强过程存在的缺陷。该专利技术用深度图神经网络的层间输出取代了图增强过程，使得整个算法可以自适应可学习地适配于多种图数据集，提高了图学习结果的精度，提升了图表征过程的效率。
[0007]技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：
[0008]一种基于层间互信息的图对比学习方法，该方法包括如下步骤：
[0009]步骤1，对待处理的图数据进行预处理及符号化，将其转化为可输入图神经网络的符号化数据X，A，分别代表节点特征和拓扑信息(邻接矩阵)；
[0010]步骤2，构造深度图神经网络f
θ
(
·
)，并将第i层的网络参数表示为f
i
(
·
)；
[0011]步骤3，随机选取神经网络第k层f
k
(
·
)；
[0012]步骤4，生成并记录每一层的网络输出X
i
＝f
i
(X
i
‑1,A)，其中X
i
表示网络第i层的输出，X
i
‑1表示网络第i
‑
1层的输出；
[0013]步骤5，根据以下公式前向计算网络的对比损失值，其中表示第i层输出X
i
的第k个节点特征表示，sim(
·
)表示相似度度量，此处使用余弦相似度，τ代表温度系数，用以平衡分子分母过大的数值差异；
[0014]Loss＝∑
i≠j
L
constr
(X
i
,X
j
)
[0015][0016]其中，X
j
表示网络第j层的输出，表示第j层输出X
j
的第k个节点特征表示，表示表示第j层输出X
j
的第l个节点特征表示，n表示输入图中的节点总个数；
[0017]步骤6，根据生成的损失值，对网络参数f
θ
(
·
)求导，反向传播，梯度下降；
[0018]步骤7，重复步骤3～步骤6直至模型收敛；
[0019]步骤8，性能验证，在图节点分类任务上验证所得模型的有效性。
[0020]一种基于层间互信息的图对比学习方法的运行系统，所述系统包括据预处理模块、网络模型模块、训练控制模块、性能验证模块，所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示；所述网络模型模块代表图神经网络模型的前向传播计算过程；所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值，控制梯度下降和反向传播过程，以及设定训练模型中止条件；所述性能验证模块使用节点分类器通过图点分类任务评估和验证所专利技术的基于层间互信息的图对比学习方法的质量。
[0021]有益效果：本专利技术通过考虑图神经网络的结构特性，将层间互信息这一概念引入到图对比学习任务中，避免了传统任务中对于图增强方式的人为设定，使用整体可学习的网络模型实现了对多种图数据集的自动适配，提高了图学习结果的质量，提升了图表征过程的效率。
附图说明
[0022]图1为本申请基于层间互信息的图对比学习方法的流程图。
[0023]图2为本申请基于层间互信息的图对比学习系统模块示意图。
[0024]图3为本申请网络模型图。
[0025]图4为层间互信息示意图。
具体实施方式
[0026]下面结合附图对本专利技术作进一步说明：
[0027]如图1所示，本专利技术公开了一种基于层间互信息的图对比学习方法，该方法包括如下步骤：
[0028]步骤1，对待处理的图数据进行预处理及符号化，将其转化为可输入图神经网络的符号化数据X，A，分别代表节点特征和拓扑信息(邻接矩阵)；
[0029]步骤2，构造深度图神经网络f
θ
(
·
)，并将第i层的网络参数表示为f
i
(
·
)；
[0030]步骤3，随机选取神经网络第k层f
k本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层间互信息的图对比学习方法，其特征在于，该方法包括如下步骤：步骤1，对待处理的图数据进行预处理及符号化，将其转化为可输入图神经网络的符号化数据X，A，分别代表节点特征和拓扑信息(邻接矩阵)；步骤2，构造深度图神经网络f
θ
(
·
)，并将第i层的网络参数表示为f
i
(
·
)；步骤3，随机选取神经网络第k层f
k
(
·
)；步骤4，生成并记录每一层的网络输出X
i
＝f
i
(X
i
‑1，A)，其中X
i
表示网络第i层的输出，X
i
‑1表示网络第i
‑
1层的输出；步骤5，根据以下公式前向计算网络的对比损失值，其中表示第i层输出X
i
的第k个节点特征表示，sim(
·
)表示相似度度量，此处使用余弦相似度，τ代表温度系数，用以平衡分子分母过大的数值差异；Loss＝∑
i≠j
L...

【专利技术属性】
技术研发人员：张璐，薛晖，
申请(专利权)人：东南大学，
类型：发明
国别省市：