一种应用于GNN的拓扑感知的后处理置信度校正方法技术

本发明专利技术公开了一种应用于GNN的拓扑感知的后处理置信度校正方法，利用GNN中置信度的同质性对置信度进行校正，该校正函数是一种非线性变换，但同样保存了原始GNN的分类精度。此外，本发明专利技术基于该校正方法提出了一种校正过后的GNN自训练方法，其中置信度首先由CaGCN校准，然后用于生成伪标签，可以有效地利用高置信度的预测，并通过大量的实验证明了本发明专利技术提出的方法在校正和准确性方面的有效性。出的方法在校正和准确性方面的有效性。出的方法在校正和准确性方面的有效性。

【技术实现步骤摘要】
一种应用于GNN的拓扑感知的后处理置信度校正方法


[0001]本专利技术涉及光纤激光器
，尤其涉及一种应用于GNN的拓扑感知的后处理置信度校正方法。

技术介绍

[0002]图在现实世界中是无处不在的，包括社交网络、电子商务网络、交通网络等。最近，基于消息传递方式的图神经网络(GNN)在处理图数据方面引起了相当大的关注。迄今为止，GNN已被广泛应用于各种应用并且取得了显著的成果，例如节点分类、链接预测和图分类等。
[0003]然而在实际的应用中，准确性并不是唯一的目标。在许多尤其是和安全领域相关的应用中，非常需要一个值得信赖的模型。通常来说，一个值得信赖的模型意味着它应该知道它的预测结果什么时候可能是不正确的。换句话说，与预测的类别标签相关联的概率(置信度)应该反映其实际的准确性。例如，在自动驾驶场景中，只有当模型对其预测具有高置信度时，系统才会采纳模型给出的预测；否则，决策权将返回给驾驶员或者系统采取其他更安全的策略。置信度校正已经在深度学习中引起了相当大的关注，许多研究表明现代神经网络模型对预测过于自信，即模型的预测精度低于其置信度。然而置信度校正的问题还没有在GNN中进行过研究，因此，这引发了一个基本问题：当前的GNN是否会与其他神经网络一样对预测过于自信？
[0004]作为本专利技术的第一个贡献，我们展示了图卷积网络(GCN)和图注意力网络(GAT)在节点分类任务中置信度与精度的关系。我们惊奇地发现现有的GNN远没有被很好的校正，更重要的是GNN往往对其预测缺乏信心，这与其他现有的经常过度自信的深度学习模型大不相同。GNN置信度不足意味着其许多预测分布在低置信度范围内，则可用于安全关键应用的预测将相对较少。因此，本专利技术将探索如何校正GNN对预测的置信度，以使它们更值得信赖。
[0005]另外，当前多数自训练方法存在在高标签率数据集中表现不佳的问题。考虑到GCN的低置信度的问题，我们认为现有自训练方法表现不佳的原因是大量高精度的预测分布在在低置信区间中，导致他们无法被加入到训练集中。因此，本专利技术将同时探索如何通过校正的置信度改善GNN中自训练的精度。

技术实现思路

[0006]本专利技术的目的是提供一种应用于GNN的拓扑感知的后处理置信度校正方法，该方法能对GNN对预测结果的置信度进行校正，使其可以代表真实的分类概率，从而可以用于许多安全相关的应用，提高预测结果的可信赖性。
[0007]为了实现上述目的，本专利技术提供如下技术方案：
[0008]本专利技术提供一种应用于GNN的拓扑感知的后处理置信度校正方法，包括以下步骤：
[0009]S1、给定随机变量A和X，对于一个l层的GCN，通过公式(2)得到在softmax层前的输出v
i
；
[0010]V＝Aσ(
…
Aσ(AXW
（1)
)W
(2)
…
)W
(l)
＝[v1，
…
，v
N
]ꢀꢀꢀ
(2)
[0011]其中，A∈R
n*N
是相邻矩阵，X＝[x1,...,x
N
]是节点特征矩阵，W
(l)
是GCN第l层的权重矩阵，σ(.)代表激活函数，V是节点集，N＝|V|是节点数；
[0012]S2、使用另一个l层GCN作为校正函数，从而沿着网络拓扑传播置信度，给定某个分类GCN的输出V，通过公式(3)得到节点校正后的输出v
′
i
和置信度
[0013][0014]其中是softmax算子；
[0015]S3、令是一个校正函数，是一个一维函数，v
i
＝(v
i,1
,...,v
i,K
)是节点i输出，当s是一个严格保序函数且h能够满足：
[0016][0017]时，h能够保持原始模型的分类精度。
[0018]进一步地，步骤S3中保持精度的校正方法采用TS方法或NLL法。
[0019]进一步地，TS方法具体为：使用一个温度标量t对所有类同时进行调整，给定节点i的输出v
i
，使用l层GCN为每个节点i学习一个唯一的温度参数t
i
，然后根据ti将原始的v
i
转换为一个校正后的输出v
’
i
，根据公式(5)最终得到校正后置信度
[0020][0021]其中，是一个大于零0的标量，σ
+
(x)＝log(1+exp(x)是一个softplus激活函数。
[0022]进一步地，NLL法具体为：将节点i的K类独热标签表示为y
i
＝(y
i,1
,...y
i,K
)，并假设训练集的大小为|D
train
|，根据公式(8)计算所有训练节点的NLL损失
[0023][0024]NLL损失正则化项如公式(9)所示：
[0025][0026]其中|cor|和|inc|分别是分类正确与错误的节点的数量，z
i,m
和z
i,s
分别是最大和次大的预测概率；
[0027]组合和根据公式(10)获得整体目标函数：
[0028][0029]其中，λ为控制着正则化项的权重。
[0030]与现有技术相比，本专利技术的有益效果为：
[0031]本专利技术提供的应用于GNN的拓扑感知的后处理置信度校正方法，提高了置信度，同时具有拓扑相关、非线性和保存精度。基于该方法的校正过后的GNN自训练方法，可以有效地利用高置信度的预测。此外，通过大量的实验证明了本专利技术提出的方法在校正和准确性方面的有效性。
附图说明
[0032]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术实施例提供的GCN和GAT没有校正前的置信度的分布直方图。
[0034]图2为本专利技术实施例提供的GCN和GAT的置信度分布。
[0035]图3为本专利技术实施例提供的置信度传播过程示意图。
[0036]图4为本专利技术实施例提供的CaGCN整体框图。
具体实施方式
[0037]在本专利技术中，我们专注于校正无向的属性图G＝(V,E)与相邻矩阵A∈R
N*N
和节点特征矩阵X＝[x1,...,x
N
]。V是节点集，E∈V*V是节点之间的边构成的边集，N＝|V|是节点数。我们给出GNN被完美校正的定义：
[0038]定义1：给定随机变量以及一个GNN模型f
θ
，其中θ是可学习参数，对于节点i，定义其标签是y
i
∈Y，GNN的输出是z...

【技术保护点】

【技术特征摘要】
1.一种应用于GNN的拓扑感知的后处理置信度校正方法，其特征在于，包括以下步骤：S1、给定随机变量A和X，对于一个1层的GCN，通过公式(2)得到在softmax层前的输出v
i
；v＝Aσ(
…
Aσ(AXW
(1)
)w
(2)
...)w
(l)
＝[v1，
…
，v
N
]
ꢀꢀ
(2)其中，A∈R
N*N
是相邻矩阵，X＝[x1，...，x
N
]是节点特征矩阵，W
(l)
是GCN第l层的权重矩阵，σ(.)代表激活函数，V是节点集，N＝|V|是节点数；S2、使用另一个l层GCN作为校正函数，从而沿着网络拓扑传播置信度，给定某个分类GCN的输出V，通过公式(3)得到节点校正后的输出v
′
i
和置信度和置信度其中是softmax算子；S3、令是一个校正函数，是一个一维函数，v
i
＝(v
i，1
，...，v
i，K
)是节点i输出，当s是一个严格保序函数且h能够满足：时，h能够保持原始模型的分类精度。2.根据权利要求1所述的应用于GNN的拓扑感知的后处理置信度校正方法，其特征在于，步骤S3中保持精度的校正方法采用TS方法或N...

【专利技术属性】
技术研发人员：王啸，石川，刘洪瑞，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：