一种基于分布重塑的图卷积神经网络正则化方法及系统技术方案

本发明专利技术公开了一种基于分布重塑的图卷积神经网络正则化方法及系统，方法包括对一个多层图卷积神经网络中每个卷积层的输出结点表征进行ResNorm正则化处理，ResNorm正则化处理方法考虑了图结点度数的分布问题，即绝大多数的结点都只拥有少量的邻接结点，而少数结点拥有大量的邻接结点，ResNorm正则化处理方法将方差的分布重塑为类似正态分布，有效的提高了低度数结点的分类准确率。低度数结点的分类准确率。低度数结点的分类准确率。

【技术实现步骤摘要】
一种基于分布重塑的图卷积神经网络正则化方法及系统


[0001]本申请涉及机器学习
，尤其涉及一种基于分布重塑的图卷积神经网络正则化方法及系统。

技术介绍

[0002]正则化方法(Normalization)是常用的加速神经网络训练的方法，BatchNorm是第一个被提出的正则化方法，它被广泛用于计算机视觉领域，LayerNorm则被用于自然语言处理。对于图卷积神经网络领域，GraphNorm增加了一个可学习的参数来保留一部分的均值，因为均值被认为是含有结构信息。NodeNorm缩小了结点方差，以处理方差爆炸的问题。
[0003]BatchNorm和LayerNorm简单地减去了结点表征的均值，然而这被认为是不适合图表征学习(Graph Representation Learning)的，因为均值包含了拓扑结构的信息。GraphNorm和NodeNorm解决了这个问题。然而它们都没有考虑图结点度数的分布问题，即绝大多数的结点都只拥有少量的邻接结点，而少数结点拥有大量的邻接结点。

技术实现思路

[0004]本专利技术针对上述问题，提供了一种基于分布重塑的图卷积神经网络正则化方法及系统、存储介质。
[0005]本专利技术的第一方面，提供了一种基于分布重塑的图卷积神经网络正则化方法，包括：对一个多层图卷积神经网络中每个卷积层的输出结点表征x
i
进行ResNorm正则化处理，所述ResNorm正则化处理的具体表达式为：
[0006][0007]其中，x
i
表示第i个卷积层的输出结点表征，为一个d维特征向量，μ
i
表示x
i
的均值，σ
i
表示x
i
的方差，a、e分别为可学习到的参数和预先设定的参数，并且可介于0到1之间。
[0008]本专利技术进一步的技术方案是：所述ResNorm正则化处理可进一步优化为：
[0009][0010]其中σ
max
表示所有输出结点中方差σ
i
最大的值，表示所有结点的方差开r次方后的均值，λ表示大于1的超参数。
[0011]本专利技术进一步的技术方案是：经ResNorm正则化处理后的图卷积神经网络中每一层表征矩阵为:
[0012]H
(l+1)
＝ResNorm(GCNLayer(H
(l+1)
))
[0013]其中GCNLayer表示图卷积层，GCNLayer(H
(l+1)
)＝PH
(l)
W，P是传播矩阵，W是可学习的参数矩阵，H
(l)
是第l层结点的表征矩阵。
[0014]本专利技术的第二方面，一种基于分布重塑的图卷积神经网络正则化系统，所述系统
用于对一个多层图卷积神经网络中每个卷积层的输出结点表征x
i
进行ResNorm正则化处理，所述ResNorm正则化处理的具体表达式为：
[0015][0016]其中，x
i
表示第i个卷积层的输出结点表征，为一个d维特征向量，μ
i
表示x
i
的均值，σ
i
表示x
i
的方差，a为学习参数，e为超参数。
[0017]本专利技术进一步的技术方案是：所述ResNorm正则化处理可进一步优化为：
[0018][0019]其中σ
max
表示所有输出结点中方差σ
i
最大的值，表示所有结点的方差开r次方后的均值，λ表示一个大于1的超参数。
[0020]本专利技术进一步的技术方案是：经所述系统处理后的图卷积神经网络中每一层表征矩阵为:
[0021]H
(l+1)
＝ResNorm(GCNLayer(H
(l+1)
))
[0022]其中GCNLayer表示图卷积层，GCNLayer(H
(l+1)
)＝PH
(l)
W，P是传播矩阵，W是可学习的参数矩阵，H
(l)
是第l层结点的表征矩阵。
[0023]本专利技术的第三方面，提供了一种基于分布重塑的图卷积神经网络正则化系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述基于分布重塑的图卷积神经网络正则化方法。
[0024]本专利技术的第四方面，一种存储介质，其上存储有程序，所述程序在被处理器执行时，使得所述处理器执行上述基于分布重塑的图卷积神经网络正则化。
[0025]本专利技术提供的一种基于分布重塑的图卷积神经网络正则化方法及系统、存储介质，方法包括对一个多层图卷积神经网络中每个卷积层的输出结点表征进行ResNorm正则化处理，ResNorm正则化处理方法考虑了图结点度数的分布问题，即绝大多数的结点都只拥有少量的邻接结点，而少数结点拥有大量的邻接结点，ResNorm正则化处理方法将卷积层输出结点表征的方差分布重塑为类似正态分布，有效的提高了低度数结点的分类准确率。
附图说明
[0026]图1是本专利技术实施例中的计算机设备的架构图；
[0027]图2a是本专利技术实施例中ResNorm正则化处理前卷积层输出结点表征的方差分布示意图；
[0028]图2b是本专利技术实施例中ResNorm正则化处理后卷积层输出结点表征的方差分布示意图。
具体实施方式
[0029]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，在本发
明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0030]本专利技术实施例针对基于分布重塑的图卷积神经网络正则化方法及系统、存储介质，提供了如下实施例：
[0031]基于本专利技术的实施例一
[0032]本实施例用于说明基于分布重塑的图卷积神经网络正则化方法，该方法包括：对一个多层图卷积神经网络中每个卷积层的输出结点表征x
i
进行ResNorm正则化处理，ResNorm正则化处理的具体表达式为：
[0033][0034]其中，x
i
表示第i个卷积层的输出结点表征，为一个d维特征向量，μ
i
表示x
i
的均值，σ
i
表示x
i
的方差，其中a为学习参数，e为超参数，即a、e分别为可学习到的参数和预先设定的参数，优选实施例中a、e均介于0到1的开区间。
[0035]进一步地，ResNorm正则化处理可优化为：
[0036][0037]其中σ
max
表示所有输出结点中方差σ
i
最大的值，表示所有结点的方差开r次方后的均值，λ表示一个大于1的超参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布重塑的图卷积神经网络正则化方法，其特征在于，包括：对一个多层图卷积神经网络中每个卷积层的输出结点表征x
i
进行ResNorm正则化处理，所述ResNorm正则化处理的具体表达式为：其中，x
i
表示第i个卷积层的输出结点表征，为一个d维特征向量，μ
i
表示x
i
的均值，σ
i
表示x
i
的方差，a为学习参数，e为超参数。2.根据权利要求1所述的基于分布重塑的图卷积神经网络正则化方法，其特征在于，所述ResNorm正则化处理可进一步为：其中σ
max
表示所有输出结点中方差σ
i
最大的值，表示所有结点的方差开r次方后的均值，λ表示大于1的超参数。3.根据权利要求1所述的基于分布重塑的图卷积神经网络正则化方法，其特征在于，经ResNorm正则化处理后的图卷积神经网络中每一层表征矩阵为:H
(l+1)
＝ResNorm(GCNLayer(H
(l+1)
))其中GCNLayer表示图卷积层，GCNLayer(H
(l+1)
)＝PH
(l)
W，P是传播矩阵，W是可学习的参数矩阵，H
(l)
是第l层结点的表征矩阵。4.一种基于分布重塑的图卷积神经网络正则化系统，其特征在于，所述系统用于对一个多层图卷积神经网络中每个卷积层的输出结点表征x
i
进行ResNorm正则化处理，所述ResNorm正则化处理的具体表达式为：其...

【专利技术属性】
技术研发人员：徐增林，梁朗章，张民，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：