一种融合多通道注意力机制的图卷积神经网络社交推荐方法及系统技术方案

本发明专利技术提出一种融合多通道注意力机制的图卷积神经网络社交推荐方法及系统，通过以下工作，提升社交推荐的效果：一、学习节点特征和拓扑结构节点嵌入的同时，学习两者组合的节点嵌入，得到了它们的共同特性，缓解了对单一特征的过分依赖的问题。二、通过学习拓扑结构的散射嵌入，实现了不同信号的带通过滤，减轻了过平滑现象。三、结合注意力机制，对相关信息进行融合。实验结果表明，与其他算法相比，本发明专利技术提出的方法及系统在多个社交网络数据集上性能得以提升，本发明专利技术也为后续的研究提供了新的思路。思路。思路。

【技术实现步骤摘要】
一种融合多通道注意力机制的图卷积神经网络社交推荐方法及系统


[0001]本专利技术涉及社交推荐
，尤其涉及一种融合多通道注意力机制的图卷积神经网络社交推荐方法及系统。

技术介绍

[0002]随着网络的发展，人们的社交方式呈现了多元化，从之前的电话短信到现在的网上社交，社交变得越来越便利。图(Graph)结构灵活且具有强大的表示能力，故而越来越多的数据使用图进行表示。在社交推荐中，每个节点都可看作是一个用户，若两个节点之间有边相连，说明它们之间存在相似的信息。但是图数据的处理和挖掘一直是挑战。随着数据规模的增长，图数据变得更加复杂，相对于图像、语言等信号数据，处理起来相对麻烦，因此，怎样高效准确的学习图数据的表示成为了一个非常重要的问题。社交推荐任务作为图上最广泛的任务之一，一直是研究人员研究的重点。
[0003]图神经网络(Graph Neural Network，GNN)是由卷积神经、循环神经网络和深度自动编码器的思想而发，定义和设计了用于处理图数据的神经网络结构。之后，随着研究的深入，GNN的成员变得越来越多，针对不同的任务需求，图卷积网络(Graph Convolution Networks，GCNs)、图注意力网络(Graph Attention Networks)、图自编码器(Graph Auto encoders)、图生成网络(Graph Generative Networks)等应运而生。特别是卷积神经网络的出现，给图数据的分析提供了一些新的思路。GCNs是目前广泛运用的用于学习图数据的神经网络架构，其基本思想是在GNN中结合了CNN的思想。GCNs是一种端到端的学习框架，节点经过每一层卷积都会聚合自身及其邻居的信息，以此来不断更新所获得的节点信息，从而得到最佳的节点信息，以此来给社交用户推荐相似的用户。
[0004]最近的研究表明，单一的图结构或节点特征的学习在节点分类任务中表现不佳。基本的GCNs的框架没有很好的考虑图结构和节点特征相关性因素。针对该问题，Wang等人[Wang X,Zhu M,Bo D,et al.AM
‑
GCN:Adaptive Multi
‑
channel Graph Convolutional Networks[C]//KDD'20:The 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.ACM,2020.]利用构造K阶邻接图挖掘图结构和节点特征之间的相关性，学习节点的不同表示，同时引入注意力机制提升分类效果。Jin等人[Jin W,Derr T,Wang Y,et al.Node Similarity Preserving Graph Convolutional Networks[C]//WSDM'21:The Fourteenth ACM International Conference on Web Search and Data Mining.ACM,2021.]提出了一种半监督的方法，根据图结构和节点特征信息，进行自适应融合，并根据两者融合后的信息进行学习。但是这些方法对图结构和节点特征的学习并没有达到最佳效果。
[0005]另外一方面，GCNs随着深度的加深，节点变得越来越相似，导致每个节点的个性化特征无法充分体现。使得节点分类的难度大大增加，导致用户推荐的效果不佳。针对该问题，部分学者提出，利用几何散射信息来缓解过平滑的出现，几何散射网络能够捕获到图上
的高阶正则，充分学习不同频率的信号信息。Zou等人[Dongmian Zou and Gilad Lerman,“Graph convolutional neural networks via scattering,”Applied and Computational Harmonic Analysis,vol.49,no.3,pp.1046
–
1074,2020.]证明了散射网络可以使生成的任何特征对排列近似不变，能够稳定的进行图操作。Fernando Gama等人[Fernando Gama,Alejandro Ribeiro,and Joan Bruna,“Diffusion scattering transforms on graphs,”in International Conference on Learning Representations,2019.]证明了利用扩散小波可以将散射变换推广到非欧几里得域，同时能够捕获高频信号。zhu等人[Zhu H,Koniusz P.Simple Spectral Graph Convolution[C]//International Conference on Learning Representation 2021.2021.]使用简单频谱图卷积对捕获到的每个节点的全局和局部上下文的低通和高通滤波器频带进行权衡，从而缓解过平滑的出现。

技术实现思路

[0006]本专利技术针对目前的GCNs框架在处理复杂关系图的任务：如社交推荐，由于过于依赖节点特征，节点聚合过程中极易出现过平滑现象，导致节点表示难以区分，严重影响社交推荐的效果的问题，提出了一种融合多通道注意力机制的图卷积神经网络社交推荐方法及系统，在分别学习原始社交网络图和特征图的节点信息的同时，还学习了它们的共同节点信息，并引入几何散射，缓解了过平滑问题。为了自适应分配权重，还添加了注意力机制，使节点分类任务效果有了显著的提升，社交推荐更加准确。
[0007]为了实现上述目的，本专利技术采用以下技术方案：
[0008]本专利技术一方面提出一种融合多通道注意力机制的图卷积神经网络社交推荐方法，包括：
[0009]步骤1：利用余弦相似度计算出社交网络图G
t
＝(A
t
，X)的特征矩阵X，然后基于该特征构造出G
t
的k
‑
最邻近图、即社交网络特征图G
f
＝(A
f
，X)；其中，A
t
表示G
t
的对称邻接矩阵，A
f
表示G
f
的对称邻接矩阵；
[0010]步骤2：基于图卷积神经网络学习社交网络数据图G
t
多重信号的嵌入Z
S
；
[0011]步骤3：将G
t
节点的特征在拓扑空间上传播，进行卷积操作，学习G
t
的节点嵌入Z
t
；
[0012]步骤4：将G
f
节点的特征在特征空间上传播，进行卷积操作，学习G
f
的节点嵌入Z
f
；
[0013]步骤5：基于图卷积神经网络学习G
t
和G
f
的组合嵌入Z
c
；
[0014]步骤6：引入注意力机制动态调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，包括：步骤1：利用余弦相似度计算出社交网络图G
t
＝(A
t
,X)的特征矩阵X，然后基于该特征构造出G
t
的k
‑
最邻近图、即社交网络特征图G
f
＝(A
f
,X)；其中，A
t
表示G
t
的对称邻接矩阵，A
f
表示G
f
的对称邻接矩阵；步骤2：基于图卷积神经网络学习社交网络数据图G
t
多重信号的嵌入Z
S
；步骤3：将G
t
节点的特征在拓扑空间上传播，进行卷积操作，学习G
t
的节点嵌入Z
t
；步骤4：将G
f
节点的特征在特征空间上传播，进行卷积操作，学习G
f
的节点嵌入Z
f
；步骤5：基于图卷积神经网络学习G
t
和G
f
的组合嵌入Z
c
；步骤6：引入注意力机制动态调整Z
S
、Z
t
、Z
f
、Z
c
的权重，基于调整后的Z
S
、Z
t
、Z
f
、Z
c
计算得到每个社交网络节点的最终嵌入Z；步骤7：基于最终嵌入Z计算出该社交网络节点的类别Y，从而进行社交推荐。2.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，所述步骤1包括：首先使用采用余弦相似度方法计算社交网络数据集的相似矩阵然后选取社交网络中每个节点的前k个相似节点对设置边，构造出原始图的k
‑
最邻近图、即社交网络特征图，表示为G
f
＝(A
f
,X)，相似矩阵S的计算方法如下所示：其中X
i
和X
j
分别为社交网络节点i和j的特征向量。3.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，所述步骤2包括：基于惰性随机游走矩阵构造G
t
上几何散射：其中I
n
是单位矩阵，为原始社交网络图G
t
添加自环的邻接矩阵，D为的对角矩阵；在几何散射中，引入2
k
尺度的小波变换尺度的小波变换其中U0表示节点自身的高频信号；运用一阶和二阶的高频信号，即：根据图卷积神经网络的传播规则，定义如下散射传播规则：其中是G
t
第l层的权重矩阵，σ为激活函数。4.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方
法，其特征在于，所述步骤3包括：原始社交网络图G
t
＝(A
t
,X)在拓扑空间中第l层的卷积输出的计算方法如公式(6)所示：其中，W
t(l)
表示G
t
第l层的权重矩阵，σ为激活函数，为G
t
添加自环的邻接矩阵，添加自环的邻接矩阵，为的对角矩阵，并且5.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，所述步骤4包括：社交网络特征图G
f
＝(A
f
,X)在特征空间中第l层的卷积输出如公式(7)所示：其中表示G
f
第l层的权重矩阵，σ为激活函数，为G
f
添加自环的邻接矩阵，其中添加自环的邻接矩阵，其中为的对角矩阵，并且6.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，所述步骤5包括：将原始社交网络图G
t
和社交网络特征图G
f
分别进行一次卷积操作，得到两个卷积输出表示，然后把二者相加作为两个图下一次卷积的卷积输入，以此循环往复，直至所有卷积操作结束，得到最终的卷积输出作为组合嵌入Z
c
。7.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐方法，其特征在于，所述步骤6包括：对于任意社交网络节点k，在Z
s
中的嵌入表示为使用权重向量计算该节点的注意力值如公式(12)所示：其中为社交网络权重矩阵；同理得到社交网络节点k在Z
t
,Z
c
和Z
f
的注意力值和然后，使用Softmax函数得到社交网络节点k的注意力值，如公式(13)所示：同理计算得到对图中所有的社交网络节点n，和μ
s
,μ
t
,μ
c
,μ
f
分别表示Z
s
,Z
t
,Z
c
,Z
f
的注意力值；根据社交网络各节点的注意力值，计算得到每个社交网络节点的最终嵌入Z：Z＝μ
s
·
Z
s
+μ
t
·
Z
t
+μ
c
·
Z
c
+μ
f
·
Z
f
#(14)。
8.根据权利要求1所述的一种融合多通道注意力机制的图卷积神经网络社交推荐...

【专利技术属性】
技术研发人员：翟锐，张莉博，李绍华，于俊洋，宋亚林，王瑛琦，白晨希，
申请(专利权)人：河南大学，
类型：发明
国别省市：