一种基于意见演化的图嵌入方法及系统技术方案

本发明专利技术提供了一种基于意见演化的图嵌入方法及系统，所述方法包括：将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。本发明专利技术利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷。决了需要手动堆叠隐藏层的缺陷。决了需要手动堆叠隐藏层的缺陷。

【技术实现步骤摘要】
一种基于意见演化的图嵌入方法及系统


[0001]本专利技术涉及深度学习技术，网络表征领域，尤其涉及一种基于意见演化的图嵌入方法及装置。

技术介绍

[0002]图(又称网络)是一种重要的数据表示形式，广泛存在于现实场景中。有效的图分析可以帮助用户理解隐藏在数据背后的信息，有利于完成节点分类、链接预测等任务。图嵌入是解决图分析问题的一种非常有效的方法。它将图数据映射到低维空间中，最大限度地保留了图的结构和属性信息。图被广泛应用于现实世界的各种场景中，如社交网络、电信网络、生物网络、知识图等。它们存在于广泛的实际应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交际方式。因此，图一直是学术研究的焦点。图分析任务大致可以抽象为以下四类:(a)节点分类，(b)链路预测，(c)节点聚类，(d)可视化。其中，节点分类是根据其他被标记节点和网络拓扑来确定节点的标签。链接预测是指预测未来可能缺失或可能存在的链接的任务。节点聚类是用来找到相似节点的子集并将它们组合在一起。可视化有助于洞察网络结构。
[0003]在过去几年里，有许多很好的方法被提出来解决上述任务。我们的研究重点是节点分类的任务。对于基于节点分类任务的图嵌入方法，一般可以分为三类:基于因式分解的方法，基于随机游走的方法，基于深度学习的方法。
[0004]基于因式分解的方法将节点之间的连接表示为矩阵形式，然后对得到的矩阵进行因式分解得到节点嵌入。相关矩阵包括节点邻接矩阵、拉普拉斯矩阵、Katz相似度矩阵和节点转移概率矩阵等。基于因式分解的方法通过判断得到的矩阵的性质，利用相应的手段。如果得到的矩阵是半正定矩阵，如拉普拉斯矩阵，则可以通过特征值分解得到嵌入。如果得到的矩阵是非结构化的，可以用梯度下降法在线性时间内得到嵌入。虽然矩阵分解被证明是有效的，但现有的分解方法存在计算和存储成本高的问题。
[0005]基于随机游走的方法是采用适当的抽样方法来逼近图的许多性质，如节点之间的相似性[12]和节点的中心性。当图的信息太大，或者人们不能直接观察整个图的信息时，基于随机行走的方法可以显示出很大的优势，使用不同的邻居采样策略获得节点嵌入，典型的模型是Node2vec模型和Deepwalk模型。
[0006]深度学习模型的权重矩阵图上的所有节点映射到低维空间保持图像在低维空间信息,这种想法可以建模的非线性结构图表数据,通过图形信息表示为一个(或一群)低维向量。然后利用节点间正向传播和梯度下降算法对设计的目标函数进行优化，得到节点嵌入。然而，现存的深度学习方法，存在注意力计算的可解释不足，以及节点的感受野不足，需要手动堆叠的缺陷。

技术实现思路

[0007]本专利技术的目的是提出一种新的网络嵌入方法，来增强以往深度学习模型的可解释
性问题，以及增强模型节点的感受野，并设置规则，使信息聚合到收敛状态。
[0008]为实现上述目的，一方面，本专利技术提供了一种基于意见演化的图嵌入方法，所述方法包括：将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。欧式距离可以扩展成布雷格曼散度距离，并且利用拼接的方式加强模型的表达。利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷。
[0009]优选地，利用规则化权重矩阵初始化方法，让映射后的节点均匀分布在空间中，保证节点之间的距离在一定范围之内，以便于和后面设置的参数比较。
[0010]优选地，图上节点属性矩阵H，先计算HH
T
,在取HH
T
对角线形成行向量全全1行向量O，图上所有节点距离可由矩阵计算：再根据邻接矩阵A求得所有节点和邻居的距离。
[0011]优选地，我们设置超参数ρ和β,根据dist和βρ的大小，形成置信邻居的集合β＞0,ρ∈(0,1)，我们根据置信邻居的距离求得聚合权重：
[0012]优选地，我们设置独立的自注意力机制：规避了自身聚合权重过大的问题。
[0013]另一方面，本专利技术提供了一种基于意见演化的图嵌入系统，该系统包括：映射单元、求距离单元、设置置信邻居单元、求权重单元和判断单元；
[0014]所述映射单元，用于将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；
[0015]所述求距离单元，用于通过邻接矩阵计算图上所有节点和邻居的欧式距离；
[0016]所述置信邻居单元，用于设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；
[0017]所述求权重单元，用于设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；所述判断单元，用于通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。
[0018]本专利技术将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合
达到稳定状态。欧式距离可以扩展成布雷格曼散度距离，并且利用拼接的方式加强模型的表达。利用矩阵计算，让图上求距离的操作切实可行，通过欧氏距离为邻居分配权重，增加模型的可解释性，通过新的信息聚合规则以及置信邻居的设置，来确定图上节点的感受野，解决了需要手动堆叠隐藏层的缺陷，模型的收敛状态是可证明的，同时方法具有良好的可扩展性，更高效的处理复杂的网络。
附图说明：
[0019]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例。
[0020]图1为本专利技术实施例提供的一种基于意见演化的图嵌入方法流程图；
[0021]图2为随着聚合轮次的增加以及置信邻居的要求越来越高，节点置信邻居的变化；
[0022]图3为本专利技术实施例输入层，隐藏层，输出层示意图；
[0023]图4将欧式距离和余弦距离的注意力进行拼接示意图；
[0024]图5a为两个稀疏数据集；
[0025]图5b为两个密集数据集，节点分类精准度随聚合轮次变化，数据集分别在(Cora:8,Citeseer:4,amazon
‑
photo:6,amazon
‑
computer:5)达到最优效果，使用欧式距离，余弦距离拼接的方式可以使得，精准的得到提高；
[0026]图6展示了模型的结果与相应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于意见演化的图嵌入方法，其特征在于，包括以下步骤：将带有稀疏属性和标签的网络中的节点，通过全局共享的可训练权重矩阵映射到低维空间；通过邻接矩阵计算图上所有节点和邻居的欧式距离；设置超参数，根据超参数和欧氏距离的比较，让图上节点形成置信邻居的集合；设置新的节点信息聚合规则，邻居聚合权重由其欧式距离归一化所得；通过每一轮置信邻居更加严格的要求，让信息聚合达到稳定状态。2.根据权利要求1所述的方法，其特征在于，通过可训练权重矩阵，将带稀疏属性的图上节点映射到低维空间：其中是节点i的F维度稀疏属性向量，W
E
是大小为F'
×
F,有关于欧式距离的权重矩阵。3.根据权利要求1所述的方法，其特征在于，根据邻接矩阵和映射后的特征矩阵计算节点于邻居的欧氏距离：其中j为节点i的邻居节点。4.根据权利要求1所述的方法，其特征在于，根据可设置的超参数，给图上节点形成置信邻居的集合：β＞0,ρ∈(0,1)，ρ在欧式距离中设置为0.9来保证第一轮聚合所有邻居的信息，β设置为映射后的维度。5.根据权利要求1所述的方法，其特征在于，根据所得欧氏距离，进行softmax函数归一化分配聚合权重：保证所有邻居的总权重之和为1。6.根据权利要求1所述的方法，其特征在于，设置独立的自注意力机制来聚合邻居信息：其中t表示聚合轮次，7.根据权利要求4所述的方法，其特征在于...

【专利技术属性】
技术研发人员：卜湛，杜金伟，伊涛，孙宏亮，蒋玖川，曹杰，
申请(专利权)人：南京财经大学，
类型：发明
国别省市：