【技术实现步骤摘要】
本专利技术涉及一种基于拓扑结构扰动的深度图神经网络训练方法，属于数据科学与人工智能。
技术介绍
1、随着大数据时代的到来，机器学习和图神经网络(graph neural networks,gnns)在复杂数据处理与分析领域展现出了前所未有的潜力。图数据，作为一种广泛存在于现实世界中的数据结构，其特性在于节点间的复杂连接关系，为揭示隐藏于数据背后的深层次信息提供了可能。然而，尽管图神经网络在处理图结构数据方面取得了显著进展，其在深度堆叠过程中遇到的过平滑现象以及聚合邻域信息的局限性，已成为制约其性能进一步提升的关键因素。
2、过平滑现象是指，在图神经网络的多层迭代过程中，随着节点不断聚合其邻居的信息，尤其是当采用简单的加权求和方式进行聚合时，节点间的差异性逐渐减小，最终趋向于相似的表征，导致模型难以区分不同节点，进而影响到分类、预测等下游任务的准确性。这一挑战严重限制了图神经网络在处理深层图结构数据时的有效性和泛化能力。
3、为了应对这一挑战，国内外学者展开了广泛而深入的研究，探索多种策略以缓解过平滑问题。其中，随机丢弃方法作为一类有效的技术手段，通过随机性地减少模型训练过程中使用的信息量，达到了类似数据增强的效果，从而在一定程度上缓解了过平滑现象。这类方法包括但不限于dropout、dropnode、dropedge以及dropmessage等，它们各自从不同角度对图神经网络进行了扰动，以提升模型的鲁棒性和泛化性能。
4、然而，现有随机丢弃方法虽各有千秋，但也存在局限性。例如，dropout和
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于拓扑结构扰动的深度图神经网络训练方法，能有效解决图神经网络(gnn)中的过平滑问题，即随着网络层数的增加，节点特征差异逐渐减小，导致模型性能下降的问题，在捕获拓扑图结构时，利用拓扑扰动思想对图中的节点和边进行随机扰动，生成不同的局部拓扑图结构，从而学习到不同深度的图结构信息，扩大节点之间的特征差异。
2、本专利技术的技术方案如下：
3、一种基于拓扑结构扰动的深度图神经网络训练方法，步骤如下：
4、(1)聚合多阶邻居：扩展每个节点的感受域，包括一阶、二阶以及更高阶的邻居节点；
5、(2)实施节点级别扰动：遍历拓扑结构中的所有节点，并以概率p决定是否对每个节点进行扰动，从而在节点集合中引入随机性；
6、(3)实施边级别扰动：在节点的k跳拓扑结构的邻接矩阵中随机剔除一定比率的边；
7、(4)多次运行和结果合并：多次运行模型，运行中实施拓扑扰动，产生多样拓扑结构，然后，将这些不同运行的结果进行合并，增强泛化能力，获得最终的模型输出。
8、优选的，步骤(1)中，聚合多阶邻居的实施方式为：
9、令g＝(v,e)表示图，其中v表示节点的集合，e是节点间边的集合，通过不同跳数k进行信息聚合时所形成的关系被定义为该节点的节点拓扑结构，用tvk表示，该拓扑结构归属于图g；
10、
11、上式中，表示节点v在第l层的隐藏表示，表示节点v在第l-1层的隐藏表示，表示节点u在第l-1层的隐藏表示；是节点v附近k跳拓扑结构的集合；γ(x)是可微函数；λ()表示聚合函数；
12、为了使得聚合的拓扑结构信息更多更完整，对于每个节点v，确定其包括一阶至k阶的所有邻居，构建出每个节点的拓扑结构nd(v)和ns(v)，其中ns(v)表示节点v的最近邻居，通过ns(v)，可以在gnn中反映浅层拓扑信息，nd(v)表示v的高阶邻居节点，将v的最近邻居节点称为v的一阶邻居节点，与v的距离大于1的节点称为高阶邻居节点；
13、以距离为2的节点和距离为3的节点分别称为节点v的二阶邻居节点和三阶邻居节点，属于ns(v)和nd(v)两个集合的节点以及它们之间连接的边构成当前节点v的局部拓扑图，通过定义一个聚合函数λ来合并节点及其邻居的特征，并在每一层对节点及其多阶邻居的特征进行整合，最终在引入深层拓扑结构后，本步骤的gnn节点更新的表达式表示为：
14、
15、其中，ψ和λ分别表示组合函数和聚合函数，表示节点v在第l层的隐藏表示，表示节点u在第l-1层的隐藏表示。
16、优选的，步骤(2)中，节点级别扰动的实施方式为：
17、根据节点v的k跳拓扑结构进行分析，通过在该区域的节点级别上添加一定的拓扑扰动，影响节点的聚合效果，从而缓解过平滑，具体而言，该方法通过设定一个扰动概率p，在每个节点的k跳拓扑结构内随机选择节点进行扰动：
18、
19、其中，如果节点v在第l层发生扰动(根据概率p)，其特征表示可能被设置为零或其它扰动操作。
20、优选的，步骤(3)中，边级别扰动的实施方式为：
21、在节点v周围选择一个最长路径到k的at表示为的邻接矩阵，对于at，随机剔除该拓扑结构中一定比率的边，本质上是随机强制邻接矩阵at中的一些非零元素为零，在验证和测试时，不使用此扰动。
22、优选的，步骤(4)中，假设每个节点被扰动的概率为p，令τ＝|γ|，τ表示为k阶邻域内的节点个数(除了节点v)，选取γ中任意一个节点u进行扰动的概率容易表示为p·(1-p)τ，容易知道如果那么节点u被扰动的概率将取到最大值，这也就意味着如果运行次数大于等于e·(τ+1)，则可以实现在这些运行次数中，节点u被扰动的次数至少为1，通过扰动中的节点，可以形成多个不同的节点拓扑结构，在执行步骤(1)中的聚合多阶邻居操作时，通过聚合不同的结构信息缓解过平滑，增大节点之间的差异性。
23、本专利技术基于对图拓扑结构的深入分析和理解，解决了图神经网络在处理复杂图结构时遇到的过平滑问题，通过引入拓扑扰动的概念，增强了模型对图结构变化的敏感性，提升了其在多种图分析任务中的性能和泛化能力。
24、本专利技术的有益效果在于：
25、传统的图神经网络，在不同的图场景下依旧存在过平滑问题，出现在图神经网络经过多次迭代后将不同类型的节点识别为同一类型节点的情况。针对图神经网络中的过平滑问题以及拓扑扰动思想的启发，本专利技术提出了一种基于拓扑结构扰动的深度图神经网络训练方法，该方法利用了深层拓扑结构信息和应用拓扑扰动的思想，通过对节点的局部领域进行扩大，感受多跳邻域内的局部拓扑结构，并对其进行拓扑扰动，该扰动包括对该区域内的节点和边进行随机扰动。
26、在传统图神经网络中，尽管已广泛应用于多样化的图结构场景，但它们仍然面临着一个显著的挑战：过平滑问题。这个问题本文档来自技高网...
【技术保护点】
1.一种基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤如下：
2.如权利要求1所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(1)中，聚合多阶邻居的实施方式为：
3.如权利要求2所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(2)中，节点级别扰动的实施方式为：
4.如权利要求3所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(3)中，边级别扰动的实施方式为：
5.如权利要求4所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(4)中，假设每个节点被扰动的概率为p，令τ＝|Γ|，τ表示为k阶邻域内的节点个数，选取Γ中任意一个节点u进行扰动的概率表示为p·(1-p)τ，如果那么节点u被扰动的概率将取到最大值，意味着如果运行次数大于等于e·(τ+1)，则可以实现在这些运行次数中，节点u被扰动的次数至少为1，通过扰动中的节点，形成多个不同的节点拓扑结构，在执行步骤(1)中的聚合多阶邻居操作时，通过聚合不同的结构信息缓解过平滑，增大节点之间的差异性。
【技术特征摘要】
1.一种基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤如下：
2.如权利要求1所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(1)中，聚合多阶邻居的实施方式为：
3.如权利要求2所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(2)中，节点级别扰动的实施方式为：
4.如权利要求3所述的基于拓扑结构扰动的深度图神经网络训练方法，其特征在于，步骤(3)中，边级别扰动的实施方式为：
5.如权利要求4...
【专利技术属性】
技术研发人员：徐庸辉，章旭，韩晓宇，谭纪长，崔立真，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。