一种基于双层注意力机制的异质图分类方法技术

本发明专利技术公开了一种基于双层注意力机制的异质图分类方法，包括步骤：S11.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；S12.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；S13.根据得到的权重构建异质图，得到分类模型；S14.将测试数据输入至得到的分类模型中，输出最终分类结果。分类结果。分类结果。

【技术实现步骤摘要】
一种基于双层注意力机制的异质图分类方法


[0001]本专利技术涉及目标客户分类
，尤其涉及一种基于双层注意力机制的异质图分类方法。

技术介绍

[0002]在商业中，企业会采取一些营销手段来推广自己的产品，由于不同类型产品面向的客户不同，通常会针对不同类型产品的目标客户进行分类，根据客户所属类别制定相应的营销方案，有利于挖掘潜在的客户群，实现精准营销，提高收益。传统的方法中，要实现对目标客户的分类，需要耗费大量的时间和人力。随着互联网技术的不断发展，可以将深度学习技术应用到上述商业场景中，大大降低了成本。
[0003]现实世界的数据大多以图的形式存在，如社交网络、引文网络等，这些图网络中通常包含多种实体类型，这些实体通过不同的实体关系互相关联形成了错综复杂的异质信息网络，也叫异质图，可用于许多特征描述问题的建模和分析方法中。可以将上述商业场景建模为一个异质图，图中的节点有产品和客户，产品和产品之间的连接边表示产品属于同一类型，产品和客户之间的连接边表示产品面向的目标客户，通过异质图嵌入技术对该类异质图进行特征提取，可以实现对目标客户的分类。
[0004]异质图嵌入技术已经从不同角度进行了广泛的研究，并且大多数异质图嵌入技术通常依赖于元路径结构，通过元路径抽取出同质子图，再使用同质图的表示学习算法。元路径是连接两个对象复合关系的节点序列，是一种广泛使用的语义捕获的结构。流行的异质图嵌入方法有metapath2vec、HERec、HAN和HetSANN。metapath2vec基于元路径进行随机游走，通过skip-gram模型学习节点的潜在表示；受metapath2vec启发，HERec使用了一些对称的元路径，通过一种类型限制策略过滤节点序列来捕获异质图的语义信息；HAN将图神经网络应用于异质图中，利用语义级注意力和节点级注意力来同时学习元路径与节点邻居的重要性。上述这些框架仅适用于具有元路径的异质图，由于元路径需要人工制定，并且异质图中的语义信息很难通过多个元路径穷尽，在寻找目标节点的邻域节点时会忽略一些链接边类型或节点属性，不可避免地带来信息损失。因此如何在不损失异质信息的前提下对异质图进行表示学习具有一定的挑战性。HetSANN直接利用异质图的结构信息进行表示学习，抛弃了传统方法中的元路径，但它在邻域聚合过程中只考虑了不同节点影响力的差异性，未考虑节点的类型信息。
[0005]异质图中节点和连接的复杂性和异质性使得分类方法变得困难，无法直接使用同质图的分类方法查找图中的目标节点并进行分类，否则会造成图中一些信息的损失。并且传统方法中的元路径也不可避免的带来信息损失。注意力机制能够处理可变大小的数据，使模型更关注数据中重要的部分，并且已经在一些深度神经网络框架中证明了该机制的有效性。因此，不使用元路径，如何同时考虑和分析不同类型的节点和连接，利用注意力机制建立更准确的异质图是研究的难点。

技术实现思路

[0006]本专利技术的目的是针对现有技术的缺陷，提供了一种基于双层注意力机制的异质图分类方法。
[0007]为了实现以上目的，本专利技术采用以下技术方案：
[0008]一种基于双层注意力机制的异质图分类方法，包括步骤：
[0009]S1.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；
[0010]S2.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；
[0011]S3.根据得到的权重构建异质图，得到分类模型；
[0012]S4.将测试数据输入至得到的分类模型中，输出最终分类结果。
[0013]进一步的，所述步骤S1中对不同类型节点的特征向量进行映射操作，表示为：
[0014]h
′
i
＝M
φ(i)
h
i
[0015]其中h
i
∈R
F
和h
′
i
∈R
F
′
分别表示节点i的原始特征向量和映射后的特征向量；M
φ(i)
∈R
F
′×
F
表示类型转换矩阵；F表示原始节点的特征维数；F
′
表示映射后节点特征的维数。
[0016]进一步的，所述步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括类型级注意力学习不同类型邻居的权重，表示为：
[0017]a
τ
＝σ(v
τT
[h
′
i
||h
′
τ
])
[0018]其中，h
′
τ
∈R
F
′
表示邻域节点特征向量h
′
j
∈R
F
′
的和，j∈N
iτ
表示类型为τ的邻域节点；且是的子矩阵；表示归一化后的邻接矩阵，A
′
＝A+I表示在邻接矩阵A上添加了自连接；σ表示激活函数；||表示级联操作；v
τ
∈R
2F
′
表示针对关系类型为τ的注意力向量。
[0019]进一步的，所述类型级注意力学习不同类型邻居的权重中还包括采用softmax函数对a
τ
进行归一化处理，得到最终的类型级注意力权重a
τ
，表示为：
[0020][0021]其中，T表示所有节点类型的集合；a
τ
′
表示类型为τ
′
的节点的类型级注意力权重；τ
′
表示某种节点类型。
[0022]进一步的，所述步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括节点级注意力用来学习不同相邻节点间的权重，表示为：
[0023]b
ij
＝σ(μ
T
·
α
τ
[h
′
i
||h
′
j
])
[0024]其中，h
′
τ
∈R
F
′
表示节点i的特征向量h
′
i
∈R
F
′
和邻域节点j的特征向量h
′
j
∈R
F
′
；α
τ
表示类型级注意力权重；b
ij
表示邻居节点j对节点i的重要性；μ∈R
2F
′
表示相同节点类型τ共享的节点级注意力向量。
[0025]进一步的，所述节点级注意力用来学习不同相邻节点间的权重中还包括通过softmax函数对b
ij
进行归本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双层注意力机制的异质图分类方法，其特征在于，包括步骤：S1.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；S2.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；S3.根据得到的权重构建异质图，得到分类模型；S4.将测试数据输入至得到的分类模型中，输出最终分类结果。2.根据权利要求1所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述步骤S1中对不同类型节点的特征向量进行映射操作，表示为：h
′
i
＝M
φ(i)
h
i
其中h
i
∈R
F
和h
′
i
∈R
F
′
分别表示节点i的原始特征向量和映射后的特征向量；M
φ(i)
∈R
F
′×
F
表示类型转换矩阵；F表示原始节点的特征维数；F
′
表示映射后节点特征的维数。3.根据权利要求2所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括类型级注意力学习不同类型邻居的权重，表示为：a
τ
＝σ(v
τT
[h
′
i
||h
′
τ
])其中，h
′
τ
∈R
F
′
表示邻域节点特征向量h
′
j
∈R
F
′
的和，j∈N
iτ
表示类型为τ的邻域节点；且是的子矩阵；表示归一化后的邻接矩阵，A
′
＝A+I表示在邻接矩阵A上添加了自连接；σ表示激活函数；||表示级联操作；v
τ
∈R
2F
′
表示针对关系类型为τ的注意力向量。4.根据权利要求3所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述类型级注意力学习不同类型邻居的权重中还包括采用softmax函数对a
τ
进行归一化处理，得到最终的类型级注意力权重a
τ
，表示为：其中，T表示所有节点类型的集合；a
τ
′
表示类型为τ
′
的节点的类型级注意力权重；τ
′
表示某种节点类型。5.根据权利要求4所...

【专利技术属性】
技术研发人员：王静，郭春生，应娜，陈华华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：