一种基于深度传递注意力机制的高性能聚类检测方法技术

本发明专利技术公开一种基于深度传递注意力机制的高性能聚类检测方法，使用深度传递注意力机制进行特征提取，获得真实网络强大的非线性特征，使社区检测算法在实践中具有良好的性能。通过最小化嵌入式实例的KL散度，进一步将无监督迁移学习引入到新框架中，以表达强大的低维表示。最后，提出了一种新的算法训练策略和优化方法。大量的实验结果表明，新框架可以确保在真实世界网络和人工合成网络上的良好性能，优于社交网络中大多数先进的社区检测方法。优于社交网络中大多数先进的社区检测方法。优于社交网络中大多数先进的社区检测方法。

【技术实现步骤摘要】
一种基于深度传递注意力机制的高性能聚类检测方法


[0001]本专利技术涉及复杂网络领域，尤其涉及一种基于深度传递注意力机制的高性能聚类检测方法。

技术介绍

[0002]社区结构是复杂网络领域的一个重要研究对象。社区结构决定了具体网络的重要功能。近年来，对复杂网络中的社区结构进行探索已成为研究的热点。然而，随着网络规模的不断增长，网络结构更加复杂，社区检测在实际应用中变得更加困难。尤其是，当将经典的聚类方法应用于高维数据矩阵时，检测结果通常不够准确。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度传递注意力机制的高性能聚类检测方法。
[0004]本专利技术采用的技术方案是：
[0005]一种基于深度传递注意力机制的高性能聚类检测方法，其包括以下步骤；
[0006]步骤1，基于复杂网络构建无向无权图G＝{V,E},其中，V表示N个顶点的集合，V＝{v1,v2,
…
,v
N
}；E表示边的集合，E＝{e
ij
}；同时获取表征复杂网络顶点之间的连接关系的邻接矩阵A；
[0007]进一步的，步骤1中使用邻接矩阵A＝[a
ij
]∈R
N
×
N
作为邻接矩阵来表征顶点之间的连接关系,R为实数域，N表示网络G中节点总数，邻接矩阵A的每个元素为0或1；当顶点i和j之间有一条边，则a
ij
＝1；否则a
ij
＝0；同时对于所有1≤i≤N的a
ij
＝0。
[0008]步骤2，基于邻接矩阵A通过矩阵变换构成能够同时表征无直接连接顶点间关系的初始相似矩阵M0；具体步骤如下：
[0009]步骤2
‑
1，利用变换公式对邻接矩阵A变换得到构造矩阵A1和A2，对应的表达式如下
[0010]A1＝D1AD1[0011]A2＝A1‑
diag(diag(A1))
[0012]其中，D1为变换公式，diag(
·
)函数表示用参数构造对角矩阵，d1是一个向量，d1中的元素是A矩阵的每行元素之和，即网络顶点的度；求幂是按元素顺序进行的归一处理；
[0013]步骤2
‑
2，计算U1，即对A2矩阵进行特征分解eig操作获得所有特征值和特征向量，选出2C个最大特征值所对应的特征向量即为U1,表达式如下
[0014]U1＝eig(A2,2C)
ꢀꢀꢀ
(3)
[0015]其中，C表示网络社区的大小，是聚类工作中要聚类的类别数目；
[0016]步骤2
‑
3，得到了变换后的初始相似度矩阵M0，表达式如下
[0017][0018]其中，T表示矩阵的转置操作；d2是一个向量，d2的元素是矩阵U1的每行元素之和
(对元素进行指数运算)，求幂(
‑
1/2)是按元素顺序进行。初始相似度矩阵M0可以更有效地保存结构信息。
[0019]步骤3，构建图神经网络结构，采用获取图注意力层结构的分层传播机制如下：
[0020][0021]其中，H
(l)
表示图的第l层注意力层，是一个特征表示矩阵，H
(l)
＝[h1,h2,
…
,h
N
],h
i
∈R
d
′
，d
′
是一个潜在的特征候选集合；l表示当前图注意力层的层数，l∈{1,2,
…
,L},L是图神经网络总层数。(这是整个图神经网络的机制：由当前层计算后将信息传递给下一层。)
[0022]步骤4，基于初始相似度矩阵M0利用图神经网络得到重构邻接矩阵具体获取步骤如下：
[0023]步骤4
‑
1，计算权重矩阵W
0(0)
∈R
N
×
d
’
，W
0(0)
为本神经网络结构的随机值初始层，一般称之为字嵌入层；并对分层传播矩阵进行线性转换得到高层次特征矩阵。
[0024]H
(l)
＝ReLU(XW
0(0)
)
ꢀꢀꢀ
(6)
[0025]其中，X＝[x1,x2,
…
,x
N
]∈R
N
×
d
’
是网络G中N个节点的特征向量矩阵；d
’
是提取后每个节点的特征数量；ReLU是一个激活函数；
[0026]进一步的，激活函数采用ReLU(
·
)＝max(0,
·
)，表示取0和参数中的最大的值返回。
[0027]步骤4
‑
2，字嵌入层接着跟随为了在多层神经网络中获得更强的表达能力，对第l层采用传递机制传递表达信息：
[0028][0029]步骤4
‑
3，基于高层次特征矩阵计算注意力矩阵得到α
(l)
；具体步骤如下：
[0030]步骤4
‑3‑
1，计算注意力系数：
[0031][0032]其中，为的第i行向量，为的第j行向量，为第j个节点的特征对于第i个节点的重要度；
[0033]步骤4
‑3‑
2，在节点i的注意力向量上应用softmax函数获得注意力矩阵α，第l层图神经网络第i个节点的注意力计算为：
[0034][0035]其中，表示第l层网络中节点i的注意力向量(行元素)，表示第l层网络中节点i的注意力向量(行元素)，由方括号[]里的N个组成，N是G中节点总数；softmax(x
k
)＝exp(x
k
)/∑
k
exp(x
k
)，其中exp(x)＝e
x
为指数函数；
[0036]步骤4
‑3‑
3，整理得到对应的表达式如下：
[0037][0038]其中，
[0039]步骤4
‑
4，为了便于不同节点之间的系数比较，在j的所有选项中使用softmax函数进行归一化；采用二阶masked attention方法将邻接矩阵M0注入到注意力矩阵α得到重构的邻接矩阵M1
(l)
，M1
(l)
中的每个元素由以下公式计算：
[0040][0041]其中，二阶masked attention方法只对中的进行保留，是节点i在图G中的二阶邻居；即二阶masked attention只选择节点i和节点i的二阶邻居集合中的exp(x)＝e
x
为指数函数，k为下标；
[0042]步骤4
‑
5，在图神经网络第l层中，利用从初始邻接矩阵M0获得的重构矩阵M1
(l)
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度传递注意力机制的高性能聚类检测方法，其特征在于：其包括以下步骤；步骤1，基于复杂网络构建无向无权图G＝{V，E}，其中，V表示N个顶点的集合，V＝{v1，v2，
…
，v
N
}；E表示边的集合，E＝{e
ij
}；同时获取表征复杂网络顶点之间的连接关系的邻接矩阵A；步骤2，基于邻接矩阵A通过矩阵变换构成能够同时表征无直接连接顶点间关系的初始相似矩阵M0；具体步骤如下：步骤2
‑
1，利用变换公式对邻接矩阵A变换得到构造矩阵A1和A2，对应的表达式如下A1＝D1AD1A2＝A1‑
diag(diag(A1))其中，D1为变换公式，diag(
·
)函数表示用参数构造对角矩阵，d1是一个向量，d1中的元素是A矩阵的每行元素之和，即网络顶点的度；求幂是按元素顺序进行的归一处理；步骤2
‑
2，计算U1，即对A2矩阵进行特征分解eig操作获得所有特征值和特征向量，选出2C个最大特征值所对应的特征向量即为U1，表达式如下U1＝eig(A2，2C)
ꢀꢀꢀꢀ
(3)其中，C表示网络社区的大小，是聚类工作中要聚类的类别数目；步骤2
‑
3，得到了变换后的初始相似度矩阵M0，表达式如下其中，T表示矩阵的转置操作；d2是一个向量，d2的元素是矩阵U1的每行元素之和，求幂是按元素顺序进行；步骤3，构建图神经网络结构，采用获取图注意力层结构的分层传播机制如下：其中，H
(l)
表示图的第2层注意力层，是一个特征表示矩阵，H
(l)
＝[h1，h2，...，h
N
]，h
i
∈R
d
′
，d
′
是一个潜在的特征候选集合；l表示当前图注意力层的层数，l∈{1，2，...，L}，L是图神经网络总层数；步骤4，基于初始相似度矩阵M0利用图神经网络得到重构邻接矩阵具体获取步骤如下：步骤4
‑
1，计算权重矩阵W
0(0)
∈R
N
×
d
’
，W
0(0)
为本神经网络结构的随机值初始层；并对分层传播矩阵进行线性转换得到高层次特征矩阵。H
(l)
＝ReLU(XW
0(0)
)
ꢀꢀꢀꢀ
(6)其中，X＝[x1，x2，...，x
N
]R
N
×
d
’
是网络G中N个节点的特征向量矩阵；d
’
是提取后每个节点的特征数量；ReLU是一个激活函数；步骤4
‑
2，字嵌入层接着跟随为了在多层神经网络中获得更强的表达能力，对第l层采用传递机制传递表达信息：步骤4
‑
3，基于高层次特征矩阵计算注意力矩阵得到α
(l)
，具体表达式如下：
其中，步骤4
‑
4，采用二阶masked attention方法将邻接矩阵M0注入到注意力矩阵α得到重构的邻接矩阵M1
(l)
，M1
(l)
中的每个元素由以下公式计算：其中，二阶masked attention方法只对中的进行保留，是节点i在图G中的二阶邻居；即二阶masked attention只选择节点i和节点i的二阶邻居集合中的exp(x)＝e
x
为指数函数，k为下标；步骤4
‑
5，在图神经网络第l层中，利用从初始邻接矩阵M0获得的重构矩阵M1
(l)
得到第l层的更具表达力的图注意力层输出为：M＝M1
(l)
H
(l)
ꢀꢀꢀꢀ
(12)；步骤5，基于图注意力层建构自编码器；单层自动编码器包括编码部分和解码部分，自动编码器通过重构原始数据提取输入数据的特征；步骤6，将M＝[m
ij
]∈R
C
×
N
作为自编码器的原始输入数据，获取相似矩阵M的第i个顶点m
i
∈R
C
×1，并映射到R
C
×
N
得到低维嵌入空间S＝[s
ij
]R
C
×
N
，且s
i
＝sigmoid(Wm
i

【专利技术属性】
技术研发人员：谢莹，许荣斌，林元模，胡建雄，蔡阳芳，吴诗楹，
申请(专利权)人：莆田学院，
类型：发明
国别省市：