基于门控图注意力网络的论文分类模型构建方法及系统技术方案

本发明专利技术公开了一种基于门控图注意力网络的论文分类模型构建方法及系统。该方法包括：构建基于门控图神经网络的分类模型，分类模型包括依次连接的若干层，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；确定样本数据集中各论文样本i的特征矩阵

【技术实现步骤摘要】
基于门控图注意力网络的论文分类模型构建方法及系统
本专利技术涉及节点分类领域，特别是涉及一种基于门控图注意力网络的论文分类模型构建方法及系统。
技术介绍
大数据时代，对于引文网络中论文的分类，传统的分类方法有决策树、逻辑回归、支持向量机、随机森林等，但是和后面陆续提出的深度学习方法相比，准确度普遍不高。基于论文图谱数据中节点顺序的无规律性，传统深度学习方法在处理图谱数据时存在一定困难。但是图神经网络的提出和快速发展，为图谱数据研究打开了一扇大门，其中GNN、GraphSage、GCN、GAT、R-GCN等方法相继被提出并使分类准确度进一步提升，它们在节点分类相关问题上的表现足以说明图神经网络在解决节点分类问题方面的有效性。但是目前此类方法还存在以下问题：(1)精度受限；(2)发生过拟合风险高，为了防止过拟合往往只能依赖有限甚至单跳邻居信息。
技术实现思路
本专利技术的目的是提供一种基于门控图注意力网络的论文分类模型构建方法及系统。为实现上述目的，本专利技术提供了如下方案：一种基于门控图注意力网络的论文分类模型构建方法，包括：构建基于门控图神经网络的分类模型，所述分类模型包括依次连接的若干层，层数大于等于2，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；根据计算样本数据集中论文样本i与其邻居论文样本j各属性之间总的相关性βij，其中，Vk表示第k个属性Ak的权重，B(Aki,Akj)表示论文样本i的第k个属性与论文样本j的第k个属性的相关程度，B(,)为利用词袋模型计算词语之间的语义相关性程度的函数，K为属性的数量，Ni是论文样本i的邻居集合，所述属性包括出版社、作者、摘要中的一种或几种；确定样本数据集中各论文样本i的特征矩阵其中，特征矩阵为基于单词数据集确定的论文样本i的0-1矩阵；将各论文样本的特征矩阵输入所述分类模型，并以各论文样本的类型为标签对所述分类模型进行训练；其中，第一层图神经网络结构根据或对论文样本i进行嵌入表示，其中，为第一层的嵌入式表示结果，eij表示论文样本i与论文样本j之间的重要性程度，W1、W2、W3、U分别表示用于训练的权重矩阵，a表示一个由权重向量参数化的单层前馈神经网络，γij表示eij进行的归一化处理后的结果，论文样本p为论文样本i的邻居论文样本，σ表示任意一将变换为的非线性函数，K表示在引入多头注意力时多头注意力的数量，k表示第k头注意力；第t层图神经网络结构根据对论文样本i进行嵌入表示，其中，为第t层的嵌入式表示结果，其中，W'、U'、Wr、Ur、Wz、Uz分别表示用于训练的权重矩阵。可选的，所述论文样本的类型包括基于案例类型、遗传算法类型、神经网络类型、概率方法类型、强化学习类型、规则学习类型以及理论类型。可选的，所述层数为3。可选的，所述分类器用于计算样本论文在每个类别维度上的权重。本专利技术还提供了一种基于门控图注意力网络的论文分类模型构建系统，包括：分类模型构建模块，用于构建基于门控图神经网络的分类模型，所述分类模型包括依次连接的若干层，层数大于等于2，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；外部知识确定模块，用于根据计算样本数据集中论文样本i与其邻居论文样本j各属性之间总的相关性βij，其中，Vk表示第k个属性Ak的权重，B(Aki,Akj)表示论文样本i的第k个属性与论文样本j的第k个属性的相关程度，B(,)为利用词袋模型计算词语之间的语义相关性程度的函数，K为属性的数量，Ni是论文样本i的邻居集合，所述属性包括出版社、作者、摘要中的一种或几种；特征矩阵确定模块，用于确定样本数据集中各论文样本i的特征矩阵其中，特征矩阵为基于单词数据集确定的论文样本i的0-1矩阵；训练模块，用于将各论文样本的特征矩阵输入所述分类模型，并以各论文样本的类型为标签对所述分类模型进行训练；其中，第一层图神经网络结构根据或对论文样本i进行嵌入表示，其中，为第一层的嵌入式表示结果，eij表示论文样本i与论文样本j之间的重要性程度，W1、W2、W3、U分别表示用于训练的权重矩阵，a表示一个由权重向量参数化的单层前馈神经网络，γij表示eij进行的归一化处理后的结果，论文样本p为论文样本i的邻居论文样本，σ表示任意一将变换为的非线性函数，K表示在引入多头注意力时多头注意力的数量，k表示第k头注意力；第t层图神经网络结构根据对论文样本i进行嵌入表示，其中，为第t层的嵌入式表示结果，其中，W'、U'、Wr、Ur、Wz、Uz分别表示用于训练的权重矩阵。可选的，所述论文样本的类型包括基于案例类型、遗传算法类型、神经网络类型、概率方法类型、强化学习类型、规则学习类型以及理论类型。可选的，所述层数为3。可选的，所述分类器用于计算样本论文在每个类别维度上的权重。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供的基于门控图注意力网络的论文分类模型构建方法及系统，融合了论文自身特征和其属性特征，提升了分类的准确度；突破了主流图神经网络只能依赖短程信息的限制，通过门控机制，聚合远距离节点信息，在获得更多语义信息的同时，解决了梯度消失问题，进一步提升了分类的准确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1提供的基于门控图注意力网络的论文分类模型构建方法的流程示意图；图2为本专利技术实施例1中引文网络示意图；图3为本专利技术实施例1中的分类模型一次训练迭代更新过程图；图4为本专利技术实施例1中分类模型训练全流程图；图5为本专利技术实施例2提供的基于门控图注意力网络的论文分类模型构建系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。实施例1本专利技术提供的论文分类模型通过引入门控机制GRU聚合了图中远距离节点的特征。在充分分析GAT的基础上，引入了新的Attention机制：在节点更新的过程中引入门控机制GRU，它可对长远记忆进行选择和遗忘，我们称之为“层间注意力”，而类似于GAT的Attention机制称本文档来自技高网...

【技术保护点】
1.一种基于门控图注意力网络的论文分类模型构建方法，其特征在于，包括：/n构建基于门控图神经网络的分类模型，所述分类模型包括依次连接的若干层，层数大于等于2，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；/n根据

【技术特征摘要】
1.一种基于门控图注意力网络的论文分类模型构建方法，其特征在于，包括：
构建基于门控图神经网络的分类模型，所述分类模型包括依次连接的若干层，层数大于等于2，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；
根据计算样本数据集中论文样本i与其邻居论文样本j各属性之间总的相关性βij，其中，Vk表示第k个属性Ak的权重，B(Aki,Akj)表示论文样本i的第k个属性与论文样本j的第k个属性的相关程度，B(,)为利用词袋模型计算词语之间的语义相关性程度的函数，K为属性的数量，Ni是论文样本i的邻居集合，所述属性包括出版社、作者、摘要中的一种或几种；
确定样本数据集中各论文样本i的特征矩阵其中，特征矩阵为基于单词数据集确定的论文样本i的0-1矩阵；
将各论文样本的特征矩阵输入所述分类模型，并以各论文样本的类型为标签对所述分类模型进行训练；其中，
第一层图神经网络结构根据或对论文样本i进行嵌入表示，其中，为第一层的嵌入式表示结果，eij表示论文样本i与论文样本j之间的重要性程度，W1、W2、W3、U分别表示用于训练的权重矩阵，a表示一个由权重向量参数化的单层前馈神经网络，γij表示eij进行的归一化处理后的结果，论文样本p为论文样本i的邻居论文样本，σ表示任意一将变换为的非线性函数，K表示在引入多头注意力时多头注意力的数量，k表示第k头注意力；
第t层图神经网络结构根据对论文样本i进行嵌入表示，其中，为第t层的嵌入式表示结果，其中，W'、U'、Wr、Ur、Wz、Uz分别表示用于训练的权重矩阵。


2.根据权利要求1所述的基于门控图注意力网络的论文分类模型构建方法，其特征在于，所述论文样本的类型包括基于案例类型、遗传算法类型、神经网络类型、概率方法类型、强化学习类型、规则学习类型以及理论类型。


3.根据权利要求1所述的基于门控图注意力网络的论文分类模型构建方法，其特征在于，所述层数为3。


4.根据权利要求1所述的基于门控图注意力网络的论文分类模型构建方法，其特征在于，所述分类器用于计算样本论文在每个类别维度上的权重。


5.一种基于门控图注...

【专利技术属性】
技术研发人员：王美红，邱淋灵，李涵，王晓黎，陈岐望，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35