一种基于图神经网络的专利文本多级分类方法和设备技术

本发明专利技术涉及一种基于图神经网络的专利文本多级分类方法和设备，涉及深度学习技术领域，从待分类专利文本中提取多个词语、多级分类号、企业特征，将标签向量输入到图卷积神经网络中，联合具有先验概率的层级邻接矩阵使用，得到具备层级关系的标签特征；采用特征提取模块对多个词语先提取词嵌入向量，得到全局关联特征；将所述全局关联特征和所述待分类专利的多级分类号特征与企业特征嵌入表示特征使用attention进行融合并结合图卷积神经网络进行分类，得到第一分类结果；将标签特征与全局关联特征融合并分类得到第二分类结果；融合第一分类结果和第二分类结果，从而实现了专利文本的自动分类且提高了分类准确性。文本的自动分类且提高了分类准确性。文本的自动分类且提高了分类准确性。

【技术实现步骤摘要】
一种基于图神经网络的专利文本多级分类方法和设备


[0001]本专利技术涉及深度学习
，尤其涉及一种基于图神经网络的专利文本多级分类方法和设备。

技术介绍

[0002]专利依照其记载的技术方案可以划归为不同的
，目前有如下两种方法进行专利文本分类。
[0003]第一种方法：人工阅读专利，将其划分至不同的分类号。第二种方法：通过自然语言理解模型从中抽取并识别有价值的内容，再与特定领域的关键词本进行匹配，以确定其
例如专利题目中有燃烧发动机和结构装置关键字，则归类为F02。
[0004]前述第一种方法浪费人力，效率低下，第二种利用关键词匹配的方法，虽然能提供一定的效率，但是准确率不高，往往需要人工抽检。
[0005]针对上述存在的不足，特提出本专利技术。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供了一种基于图神经网络的专利文本多级分类方法和设备，实现了专利文本的自动分类且提高了分类准确性。
[0007]本专利技术实施例提供了一种基于图神经网络的专利文本多级分类方法，包括：S1、从待分类专利文本中提取多个词语，多级分类号特征和企业特征；S2、随机化标签向量，并将所述标签向量输入到图卷积神经网络中联合具有先验概率的层级邻接矩阵得到具备层级关系的标签特征；S3、采用特征提取模块对所述多个词语先提取词嵌入向量，使用Bi
‑
LSTM+self
‑
attention模型进行特征提取，得到全局关联特征；S4、将所述全局关联特征，所述待分类专利的多级分类号特征与企业特征使用attention进行融合后经过图卷积神经网络和softmax层，得到第一分类结果；S5、将所述标签特征与所述全局关联特征融合后经过softmax层，得到第二分类结果；S6、融合第一分类结果和第二分类结果，得到最终的多级分类结果。
[0008]可选的，所述特征提取模块包括：嵌入层，双向长短期记忆网络Bi
‑
LSTM和自注意力模型self
‑
attention；所述S3包括：将所述多个词语并行输入至所述嵌入层得到多个第一特征；将所述多个第一特征输入至所述Bi
‑
LSTM得到多个第二特征；将所述多个第二特征输入至所述self
‑
attention得到多个全局关联特征。
[0009]可选的，所述多级分类号至少包括多级IPC分类号和多级CPC分类号；所述S4包括：
将不同类型的多级分类号特征与所述全局关联特征输入到不同的注意力模型中，得到关注多级IPC分类号的全局关联特征和关注多级CPC分类号的全局关联特征；将所述关注多级IPC分类号的全局关联特征和关注多级CPC分类号的全局关联特征和企业特征经过concatenate层、全连接层、图卷积神经网络、全连接层和softmax层，得到第一分类结果。
[0010]可选的，所述待分类专利文本所属企业的特征包括：企业发表的各分类号专利数量占企业专利总数量的归一化后占比和/或企业的类别型嵌入表示特征。
[0011]可选的，所述S6包括：将第一分类结果与第二分类结果相加，得到最终的多级分类结果。
[0012]可选的，所述图卷积神经网络的初始参数根据
的层级关系和分布确定，并在训练过程中更新所述初始参数；所述第一分类结果、第二分类结果和多级分类结果为

[0013]本专利技术实施例还提供了一种电子设备，包括：存储器和处理器；其中，在所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；当所述指令被所述处理器执行时，使得所述处理器执行任一项所述的基于图神经网络的专利文本多级分类方法。
[0014]本专利技术提出的方法和设备有以下技术效果：1）通过将标签向量输入到图卷积神经网络中得到具备层级关系的标签特征，从而得到具备层级关系的
分类结果。
[0015]2）通过将全局关联特征与多级分类号特征进行融合并分类，从而利用已有的分类号的先验知识得到更准确的
分类结果。
[0016]3）通过将第一分类结果与第二分类结果融合，可以结合分类号、层级关系和专利文本的全局关联特征进行更准确的分类，加强版文本注意力辅助做预测。
[0017]4）利用GCN模型获取表现良好的标签结构表征。
附图说明
[0018]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术实施例提供的一种基于图神经网络的专利文本多级分类方法的流程示意图；图2是本专利技术实施例提供的与图1对应的多个模型架构示意图；图3是本申请实施例提供的一种电子设备的示意图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面将对本专利技术的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所
有其它实施例，都属于本专利技术所保护的范围。
[0021]实施例一图1是本专利技术实施例提供的一种基于图神经网络的专利文本多级分类方法的流程图，适用于对专利文本进行多级
的分类，包括以下操作：S1、从待分类专利文本中提取多个词语，多级分类号特征和企业特征。
[0022]待分类专利文本包括著录项目、权利要求书、说明书和说明书摘要，从中提取多个词语，提取策略不作限定，例如从题目和权利要求1中提取多个词语，使其能够表征所属的
多级分类号特征包括IPC特征和CPC特征。企业就是专利的申请人/专利权人，也是预先从待分类专利文本中提取得到的，企业特征包括：企业发表的各分类号专利数量占企业专利总数量的归一化后占比和/或企业的类别型嵌入表示特征。
[0023]企业的类别型嵌入表示特征可以用编码表示，需要将该编号输入至embedding层转换为向量。类别型嵌入表示特征表示该企业的
类别，区别于IPC和CPC，仅用编码表示。在实际应用中，通过该企业发表的专利所属
训练得到该编码，发表专利
越接近的专利，编码也越接近。
[0024]本实施例引入了待分类专利文本所属企业的特征参与
的分类，考虑了一个企业的业务领域比较集中，比如车企专利的分类号大多是B60W，因此企业特征有利于将待分类专利文本的
更加靠近实际业务领域，有利于提高分类准确性。
[0025]S2、随机化标签向量，并将所述标签向量输入到图卷积神经网络中联合具有先验概率的层级邻接矩阵得到具备层级关系的标签特征。
[0026]通过随机函数初始化标签向量，该标签向量的个数为所有
的个数。
[0027]图卷积神经网络（本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图神经网络的专利文本多级分类方法，其特征在于，包括：S1、从待分类专利文本中提取多个词语，多级分类号特征和企业特征；S2、随机化标签向量，并将所述标签向量输入到图卷积神经网络中联合具有先验概率的层级邻接矩阵得到具备层级关系的标签特征；S3、采用特征提取模块对所述多个词语先提取词嵌入向量，使用Bi
‑
LSTM+self
‑
attention模型进行特征提取，得到全局关联特征；S4、将所述全局关联特征，所述待分类专利的多级分类号特征与企业特征使用attention进行融合后经过图卷积神经网络和softmax层，得到第一分类结果；S5、将所述标签特征与所述全局关联特征融合后经过softmax层，得到第二分类结果；S6、融合第一分类结果和第二分类结果，得到最终的多级分类结果。2.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括：嵌入层，双向长短期记忆网络Bi
‑
LSTM和自注意力模型self
‑
attention；所述S3包括：将所述多个词语并行输入至所述嵌入层得到多个第一特征；将所述多个第一特征输入至所述Bi
‑
LSTM得到多个第二特征；将所述多个第二特征输入至所述self
‑
attenti...

【专利技术属性】
技术研发人员：王军雷，王亮亮，季南，郭少杰，冀然，刘兰，丁强，龙悦，叶晓雪，王静，
申请(专利权)人：中汽知识产权广州有限公司，
类型：发明
国别省市：