一种基于深度学习的知识图谱问答方法技术

本发明专利技术提供一种基于深度学习的知识图谱问答方法。所述基于深度学习的知识图谱问答方法，包括以下操作步骤：S1、获取知识图谱问答数据集：获取知识图谱问答数据集，再利用CNN加Transformer模型进行建模，然后将数据输入到模型中进行训练模型。本发明专利技术提供一种基于深度学习的知识图谱问答方法，主要是利用知识图谱问答的特点，构建出一种基于CNN和Transformer的深度学习模型，其中分别利用CNN和Transformer的特点实现自然语言问题与关系之间字符级别的匹配和上下文语义之间的匹配，进而有效提升了匹配的准确性，同时通过使用Bi

【技术实现步骤摘要】
一种基于深度学习的知识图谱问答方法


[0001]本专利技术涉及知识图谱领域，尤其涉及一种基于深度学习的知识图谱问答方法。

技术介绍

[0002]知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。
[0003]近年来，出现了YAGO、Freebase、NELL和DBpedia等多个大型通用知识图谱，人们正在寻找有效的方法来获取其中丰富的知识，有几种语言设计用于查询知识图谱，但是它们对用户不是很友好，需要用户比较熟悉知识图谱的语法和结构，而基于知识图谱的问答允许用户直接使用自然语言对知识图谱进行查询，进年来已经引起了广泛的关注，尽管知识图谱问答为终端用户带来了便利，但由于结构化的知识图谱和非结构化的自然语言问题之间的差异，使其非常具有挑战性。
[0004]现有技术中，基于深度学习的知识图谱问答方法大多遵循编码器比较框架，首先使用n元的问题文本在数据集上进行搜索，生成一组候选知识库事实，然后通过深度神经网络将问题和知识图谱三元组(实体名称和关系名称)映射到相同的嵌入空间，问题与知识图谱三元组之间的相关性是通过两个嵌入向量之间的相似性来计算的，但是这类方法主要有三个不足之处：一是编码后的嵌入向量只包含语义信息，计算它们之间的相似度只能捕捉到语义层面的关联度，失去了原有的词语层面的交互信息，二是候选实体集合由名称是问题的子字符串的所有实体组成，引入了大量噪声；三是实体名称编码是字符级的，因此实体匹配模型只检测文本表面匹配，不能区分具有相同名称的实体，因此，这种实体识别方法会大大降低知识图谱问答的准确性，通常不能兼顾字符级匹配与语义关联性，有较大的提升空间。
[0005]因此，有必要提供一种基于深度学习的知识图谱问答方法解决上述技术问题。

技术实现思路

[0006]本专利技术提供一种基于深度学习的知识图谱问答方法，解决了现有的深度学习的知识图谱问答方法通常不能兼顾字符级匹配与语义关联性，准确性不高的问题。
[0007]为解决上述技术问题，本专利技术提供的基于深度学习的知识图谱问答方法，包括以下操作步骤：
[0008]S1、获取知识图谱问答数据集：获取知识图谱问答数据集，再利用CNN加Transformer模型进行建模，然后将数据输入到模型中进行训练模型；
[0009]S2、实体识别：使用Bi
‑
LSTM神经网络有效识别出自然语言问题中的实体，能够有效减少噪声的影响；
[0010]S3、构建候选关系集合：在使用Bi
‑
LSTM识别出自然语言问题中的实体之后，再利用知识图谱中的事实的存储形式为三元组形式，将抽取到的实体作为头实体，寻找出所有
与该头实体相关联的关系，将这些关系加入候选关系集合；
[0011]S4、识别最匹配关系：在模型训练完毕之后，将具体的实体替换为mention后的问题模版(pattern)P和候选关系r
k
输入到模型中，使用CNN计算词语字面的匹配程度，使用Transformer计算上下文语义之间的匹配程度，对每一对<问题，关系>进行相关性计算，识别出相关性最高的关系；
[0012]S5、利用识别出来的实体和关系查询答案：在识别完实体和关系之后，利用现有的知识图谱结构化查询方法搜索出答案。
[0013]优选的，在所述S1中，利用CNN加Transformer模型主要由一种基于CNN加Transformer的神经网络结构和基于Bi
‑
LSTM的神经网络组成。
[0014]优选的，所述基于CNN加Transformer的神经网络能够实现自然语言问题与关系的高精度匹配，所述基于Bi
‑
LSTM的神经网络能够实现高准确率的实体识别。
[0015]优选的，在所述CNN加Transformer的神经网络结构中，CNN采用一层卷积层提取出自然语言问题与关系的字符级特征，再采用一个双向池化层，分别从问题和关系两方面保留最大匹配特征，即保留问题中的每个单词与每个关系的最大匹配得分，以及保留关系中的每个单词与每个问题的最大匹配得分，最后采用一个全连接层来产生最终的两个特征向量。
[0016]优选的，在所述CNN加Transformer的神经网络结构中，对于语义层面的匹配程度，则使用Transformer对问题和关系进行匹配，问题和关系中的每一个词都被嵌入到相同维度的向量空间，将表示问题和关系的向量输入到Transformer中，利用Transformer的自注意力机制，计算出候选关系集合中每一个关系对问题的相似度矩阵；最后再将CNN和Transformer分别算出的4个特征向量利用线性层来学习它们各自对整体匹配得分的贡献。
[0017]优选的，在所述S2中，基于Bi
‑
LSTM神经网络的实体识别中，使用Bi
‑
LSTM对句子中的每个词进行二分类，标记0或1，选出句子中标记为1的连续子句，且连续是相对的，可以容忍的最大间隔为1。
[0018]优选的，所述基于Bi
‑
LSTM神经网络的实体识别中，若有多个子句，选出最长的子句S，从知识图谱中找到与子句S中相同的实体；若没有从知识图谱中找到相应实体，增长或者缩短子句S(最多两个单词)，生成新的子句，去知识图谱匹配；若还没找到相应的实体，则用整个句子的每个单词去匹配，找出知识库中包含单词的实体，从这些找到的实体中，选择与整句有最长公共子序列的实体。
[0019]优选的，还包括用于完成知识图谱问答的图谱问答系统，所述图谱问答系统包括用于获取知识图谱问答数据集的知识图谱获取模块、用于识别出自然语言问题中实体的实体识别模块、用于构建候选关系集合的候选关系构建模块、用于识别最匹配关系的匹配关系识别模块、用于搜索出答案的答案查询模块。
[0020]优选的，所述知识图谱获取模块分别与所述实体识别模块、所述模型构建模块信号连接，所述模型构建模块与所述匹配关系识别模块信号连接，所述候选关系构建模块与所述答案查询模块信号连接。
[0021]与相关技术相比较，本专利技术提供的基于深度学习的知识图谱问答方法具有如下有益效果：
[0022]本专利技术提供一种基于深度学习的知识图谱问答方法，主要是利用知识图谱问答的
特点，构建出一种基于CNN和Transformer的深度学习模型，其中分别利用CNN和Transformer的特点实现自然语言问题与关系之间字符级别的匹配和上下文语义之间的匹配，进而有效提升了匹配的准确性，同时通过使用Bi
‑
LSTM神经网络有效识别出自然语言问题中的实体，能够有效减少传统字符串匹配所产生噪声问题，从而进一步提升知识图谱问答性能，能够很好的满足人们的使用需求。
附图说明
[0023]图1为本专利技术提供的基于深度学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的知识图谱问答方法，其特征在于，包括以下操作步骤：S1、获取知识图谱问答数据集：获取知识图谱问答数据集，再利用CNN加Transformer模型进行建模，然后将数据输入到模型中进行训练模型；S2、实体识别：使用Bi
‑
LSTM神经网络有效识别出自然语言问题中的实体，能够有效减少噪声的影响；S3、构建候选关系集合：在使用Bi
‑
LSTM识别出自然语言问题中的实体之后，再利用知识图谱中的事实的存储形式为三元组形式，将抽取到的实体作为头实体，寻找出所有与该头实体相关联的关系，将这些关系加入候选关系集合；S4、识别最匹配关系：在模型训练完毕之后，将具体的实体替换为mention后的问题模版(pattern)P和候选关系r
k
输入到模型中，使用CNN计算词语字面的匹配程度，使用Transformer计算上下文语义之间的匹配程度，对每一对<问题，关系>进行相关性计算，识别出相关性最高的关系；S5、利用识别出来的实体和关系查询答案：在识别完实体和关系之后，利用现有的知识图谱结构化查询方法搜索出答案。2.根据权利要求1所述的基于深度学习的知识图谱问答方法，其特征在于，在所述S1中，利用CNN加Transformer模型主要由一种基于CNN加Transformer的神经网络结构和基于Bi
‑
LSTM的神经网络组成。3.根据权利要求2所述的基于深度学习的知识图谱问答方法，其特征在于，所述基于CNN加Transformer的神经网络能够实现自然语言问题与关系的高精度匹配，所述基于Bi
‑
LSTM的神经网络能够实现高准确率的实体识别。4.根据权利要求2所述的基于深度学习的知识图谱问答方法，其特征在于，在所述CNN加Transformer的神经网络结构中，CNN采用一层卷积层提取出自然语言问题与关系的字符级特征，再采用一个双向池化层，分别从问题和关系两方面保留最大匹配特征，即保留问题中的每个单词与每个关系的最大匹配得分，以及保留关系中的每个单词与每个问题的最大匹配得分，最后采用一个全连...

【专利技术属性】
技术研发人员：黄园园，苏俊，龙绍楠，杨世宇，
申请(专利权)人：中电积至海南信息技术有限公司，
类型：发明
国别省市：