一种机器阅读理解的实现方法、系统、设备及介质技术方案

本发明专利技术涉及人工智能技术领域，提供一种机器阅读理解的实现方法、系统、设备及介质，包括：获取待识别文本，所述待识别文本包括文章、标题和问题；依次提取文章、标题和问题的表征向量；通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量，将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；若存在答案，则通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量；将所述文章表征向量输入预训练的指针网络中，得到对应的答案。本发明专利技术利用注意力流的调整来控制文本答案的选取只和问题有关，而和标题的问句无关，极大地提高了机器阅读理解的识别精度，具有重要意义。具有重要意义。具有重要意义。

【技术实现步骤摘要】
一种机器阅读理解的实现方法、系统、设备及介质


[0001]本专利技术涉及人工智能
，特别是涉及一种机器阅读理解的实现方法、系统、设备及介质。

技术介绍

[0002]机器阅读理解任务是指给定一篇文本，该文本包括文章和标题，再给出一个和文章相关的问题，让机器自动从文章中找到对应的答案。目前主流的机器阅读理解做法，是用文本预训练模型对问题、标题和文章进行编码与特征抽取，然后利用指针网络进行答案的选取，这种做法存在以下不足：
[0003]1、一般来说，在机器阅读理解任务中，标题通常都是一个问句，这样文本输入的时候就会有两个问题句(标题+问题)同时输入，而且这两个问句经常极度相似；当训练样本数过少，且没有明显的监督信号要求模型对应答案的选取是依据问题的时候，阅读理解模型会非常地困惑，导致做出错误的推理；而如果去掉标题，又会导致模型丢失很多文本信息。
[0004]2、缺乏语义理解能力，当一些概念被换成另外一种描述的时候，阅读理解模型理解不到两者含义的不变性，也会导致做出错误的推理。
[0005]3、当训练样本数有限的时候，阅读理解模型通常表现都不佳。

技术实现思路

[0006]鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种机器阅读理解的实现方法、系统、设备及介质，用于解决现有的指针网络根据问题，对包含文章和标题的文本进行答案选取时，效果不佳的问题。
[0007]本专利技术的第一方面提供一种机器阅读理解的实现方法，包括：
[0008]获取待识别文本，所述待识别文本包括文章、标题和问题；
[0009]依次提取文章、标题和问题的表征向量；
[0010]通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量，将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；
[0011]若存在答案，则通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量；
[0012]将所述文章表征向量输入预训练的指针网络中，得到对应的答案。
[0013]于本专利技术的一实施例中，所述依次提取文章、标题和问题的表征向量的步骤包括：
[0014]将文章、标题和问题以文本形式分别输入Roberta模型中，提取Roberta模型的输出作为文章、标题和问题的表征向量。
[0015]于本专利技术的一实施例中，所述通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量的步骤包括：
[0016]利用标题和问题之间的注意力机制，分别为标题和问题的表征向量分配注意力权重，生成第一注意力矩阵和第二注意力矩阵；
[0017]根据标题和问题的表征向量、第一注意力矩阵和第二注意力矩阵，得到标题和问题的加权向量；
[0018]拼接问题的表征向量、标题和问题的加权向量，得到问题表征向量。
[0019]于本专利技术的一实施例中，所述通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量的步骤包括：
[0020]利用文章和问题之间的注意力机制，分别为文章和问题的表征向量分配注意力权重，生成第三注意力矩阵和第四注意力矩阵；
[0021]根据文章和问题的表征向量、第三注意力矩阵和第四注意力矩阵，得到文章和问题的加权向量；
[0022]拼接文章的表征向量、文章和问题的加权向量，得到文章表征向量。
[0023]于本专利技术的一实施例中，所述分类器和所述指针网络是通过预处理的训练样本集训练得到，预处理包括：数据分析、数据扩增处理、筛选数据，其中，数据扩增处理包括词汇替换、短语替换、否定替换及顺序替换中的任意一种或多种。
[0024]于本专利技术的一实施例中，所述将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案的步骤包括：
[0025]将所述问题表征向量输入预训练的BiLSTM分类器中，得到分类概率，若分类概率大于预设阈值，则认为文章中存在答案。
[0026]于本专利技术的一实施例中，所述将所述文章表征向量输入预训练的指针网络中，得到对应的答案的步骤包括：
[0027]指针网络根据文章表征向量，得到文章中该问题对应的起始位置的第一概率和结束位置的第二概率，将第一概率大于第一预设阈值的起始位置作为答案的起点，将第二概率大于第二预设阈值的结束位置作为答案的终点。
[0028]本专利技术的第二方面还提供一种机器阅读理解的实现系统，包括：
[0029]文本获取模块，用于获取待识别文本，所述待识别文本包括文章、标题和问题；
[0030]特征提取模块，用于提取每个待识别文本中的文章、标题和问题的表征向量；
[0031]特征处理模块，用于根据标题和问题的表征向量，生成携带有标题信息的问题表征向量；还用于根据文章和问题的表征向量，生成携带有问题信息的文章表征向量；
[0032]分类模块，用于将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；
[0033]预测模块，用于在存在答案时，将所述文章表征向量输入预训练的指针网络中，得到对应的答案。
[0034]本专利技术的第三方面还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术第一方面的一种机器阅读理解的实现方法中所述的方法步骤。
[0035]本专利技术的第四方面还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本专利技术第一方面的一种机器阅读理解的实现方法中所述的方法步骤。
[0036]如上所述，本专利技术的一种机器阅读理解的实现方法、系统、设备及介质，具有以下有益效果：
[0037]本专利技术在采用指针网络对文章进行答案的选取前，先利用注意力机制获取携带有标题信息的问题表征向量，根据问题表征向量判断文章中是否存在答案，若存在，则利用注意力机制获取携带有问题信息的文章表征向量，再根据文章表征向量来选取答案。本专利技术利用注意力流的调整来控制文本答案的选取只和问题有关，而和标题的问句无关，极大地提高了机器阅读理解的识别精度，具有重要意义。
附图说明
[0038]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1显示为本专利技术第一实施方式中阅读理解的实现方法的流程示意图。
[0040]图2显示为本专利技术第一实施方式中生成问题表征向量的流程示意图。
[0041]图3显示为本专利技术第一实施方式中分类器的训练方法的流程示意图。
[0042]图4显示为本专利技术第一实施方式中阅读理解的实现过程的示意图。
[0043]图5显示为本专利技术第一实施方式中生成文章表征向量的流程示意图。
[0044]图6显示为本专利技术第一实施方式中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器阅读理解的实现方法，其特征在于，包括：获取待识别文本，所述待识别文本包括文章、标题和问题；依次提取文章、标题和问题的表征向量；通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量，将所述问题表征向量输入预训练的分类器中，判断文章中是否存在答案；若存在答案，则通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量；将所述文章表征向量输入预训练的指针网络中，得到对应的答案。2.根据权利要求1所述的实现方法，其特征在于，所述依次提取文章、标题和问题的表征向量的步骤包括：将文章、标题和问题以文本形式分别输入Roberta模型中，提取Roberta模型的输出作为文章、标题和问题的表征向量。3.根据权利要求1所述的实现方法，其特征在于，所述通过注意力机制处理标题和问题的表征向量，生成携带有标题信息的问题表征向量的步骤包括：利用标题和问题之间的注意力机制，分别为标题和问题的表征向量分配注意力权重，生成第一注意力矩阵和第二注意力矩阵；根据标题和问题的表征向量、第一注意力矩阵和第二注意力矩阵，得到标题和问题的加权向量；拼接问题的表征向量、标题和问题的加权向量，得到问题表征向量。4.根据权利要求1所述的实现方法，其特征在于，所述通过注意力机制处理文章和问题的表征向量，生成携带有问题信息的文章表征向量的步骤包括：利用文章和问题之间的注意力机制，分别为文章和问题的表征向量分配注意力权重，生成第三注意力矩阵和第四注意力矩阵；根据文章和问题的表征向量、第三注意力矩阵和第四注意力矩阵，得到文章和问题的加权向量；拼接文章的表征向量、文章和问题的加权向量，得到文章表征向量。5.根据权利要求1所述的实现方法，其特征在于，所述分类器和所述指针网络是通过预处理的训练样本集训练得到，预处理包括：数据分析...

【专利技术属性】
技术研发人员：陈家豪，徐亮，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：