基于深层递进匹配的选择式机器阅读理解方法及系统技术方案

本发明专利技术公开了基于深层递进匹配的选择式机器阅读理解方法及系统，属于人工智能及自然语言处理技术领域，本发明专利技术要解决的技术问题为如何有效挖掘文章中的语义信息和问句中的关键信息以及如何增强文章中的语义信息和问句中的关键信息与选项之间的深层语义交互，提高选择式机器阅读理解预测的准确性，采用的技术方案为：该方法具体如下：获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。行训练。行训练。

【技术实现步骤摘要】
基于深层递进匹配的选择式机器阅读理解方法及系统


[0001]本专利技术涉及人工智能及自然语言处理
，具体地说是一种基于深层递进匹配的选择式机器阅读理解方法及系统。

技术介绍

[0002]机器阅读理解任务是一项用于评估计算机理解自然语言程度的任务，对促进自然语言理解技术的发展具有非常重要的意义。机器阅读理解任务需要在给定文本内容的情况下，充分理解文本和问句的语义信息，然后根据不同的任务要求，给出特定形式的答案。根据答案的形式不同，机器阅读理解任务可细分为生成式、选择式、抽取式和填空式。其中，选择式机器阅读理解任务的答案是人类专家总结归纳而成，以选项的形式给出，因此，候选选项的内容不会出现在原文中，这对模型的推理能力提出了更高的要求。
[0003]与自动问答任务相比而言，选择式阅读理解任务是被要求在给定的语境下回答相应的问题，但是，其核心问题仍是问句和选项间的语义匹配。人类在做选择式阅读理解任务时，往往是带着问题读原文，然后根据不同的选项对文章内容进行层层递进的分析和理解。现有方法往往是对文章、问句和选项进行编码后，根据最终的编码结果进行交互和匹配，这显然是不合理的。
[0004]故如何有效挖掘文章中的语义信息和问句中的关键信息以及如何增强文章中的语义信息和问句中的关键信息与选项之间的深层语义交互，提高选择式机器阅读理解预测的准确性是目前亟待解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是提供一种基于深层递进匹配的选择式机器阅读理解方法及系统，来解决如何有效挖掘文章中的语义信息和问句中的关键信息以及如何增强文章中的语义信息和问句中的关键信息与选项之间的深层语义交互，提高选择式机器阅读理解预测的准确性的问题。
[0006]本专利技术的技术任务是按以下方式实现的，一种基于深层递进匹配的选择式机器阅读理解方法，该方法具体如下：
[0007]获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；
[0008]构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；
[0009]训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。
[0010]作为优选，构建选择式机器阅读理解模型具体如下：
[0011]构建输入数据：针对数据集中的每一条数据，将文章序列记为passage；将问句序列记为question；将所有候选选项序列记为response；根据正确答案，确定该条数据的标
签，即，若正确答案为A，则记为1000，若正确答案为B，则记为0100，若正确答案为C，则记为0010，若正确答案为D，则记为0001；文章序列、问句序列和候选选项序列与标签共同组成一条输入数据；
[0012]构建预训练嵌入表示：使用预训练语言模型BERT对输入数据进行嵌入处理，从而得到文章嵌入特征表示问句嵌入特征表示和选项嵌入特征表示公式如下：
[0013][0014][0015][0016]其中，passage表示文章序列；question表示问句序列；response表示选项序列；
[0017]构建深层递进匹配表示：使用多层编码结构对文章嵌入表示依次进行特征编码操作，从而完成对文章嵌入表示的深层语义挖掘；同时，使用问句嵌入特征表示分别对每层的文章编码表示进行注意力筛选操作，从而得到第i层问句对齐的文章表示；再对选项嵌入特征表示和第i层问句对齐的文章表示进行Dot矩阵计算，从而得到第i层匹配表示；最后，联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示
[0018]提取深层特征：使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，得到卷积特征表示，再使用自注意力机制进行特征筛选，从而得到自筛特征表示；
[0019]标签预测：经过一层维度为4、激活函数为Softmax的全连接网络处理，得到正确概率最高的选项。
[0020]更优地，构建深层递进匹配表示具体如下：
[0021]第一层编码结构Encoder1对文章嵌入表示进行编码操作，得到文章第一层编码表示公式如下：
[0022][0023]其中，表示文章嵌入表示；
[0024]对文章第一层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第一层问句对齐的文章表示公式如下：
[0025][0026]其中，表示文章第一层编码表示；表示问句嵌入特征表示；
[0027]对第一层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第一层匹配表示公式如下：
[0028][0029]其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；
[0030]第二层编码结构Encoder2对文章第一层编码表示进行编码操作，得到文章第二层
编码表示公式如下：
[0031][0032]其中，表示文章第一层编码表示；
[0033]对文章第二层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第二层问句对齐的文章表示公式如下：
[0034][0035]其中，表示文章第二层编码表示；表示问句嵌入特征表示；
[0036]对第二层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第二层匹配表示公式如下：
[0037][0038]其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；
[0039]第三层编码结构Encoder3对文章第二层编码表示进行编码操作；以此类推，进行多次反复编码；根据选择式机器阅读理解模型预设的层次深度，直到生成第二层问句对齐的文章表示；对于第n层编码结构Encodern，对文章第n
‑
1层编码表示进行编码操作，得到文章第n层编码表示公式如下：
[0040][0041]其中，表示文章第n
‑
1层编码表示；
[0042]对文章第n层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第n层问句对齐的文章表示公式如下：
[0043][0044]其中，表示文章第n层编码表示；表示问句嵌入特征表示；
[0045]对第n层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第n层匹配表示公式如下：
[0046][0047]其中，表示选项嵌入特征表示；表示第n层问句对齐的文章表示；
[0048]联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示公式如下：
[0049][0050]其中，和分别表示第1层匹配表示、第2层匹配表示和第n层匹配表示。
[0051]更优地，提取深层特征具体如下：
[0052]使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，从而得到卷积特征表示公式如下：
[0053][0054][0055][0056]其中，表示第f个卷积核对深层递进匹配表示的特定区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深层递进匹配的选择式机器阅读理解方法，其特征在于，该方法具体如下：获取选择式机器阅读理解数据集：从网络上下载已经公开的选择式机器阅读理解数据集或自行构建选择式机器阅读理解数据集；构建选择式机器阅读理解模型：基于深层递进匹配构建选择式机器阅读理解模型；训练选择式机器阅读理解模型：在选择式机器阅读理解数据集上对选择式机器阅读理解模型进行训练。2.根据权利要求1所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建选择式机器阅读理解模型具体如下：构建输入数据：针对数据集中的每一条数据，将文章序列记为passage；将问句序列记为question；将所有候选选项序列记为response；根据正确答案，确定该条数据的标签，文章序列、问句序列和候选选项序列与标签共同组成一条输入数据；构建预训练嵌入表示：使用预训练语言模型BERT对输入数据进行嵌入处理，从而得到文章嵌入特征表示问句嵌入特征表示和选项嵌入特征表示公式如下：公式如下：公式如下：其中，passage表示文章序列；question表示问句序列；response表示选项序列；构建深层递进匹配表示：使用多层编码结构对文章嵌入表示依次进行特征编码操作，从而完成对文章嵌入表示的深层语义挖掘；同时，使用问句嵌入特征表示分别对每层的文章编码表示进行注意力筛选操作，从而得到第i层问句对齐的文章表示；再对选项嵌入特征表示和第i层问句对齐的文章表示进行Dot矩阵计算，从而得到第i层匹配表示；最后，联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示提取深层特征：使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，得到卷积特征表示，再使用自注意力机制进行特征筛选，从而得到自筛特征表示；标签预测：经过一层维度为4、激活函数为Softmax的全连接网络处理，得到正确概率最高的选项。3.根据权利要求2所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，构建深层递进匹配表示具体如下：第一层编码结构Encoder1对文章嵌入表示进行编码操作，得到文章第一层编码表示公式如下：其中，表示文章嵌入表示；对文章第一层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第一层问句对齐的文章表示公式如下：
其中，表示文章第一层编码表示；表示问句嵌入特征表示；对第一层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第一层匹配表示公式如下：其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；第二层编码结构Encoder2对文章第一层编码表示进行编码操作，得到文章第二层编码表示公式如下：其中，表示文章第一层编码表示；对文章第二层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第二层问句对齐的文章表示公式如下：其中，表示文章第二层编码表示；表示问句嵌入特征表示；对第二层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第二层匹配表示公式如下：其中，表示选项嵌入特征表示；表示第一层问句对齐的文章表示；第三层编码结构Encoder3对文章第二层编码表示进行编码操作；以此类推，进行多次反复编码；根据选择式机器阅读理解模型预设的层次深度，直到生成第二层问句对齐的文章表示；对于第n层编码结构Encoder
n
，对文章第n
‑
1层编码表示进行编码操作，得到文章第n层编码表示公式如下：其中，表示文章第n
‑
1层编码表示；对文章第n层编码表示和问句嵌入特征表示进行Cross Attention计算，从而得到第n层问句对齐的文章表示公式如下：其中，表示文章第n层编码表示；表示问句嵌入特征表示；对第n层问句对齐的文章表示和选项嵌入表示进行Dot计算，从而得到第n层匹配表示
公式如下：其中，表示选项嵌入特征表示；表示第n层问句对齐的文章表示；联接第1层匹配表示到第n层匹配表示，从而得到深层递进匹配表示公式如下：其中，和分别表示第1层匹配表示、第2层匹配表示和第n层匹配表示。4.根据权利要求2所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，提取深层特征具体如下：使用一层二维卷积神经网络对深层递进匹配表示进行特征提取，从而得到卷积特征表示公式如下：公式如下：公式如下：其中，表示第f个卷积核对深层递进匹配表示的特定区域进行卷积后经ReLU函数映射的结果；[x1,y1]表示卷积核的尺寸；表示第f个卷积核的权重矩阵；i和j表示卷积区域的横坐标和纵坐标；m
l
和m
h
表示Dot交互矩阵表示的两个维度的大小；i:i+x1‑
1，j:j+y1‑
1表示卷积区域；表示第f个卷积核的偏置矩阵；表示第f个卷积核在i:i+x1‑
1，j:j+y1‑
1区域的卷积结果；表示整合第f个卷积核在每个区域的卷积结果以得到第f个卷积核的最终卷积结果；s
x1
和s
y1
表示横向卷积步幅和纵向卷积步幅；表示第f个卷积核的最终卷积结果；表示将n个卷积核的最终卷积结果进行组合，得到该层网络对于深层递进匹配表示的最终卷积结果；shape表示输入张量的形状，shape为(batch_size,time_steps,output_dimension，f)；
使用自注意力机制对卷积特征表示进行特征筛选，从而得到自筛特征表示公式如下：其中，表示通过点积乘法操作实现对卷积特征表示的自注意力特征筛选操作；表示卷积特征表示；表示点积乘法操作；其中，表示通过归一化操作获得注意力权重α；i和i'表示对应输入张量中的元素下标，i＝1,2,
…
,l；l表示输入张量中的元素数量；其中，表示使用已获得的注意力权重α完成对卷积特征表示的自注意力特征筛选操作，从而得到自筛特征表示；l表示和α中的元素数量。5.根据权利要求1所述的基于深层递进匹配的选择式机器阅读理解方法，其特征在于，训练选择式机器阅读理解模型具体如下：构建损失函数：采用交叉熵作为损失函数，公式如下：其中，y
true
表示真实的标签；y
pred
表示选择式机器阅读理解模型输出的正确概率；构建优化函数：经过对多种优化函数进行测试，最终选择使用AdamW优化函数作为优化函数，除了其学习率设置为2e
...

【专利技术属性】
技术研发人员：邹杰，
申请(专利权)人：山东艺术学院，
类型：发明
国别省市：