【技术实现步骤摘要】
本专利技术属于自然语言处理，具体涉及一种用于中文多项选择机器阅读理解的方法。
技术介绍
1、阅读理解是指理解阅读对象的词句篇章、写作方法、思想内容、社会价值为目的的阅读。阅读理解要求能够正确理解文章含义，分析段落、章节之间的联系和层次，概括文章大意和要点，评鉴作品的写作方法和语言特色，阅读理解问答技术由此应运而生。在阅读理解问答中，有一种类型为选择型阅读理解，即基于阅读理解的背景材料提出一个问题，并提供针对该问题的多个选项。目前针对答案选择型题目，主要采用基于相似或相关性来确定正确答案的方法，此类方法通过计算选项与背景材料的句子之间的最相似或相关性来确定正确答案。
技术实现思路
1、本专利技术提出一种用于中文多项选择机器阅读理解的方法，其目的是用于提高选择型阅读理解题目自动解题的正确性，本专利技术的技术方案如下：
2、s1：将阅读理解的每一个答案和其对应的文章以及问题进行拼接生成n个原始文本；
3、s2：分别将n个原始文本输入预训练语言模型中进行编码得到n个原始文本序列向量；
4、s3：创建dumap模型并利用n个原始文本序列向量对dumap模型进行训练，所述dumap模型包括：依次连接的duma模型、第一全连接神经网络层、第二全连接神经网络层、第一全连接层、第二全连接层和softmax函数，将目标文本序列向量输入训练好的dumap模型预测目标文本中问题对应的选项是否正确。
5、进一步地，所述预训练语言模型包括roberta-larg
6、进一步地，所述将目标文本序列向量输入训练好的dumap模型预测阅读理解中每个问题的选项概率分布包括：
7、s31：将目标文本序列向量输入duma模型进行双向多头协同注意力得到第一中间向量；
8、s32：将第一中间向量分别输入第一全连接神经网络层和第二全连接神经网络层进行特征提取得到第二中间向量和第三中间向量，所述第一全连接神经网络层和第二全连接神经网络层包括：m个线性层和gelu激活函数；
9、第一全连接神经网络层的m个线性层对输入的第一中间向量按维度先增大后减小进行特征提取，采用gelu激活函数作为输出层进行输出得到第二中间向量；
10、第二全连接神经网络层的m个线性层对输入的第一中间向量按维度先减小后增大进行特征提取，采用gelu激活函数作为输出层进行输出得到第三中间向量；
11、s33：将第二中间向量和第三中间向量在特征维度上进行拼接得到第四中间特征向量；
12、s34：在所述问题为正确项问题时，将第四中间特征向量输入第一全连接层，得到第一一维向量；将第一一维向量输入softmax函数得到选项为正确选项的第一概率；在所述第一概率大于第一阈值时，确定对应的选项信息为正确答案；
13、s35：在所述问题为错误项问题时，将第四中间特征向量输入第二全连接层，得到第二一维向量；将第二一维向量输入softmax函数得到选项为正确选项的第二概率；其中，所述错误选项为正确选项的转换项；在所述第二概率大于第二阈值时，确定对应的选项信息为正确答案。
14、进一步地，所述进行双向多头协同注意力包括：
15、将第一中间向量中文章对应的部分作为第一部分，将问题和选项对应的部分作为第二部分；将所述第一部分作为查询向量，所述第二部分作为键向量，键值向量进行多头注意力，另外将所述第二部分作为查询向量，所述第一部分作为键向量，键值向量进行多头注意力得到第一中间向量。
16、进一步地，在所述问题为正确项问题时，所述dumap模型通过如下第一损失函数进行训练得到：
17、loss＝cross_entropy(prob,label)
18、其中，loss表示dumap模型的第一损失值，所述cross_entropy表示交叉熵，prob表示每个选项信息为正确选项的概率，label表示每个选项信息为正确选项的标签。
19、进一步地，在所述问题为错误项问题时，所述dumap模型通过如下第二损失函数进行训练得到：
20、
21、其中，loss_c表示dumap模型的第二损失值，i_loss_c表示每个选项信息为错误选项的概率。
22、进一步地，所述dumap模型联合训练的联合损失值为：
23、final_loss＝loss+alpha*loss_c
24、其中，final_loss表示所述联合损失值，alpha大于等于0，在无法判断所述问题为正确项问题或者错误项问题时alpha取值为0。
25、本专利技术至少具有以下有益效果
26、本专利技术针对汉语中相同的话在不同的场景下表达的意思往往不同的问题，提出了dumap模型，该模型在duma模型尾部添加了一个第一全连接神经网络层和第二全连接神经网络层，第一全连接神经网络层的n个线性层对输入的第一中间向量按维度先增大后减小进行特征提取，第二全连接神经网络层的n个线性层对输入的第一中间向量按维度先减小后增大进行特征提取，通过提取第一中间向量的高低维度的特征，能够更获得结合了高低特征维度的第四中间特征向量，将第四中间特征向量最终输入到下游的分类器得出结果后，在此过程中，线性层的权重和阈值不断更新，使得模型进一步学习文章、问题和选项之间的关系，加深模型对三者内在含义的理解，削弱汉语中相同句子在不同场景下意思不同这个问题对模型的影响，提升了模型的性能，提高了解题的正确性。
27、说明书附图
28、图1为本专利技术的方法流程图。
本文档来自技高网...【技术保护点】
1.一种用于中文多项选择机器阅读理解的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述预训练语言模型包括Roberta-large或MacBERT-large模型。
3.根据权利要求1所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述将目标文本序列向量输入训练好的DUMAP模型预测阅读理解中每个问题的选项概率分布包括：
4.根据权利要求3所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述进行双向多头协同注意力包括：
5.根据权利要求3所述的一种用于中文多项选择机器阅读理解方法，其特征在于，在所述问题为正确项问题时，所述DUMAP模型通过如下第一损失函数进行训练得到：
6.根据权利要求5所述的一种用于中文多项选择机器阅读理解方法，其特征在于，在所述问题为错误项问题时，所述DUMAP模型通过如下第二损失函数进行训练得到：
7.根据权利要求6所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述DUMAP模型联合训练的联合损失
...【技术特征摘要】
1.一种用于中文多项选择机器阅读理解的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述预训练语言模型包括roberta-large或macbert-large模型。
3.根据权利要求1所述的一种用于中文多项选择机器阅读理解方法，其特征在于，所述将目标文本序列向量输入训练好的dumap模型预测阅读理解中每个问题的选项概率分布包括：
4.根据权利要求3所述的一种用于中文多项选择机器阅读理解方法，其特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。