一种观点型机器阅读理解的实现方法、装置制造方法及图纸

本申请公开了一种观点型机器阅读理解的实现方法，该方法包括，分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，输出基于上下文信息加权的候选答案，从所述基于上下文信息加权的候选答案识别出最佳候选答案。本发明专利技术为动态的选择型问题匹配最佳的答案，正确率高。

【技术实现步骤摘要】
一种观点型机器阅读理解的实现方法、装置
本专利技术涉及机器理解领域，特别地，涉及一种观点型机器阅读理解的实现方法。
技术介绍
在机器理解中，有时需要结合上下文信息进行推理，才可以获得正确的理解结果。例如，今天是不是在下雨？感冒吃小柴胡好还是吃感冒灵颗粒好？此类问题需要结合上下文信息进行推理，才可以得到答案。观点型问题主要包括两面性问题和选择型问题，前者指“是不是”、“可不可以”等具备【A或不A】特性的问题，后者指“小柴胡还是感冒灵”、“苹果还是雪梨”等具备【A或B】特性的问题。现有阅读理解模型往往为抽取型阅读理解模型，对问题和上下文进行信息处理，经过词嵌入、编码、匹配、融合等流程后，采用指针网(pointernet)从上下文中截取出答案，具体实现如:模型化句子对的多路注意力网络(MultiwayAttentionNetworksforModelingSentencePairs)、BiDAF、R-net等。观点型阅读理解的解决方案沿用了普通阅读理解模型的前四步，即词嵌入、编码、匹配、融合，最后，根据问题直接从上下文抽出的向量表示,与编码后的候选答案进行矩阵乘法，得出每个候选答案作为答案的概率。这种方式将候选答案独立于上下文之外，更容易解决【A、B、无法确定】型分类问题，但由于观点型问题的答案往往是动态的、需要推理的，现有解决方案大多数趋向于分类，采用分类的思想并不能动态地融入候选观点知识信息和动态地推理答案，这样，对于动态的选择型问题却往往很难得到理想答案。
技术实现思路
本专利技术提供了一种观点型机器阅读理解的实现方法，以为动态的选择型问题匹配最佳的答案。本专利技术提供的一种观点型机器阅读理解的实现方法是这样实现的：将自然语言文本所包括的上下文、问题、以及候选答案分别转化为词向量表示，分别获得上下文词向量、问题词向量、候选答案词向量；对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，分别获得上下文语境化编码结果、问题语境化编码结果、候选答案语境化编码结果；将上下文语境化编码结果与问题语境化编码结果进行匹配，获得上下文与问题的匹配结果；将各个上下文词向量、上下文语境化编码结果、以及上下文与问题的匹配结果进行融合，获得各个上下文词向量的融合结果；分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，输出基于上下文信息加权的候选答案，从所述基于上下文信息加权的候选答案识别出最佳候选答案。其中，所述对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，包括，通过双向长短时记忆神经网络结构对问题词向量进行编码，得到问题语境化编码结果；将对问题词向量编码过程中双向长短时记忆神经网络中隐藏层状态信息作为上下文、候选答案的LSTM神经网络编码的初始化状态信息，通过双向LSTM神经网络结构对上下文、候选答案分别进行编码，分别获得上下文语境化编码结果、问候选答案语境化编码结果，并将问候选答案语境化编码结果作为胶囊网络结构中的初始胶囊。其中，所述分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，包括，采用二维卷积神经网络以一定窗口大小进行上下文信息的抽取，通过最大池化提取所抽取的信息，得到基于问题抽取的上下文信息。其中，所述以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，包括，将所述问候选答案语境化编码结果作为初始胶囊，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，通过胶囊网络结构，按照候选答案的数量n，进行n轮胶囊之间的动态路由迭代，获得n个代表候选答案的胶囊，每个胶囊是基于上下文信息加权的候选答案。其中，所述候选答案包括第一分类答案、第二分类答案、以及无法确定第一分类和第二分类的第三答案；所述从所述基于上下文信息加权的候选答案识别出最佳候选答案包括，通过压缩函数操作获得胶囊向量模长，将模长最长的胶囊作为最佳候选答案。本专利技术还提供了一种观点型机器阅读理解的实现装置，，该装置包括，词嵌入层模块，将自然语言文本所包括的上下文、问题、以及候选答案分别转化为词向量表示，分别获得上下文词向量、问题词向量、候选答案词向量；上下文嵌入模块，对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，分别获得上下文语境化编码结果、问题语境化编码结果、候选答案语境化编码结果；匹配模块，将上下文语境化编码结果与问题语境化编码结果进行匹配，获得上下文与问题的匹配结果；融合模块，将各个上下文词向量、上下文语境化编码结果、以及上下文与问题的匹配结果进行融合，获得各个上下文词向量的融合结果；信息抽取模块，分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，动态路由模块，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，输出基于上下文信息加权的候选答案，分类模块，从所述基于上下文信息加权的候选答案识别出最佳候选答案。其中，所述上下文嵌入模块还包括，通过双向长短时记忆神经网络结构对问题词向量进行编码，得到问题语境化编码结果；将对问题词向量编码过程中双向长短时记忆神经网络中隐藏层状态信息作为上下文、候选答案的LSTM神经网络编码的初始化状态信息，通过双向LSTM神经网络结构对上下文、候选答案分别进行编码，分别获得上下文语境化编码结果、问候选答案语境化编码结果，并将问候选答案语境化编码结果作为胶囊网络结构中的初始胶囊。所述信息抽取模块还包括，采用二维卷积神经网络以一定窗口大小进行上下文信息的抽取，通过最大池化提取所抽取的信息，得到基于问题抽取的上下文信息；所述动态路由模块还包括，将所述问候选答案语境化编码结果作为初始胶囊，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，通过胶囊网络结构，按照候选答案的数量n，进行n轮胶囊之间的动态路由迭代，获得n个代表候选答案的胶囊，每个胶囊是基于上下文信息加权的候选答案。所述分类模块还包括，通过压缩函数操作获得胶囊向量模长，将模长最长的胶囊作为最佳候选答案；所述候选答案包括第一分类答案、第二分类答案、以及无法确定第一分类和第二分类的第三答案。本专利技术还提供一种支持观点型机器阅读理解的电子设备，该电子设备包括存储器和处理器，其中，存储器用于存储指令，该指令在由处理器执行时使得处理器执行所述观点型机器阅读理解的实现方法的步骤。本专利技术还提供了一种计算机存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述观点型机器阅读理解的实现方法的步骤。本专利技术通过以候选答案语境化编码结果为聚类中心，以基于问题抽取的上下文信息为聚类信息，通过胶囊网络结构进行动态路由迭代，根据胶囊向量的模长选择出最佳的候选答案。本专利技术很好地利用了候选答案的信息，强化了从上下文中抽取答案的能力。即使在上下文中没有直接回答问题，也可以从侧面信息进行推理并得出观点，提高了机器理解的正确性和可靠性，避免了现有技术中先独立从上下文抽取答案，再将该答案与候选答案进行比较而导致观点型机器理解局限性，提高了机器理解的本文档来自技高网...

【技术保护点】
1.一种观点型机器阅读理解的实现方法，其特征在于，该方法包括，将自然语言文本所包括的上下文、问题、以及候选答案分别转化为词向量表示，分别获得上下文词向量、问题词向量、候选答案词向量；对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，分别获得上下文语境化编码结果、问题语境化编码结果、候选答案语境化编码结果；将上下文语境化编码结果与问题语境化编码结果进行匹配，获得上下文与问题的匹配结果；将各个上下文词向量、上下文语境化编码结果、以及上下文与问题的匹配结果进行融合，获得各个上下文词向量的融合结果；分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，输出基于上下文信息加权的候选答案，从所述基于上下文信息加权的候选答案识别出最佳候选答案。

【技术特征摘要】
1.一种观点型机器阅读理解的实现方法，其特征在于，该方法包括，将自然语言文本所包括的上下文、问题、以及候选答案分别转化为词向量表示，分别获得上下文词向量、问题词向量、候选答案词向量；对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，分别获得上下文语境化编码结果、问题语境化编码结果、候选答案语境化编码结果；将上下文语境化编码结果与问题语境化编码结果进行匹配，获得上下文与问题的匹配结果；将各个上下文词向量、上下文语境化编码结果、以及上下文与问题的匹配结果进行融合，获得各个上下文词向量的融合结果；分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，输出基于上下文信息加权的候选答案，从所述基于上下文信息加权的候选答案识别出最佳候选答案。2.如权利要求1所述的实现方法，其特征在于，所述对上下文词向量、问题词向量、候选答案词向量分别进行语境化编码，包括，通过双向长短时记忆神经网络结构对问题词向量进行编码，得到问题语境化编码结果；将对问题词向量编码过程中双向长短时记忆神经网络中隐藏层状态信息作为上下文、候选答案的LSTM神经网络编码的初始化状态信息，通过双向LSTM神经网络结构对上下文、候选答案分别进行编码，分别获得上下文语境化编码结果、问候选答案语境化编码结果，并将问候选答案语境化编码结果作为胶囊网络结构中的初始胶囊。3.如权利要求2所述的实现方法，其特征在于，所述分别对各个上下文词向量的融合结果进行信息抽取，获得基于问题抽取的上下文信息，包括，采用二维卷积神经网络以一定窗口大小进行上下文信息的抽取，通过最大池化提取所抽取的信息，得到基于问题抽取的上下文信息。4.如权利要求2或3所述的实现方法，其特征在于，所述以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，进行动态路由迭代，包括，将所述问候选答案语境化编码结果作为初始胶囊，以候选答案语境化编码结果为聚类中心，以所述基于问题抽取的上下文信息为聚类信息，通过胶囊网络结构，按照候选答案的数量n，进行n轮胶囊之间的动态路由迭代，获得n个代表候选答案的胶囊，每个胶囊是基于上下文信息加权的候选答案。5.如权利要求4所述的实现方法，其特征在于，所述候选答案包括第一分类答案、第二分类答案、以及无法确定第一分类和第二分类的第三答案；所述从所述基于上下文信息加权的候选答案识别出最佳候选答案包括，通过压缩函数操作获得胶囊向量模长，将模长最长的胶囊作为最佳候选答案。6.一种观点型机器阅读理解的实现装置，其特征在于，该装置包括，词...

【专利技术属性】
技术研发人员：杨志明，
申请(专利权)人：深思考人工智能机器人科技北京有限公司，
类型：发明
国别省市：北京,11