一种多任务学习的答案选择和问题分类的方法及系统技术方案

一种多任务学习的答案选择和问题分类的方法及系统，以及一种多任务学习的答案选择和问题分类的模型训练的方法及系统，依据上述实施例的多任务学习的答案选择和问题分类的方法及系统，以及多任务学习的答案选择和问题分类的模型训练的方法及系统，提出一个基本的多任务网络(例如答案选择任务和问题分类任务)，以实现不同任务之间的相互交互；引入共享任务网络，关注和利用两个任务之间的语义和交互信息；引入共享标签嵌入网络，该网络通过问题分类任务中包含的有用信息，为未标记的答案句子提供伪标签，从而辅助答案选择进行预测，并提高两个任务的泛化性能。高两个任务的泛化性能。高两个任务的泛化性能。

【技术实现步骤摘要】
一种多任务学习的答案选择和问题分类的方法及系统


[0001]本专利技术涉及人工智能领域，具体涉及一种多任务学习的答案选择和问题分类的方法及系统，以及一种多任务学习的答案选择和问题分类的模型训练的方法及系统。

技术介绍

[0002]对于人工智能领域，问题分类是一个重要的研究领域，答案选择也是一个重要的研究领域。答案选择任务旨在选择包含确切答案的最合适的句子，而问题分类任务则需基于语义关系的特定领域分类法，根据一组预定义类别，将问题归为其中一个类别。针对这两个任务分别进行任务设计和训练各种模型既耗时又昂贵。

技术实现思路

[0003]针对上述问题，本专利技术提供一种多任务学习的答案选择和问题分类的方法及系统，以及一种多任务学习的答案选择和问题分类的模型训练的方法及系统，下面具体说明。
[0004]根据第一方面，一种实施例提供一种多任务学习的答案选择和问题分类的方法，包括：
[0005]获取输入信息；所述输入信息包括待分类的问题，或者问题及对应的一组候选答案；
[0006]将所述输入信息输入到多任务学习的答案选择和问题分类的模型中；
[0007]当所述输入信息为待分类的问题时，则所述多任务学习的答案选择和问题分类的模型输出问题的分类，当所述输入信息为问题及对应的一组候选答案，则多任务学习的答案选择和问题分类的模型输出从所述候选答案所选取的答案；
[0008]其中，所述多任务学习的答案选择和问题分类的模型通过以下方式被训练：
[0009]获取训练集；所述训练集至少包括问题，问题的标签，问题对应的一组候选答案；
[0010]通过嵌入层将问题和候选答案分别转换为问题嵌入向量W
q
和答案嵌入向量W
a
；
[0011]将所述问题嵌入向量W
q
和答案嵌入向量W
a
分别输入到双向长短期记忆网络中，以分别得到问题的初始上下文句子表示H
q
和答案的初始上下文句子表示H
a
；
[0012]对于答案选择任务：
[0013]通过问题嵌入向量W
q
、答案嵌入向量W
a
和共享注意力矩阵U
q
，计算关联性矩阵F；
[0014]对所述关联性矩阵F的行和列分别进行最大池化操作，以分别生成问题的基于上下文的注意力向量f
q
和答案的基于上下文的注意力向量f
a
；
[0015]根据问题的初始上下文句子表示H
q
和问题的基于上下文的注意力向量f
q
计算问题的句子表示q
out
；根据答案的初始上下文句子表示H
a
和答案的基于上下文的注意力向量f
a
计算答案的句子表示a
out
；
[0016]计算问题的句子表示q
out
和答案的句子表示a
out
之间的双线性相似性得分s(q
out
；a
out
)；
[0017]至少根据问题的句子表示q
out
、答案的句子表示a
out
和双线性相似性得分s(q
out
；
a
out
)生成隐含层向量表示X；
[0018]将隐含层向量表示X输入到隐藏层；
[0019]对隐藏层的输出通过答案选择任务的softmax层进行二元分类；
[0020]对于问题分类任务：
[0021]将问题的初始上下文句子表示H
q
作为注意力机制的输入，以得到权重W
c
；
[0022]根据权重W
c
和问题的初始上下文句子表示H
q
计算得到问题的句子表示Q；
[0023]基于所述问题的句子表示Q，生成所述共享注意力矩阵U
q
；
[0024]将所述问题的句子表示Q，输入到完全连接层；
[0025]对完全连接层的输出通过问题分类任务的softmax层进行二元分类；
[0026]对于标签，获取标签嵌入向量L，并计算标签嵌入向量L和隐含层向量表示X之间的相似度S；
[0027]将相似度S大于阈值的标签嵌入向量L输入到多层感知器中，得到伪标签，以更新所述训练集。
[0028]根据第二方面，一种实施例提供一种多任务学习的答案选择和问题分类的方法，包括：
[0029]获取输入信息；所述输入信息包括待分类的问题，或者问题及对应的一组候选答案；
[0030]将所述输入信息输入到多任务学习的答案选择和问题分类的模型中；
[0031]当所述输入信息为待分类的问题时，则所述多任务学习的答案选择和问题分类的模型输出问题的分类，当所述输入信息为问题及对应的一组候选答案，则多任务学习的答案选择和问题分类的模型输出从所述候选答案所选取的答案；
[0032]其中，所述多任务学习的答案选择和问题分类的模型通过以下方式被训练：
[0033]获取训练集；所述训练集至少包括问题，问题的标签，问题对应的一组候选答案；
[0034]通过嵌入层将问题和候选答案分别转换为问题嵌入向量W
q
和答案嵌入向量W
a
；
[0035]将所述问题嵌入向量W
q
和答案嵌入向量W
a
分别输入到双向长短期记忆网络中，以分别得到问题的初始上下文句子表示H
q
和答案的初始上下文句子表示H
a
；
[0036]对于答案选择任务：
[0037]通过问题嵌入向量W
q
、答案嵌入向量W
a
和注意力矩阵U，计算关联性矩阵F；
[0038]对所述关联性矩阵F的行和列分别进行最大池化操作，以分别生成问题的基于上下文的注意力向量f
q
和答案的基于上下文的注意力向量f
a
；
[0039]根据问题的初始上下文句子表示H
q
和问题的基于上下文的注意力向量f
q
计算问题的句子表示q
out
；根据答案的初始上下文句子表示H
a
和答案的基于上下文的注意力向量f
a
计算答案的句子表示a
out
；
[0040]计算问题的句子表示q
out
和答案的句子表示a
out
之间的双线性相似性得分s(q
out
；a
out
)；
[0041]至少根据问题的句子表示q
out
、答案的句子表示a
out
和双线性相似性得分s(q
out
；a
out
)生成隐含本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多任务学习的答案选择和问题分类的方法，其特征在于，包括：获取输入信息；所述输入信息包括待分类的问题，或者问题及对应的一组候选答案；将所述输入信息输入到多任务学习的答案选择和问题分类的模型中；当所述输入信息为待分类的问题时，则所述多任务学习的答案选择和问题分类的模型输出问题的分类，当所述输入信息为问题及对应的一组候选答案，则多任务学习的答案选择和问题分类的模型输出从所述候选答案所选取的答案；其中，所述多任务学习的答案选择和问题分类的模型通过以下方式被训练：获取训练集；所述训练集至少包括问题，问题的标签，问题对应的一组候选答案；通过嵌入层将问题和候选答案分别转换为问题嵌入向量W
q
和答案嵌入向量W
a
；将所述问题嵌入向量W
q
和答案嵌入向量W
a
分别输入到双向长短期记忆网络中，以分别得到问题的初始上下文句子表示H
q
和答案的初始上下文句子表示H
a
；对于答案选择任务：通过问题嵌入向量W
q
、答案嵌入向量W
a
和共享注意力矩阵U
q
，计算关联性矩阵F；对所述关联性矩阵F的行和列分别进行最大池化操作，以分别生成问题的基于上下文的注意力向量f
q
和答案的基于上下文的注意力向量f
a
；根据问题的初始上下文句子表示H
q
和问题的基于上下文的注意力向量f
q
计算问题的句子表示q
out
；根据答案的初始上下文句子表示H
a
和答案的基于上下文的注意力向量f
a
计算答案的句子表示a
out
；计算问题的句子表示q
out
和答案的句子表示a
out
之间的双线性相似性得分s(q
out
；a
out
)；至少根据问题的句子表示q
out
、答案的句子表示a
out
和双线性相似性得分s(q
out
；a
out
)生成隐含层向量表示X；将隐含层向量表示X输入到隐藏层；对隐藏层的输出通过答案选择任务的softmax层进行二元分类；对于问题分类任务：将问题的初始上下文句子表示H
q
作为注意力机制的输入，以得到权重W
c
；根据权重W
c
和问题的初始上下文句子表示H
q
计算得到问题的句子表示Q；基于所述问题的句子表示Q，生成所述共享注意力矩阵U
q
；将所述问题的句子表示Q，输入到完全连接层；对完全连接层的输出通过问题分类任务的softmax层进行二元分类；对于标签，获取标签嵌入向量L，并计算标签嵌入向量L和隐含层向量表示X之间的相似度S；将相似度S大于阈值的标签嵌入向量L输入到多层感知器中，得到伪标签，以更新所述训练集。2.一种多任务学习的答案选择和问题分类的方法，其特征在于，包括：获取输入信息；所述输入信息包括待分类的问题，或者问题及对应的一组候选答案；将所述输入信息输入到多任务学习的答案选择和问题分类的模型中；当所述输入信息为待分类的问题时，则所述多任务学习的答案选择和问题分类的模型输出问题的分类，当所述输入信息为问题及对应的一组候选答案，则多任务学习的答案选择和问题分类的模型输出从所述候选答案所选取的答案；
其中，所述多任务学习的答案选择和问题分类的模型通过以下方式被训练：获取训练集；所述训练集至少包括问题，问题的标签，问题对应的一组候选答案；通过嵌入层将问题和候选答案分别转换为问题嵌入向量W
q
和答案嵌入向量W
a
；将所述问题嵌入向量W
q
和答案嵌入向量W
a
分别输入到双向长短期记忆网络中，以分别得到问题的初始上下文句子表示H
q
和答案的初始上下文句子表示H
a
；对于答案选择任务：通过问题嵌入向量W
q
、答案嵌入向量W
a
和注意力矩阵U，计算关联性矩阵F；对所述关联性矩阵F的行和列分别进行最大池化操作，以分别生成问题的基于上下文的注意力向量f
q
和答案的基于上下文的注意力向量f
a
；根据问题的初始上下文句子表示H
q
和问题的基于上下文的注意力向量f
q
计算问题的句子表示q
out
；根据答案的初始上下文句子表示H
a
和答案的基于上下文的注意力向量f
a
计算答案的句子表示a
out
；计算问题的句子表示q
out
和答案的句子表示a
out
之间的双线性相似性得分s(q
out
；a
out
)；至少根据问题的句子表示q
out
、答案的句子表示a
out
和双线性相似性得分s(q
out
；a
out
)生成隐含层向量表示X；将隐含层向量表示X输入到隐藏层；对隐藏层的输出通过答案选择任务的softmax层进行二元分类；对于问题分类任务：将问题的初始上下文句子表示H
q
输入到完全连接层；对完全连接层的输出通过问题分类任务的softmax层进行二元分类；对于标签，获取标签嵌入向量L，并计算标签嵌入向量L和隐含层向量表示X之间的相似度S；将相似度S大于阈值的标签嵌入向量L输入到多层感知器中，得到伪标签，以更新所述训练集。3.一种多任务学习的答案选择和问题分类的模型训练的方法，其特征在于，包括：获取训练集；所述训练集至少包括问题，问题的标签，问题对应的一组候选答案；通过嵌入层将问题和候选答案分别转换为问题嵌入向量W
q
和答案嵌入向量W
a
；将所述问题嵌入向量W
q
和答案嵌入向量W
a<...

【专利技术属性】
技术研发人员：沈颖，
申请(专利权)人：中山大学，
类型：发明
国别省市：