一种问题文本分析模型的训练方法及装置制造方法及图纸

技术编号:32431626 阅读:20 留言:0更新日期:2022-02-24 18:46
本申请提供一种问题文本分析模型的训练方法及装置,其中,所述问题文本分析模型的训练方法包括:获取训练样本和所述训练样本对应的样本标签,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量;根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。停止条件。停止条件。

【技术实现步骤摘要】
一种问题文本分析模型的训练方法及装置


[0001]本申请涉及计算机
,特别涉及一种问题文本分析模型的训练方法及装置、查询语句生成方法及装置、计算设备和计算机可读存储介质。

技术介绍

[0002]知识库问答(knowledge base question answering,KB-QA)即给定自然语言问题,通过对问题进行语义理解和解析,进而利用知识库进行查询、推理得出答案。
[0003]传统的KB-QA方法可以归纳为语义解析,信息抽取和向量建模。现有的查询方案先通过查询知识库提取查询路径,然后使用特征做相似度匹配,费时费力,现有的一些人工智能模型方案遵循命名实体识别,实体链接,关系识别,答案检索的流程进行问答,使用多个模型分步骤进行,较为繁琐,消耗计算内存资源,查询效率也不够高。
[0004]因此,如何解决上述问题,就成为技术人员亟待解决的问题。

技术实现思路

[0005]有鉴于此,本申请实施例提供了一种问题文本分析模型的训练方法及装置、查询语句生成方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。
[0006]根据本申请实施例的第一方面,提供了一种问题文本分析模型的训练方法,包括:
[0007]获取训练样本和所述训练样本对应的样本标签,其中,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;
[0008]将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量
[0009]根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;
[0010]根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;
[0011]根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。
[0012]根据本申请实施例的第二方面,提供了一种查询语句生成方法,包括:
[0013]获取问题文本;
[0014]将所述问题文本输入至问题文本分析模型进行处理,获得所述问题文本对应的目标意图、目标关系和目标实体,其中,所述问题文本分析模型是通过上述任意一项所述的训练方法训练得到的;
[0015]将所述目标意图、所述目标关系和所述目标实体添加至预先配置的查询语句模板中的相应位置,生成目标查询语句。
[0016]根据本申请实施例的第三方面,提供了一种问题文本分析模型的训练装置,包括:
[0017]获取模块,被配置为获取训练样本和所述训练样本对应的样本标签,其中,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;
[0018]提取模块,被配置为将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量;
[0019]预测识别模块,被配置为根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;
[0020]计算模块,被配置为根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;
[0021]训练模块,被配置为根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。
[0022]根据本申请实施例的第四方面,提供了一种查询语句生成装置,包括:
[0023]获取模块,被配置为获取问题文本;
[0024]模型处理模块,被配置为将所述问题文本输入至问题文本分析模型进行处理,获得所述问题文本对应的目标意图、目标关系和目标实体,其中,所述问题文本分析模型是通过上述任意一项所述的训练方法训练得到的;
[0025]生成模块,被配置为将所述目标意图、所述目标关系和所述目标实体添加至预先配置的查询语句模板中的相应位置,生成目标查询语句。
[0026]根据本申请实施例的第五方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现所述问题文本分析模型的训练方法或所述查询语句生成方法的步骤。
[0027]根据本申请实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现所述问题文本分析模型的训练方法或所述查询语句生成方法的步骤。
[0028]根据本申请实施例的第七方面,提供了一种芯片,其存储有计算机指令,该指令被芯片执行时实现所述问题文本分析模型的训练方法或所述查询语句生成方法的步骤。
[0029]本申请实施例提供的问题文本分析模型的训练方法,通过获取训练样本和所述训练样本对应的样本标签,其中,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量;根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。本申请提供的模型训练方法,通过预测问题文本的意图,明确问句询问的实体属性,直接进行关系预测,而不是使用模型进行相似度计算,减少了内存的消耗,提升了模型的效率。
[0030]本申请实施例提供的查询语句生成方法,通过获取问题文本;将所述问题文本输入至问题文本分析模型进行处理,获得所述问题文本对应的目标意图、目标关系和目标实体,其中,所述问题文本分析模型是通过上述任意一项所述的问题文本分析模型的训练方
法训练得到的;将所述目标意图、所述目标关系和所述目标实体添加至预先配置的查询语句模板中的相应位置,生成目标查询语句。在生成查询语句的过程中,通过问题文本分析模型识别问题文本的实体并预测问题文本的关系和意图,减少了内存的消耗,提高了模型的效率,并且通过预测的关系匹配对应的查询语句模板,节约查询时间,进一步提高了查询效率。
附图说明
[0031]图1是本申请实施例提供的计算设备的结构框图;
[0032]图2是本申请实施例提供的问题文本分析模型的训练方法的流程图;
[0033]图3是本申请实施例提供的查询语句生成方法的流程图;
[0034]图4是本申请实施例提供的查询语句生成方法的示意图;
[0035]图5是本申请实施例提供的问题文本分析模型的训练装置的结构示意图;
[0036]图6是本申请实施例提供的查询语句生成装置的结构示意图。
具体实施方式
[0037]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种问题文本分析模型的训练方法,其特征在于,包括:获取训练样本和所述训练样本对应的样本标签,其中,所述训练样本包括问题文本,所述样本标签包括所述问题文本对应的意图标签、关系标签和实体标签;将所述问题文本输入至问题文本分析模型进行处理,提取所述问题文本的第一特征向量和第二特征向量;根据所述第一特征向量确定所述问题文本的预测意图和预测关系,根据所述第二特征向量确定所述问题文本的预测实体;根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值;根据所述损失值对所述问题文本分析模型进行迭代训练,直至达到训练停止条件。2.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述第一特征向量确定所述问题文本的预测意图和预测关系,包括:根据所述第一特征向量和预设的意图库中的意图类别进行比对,确定所述第一特征向量对应的预测意图;根据所述第一特征向量和预设的关系库中的关系类别进行比对,确定所述第一特征向量对应的预测关系。3.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,所述问题文本为二度问题文本;根据所述第一特征向量确定所述问题文本的预测意图和预测关系,包括:根据所述第一特征向量和预设的意图库中的意图类别进行比对,确定所述第一特征向量对应的一度预测意图和二度预测意图;根据所述第一特征向量和预设的关系库中的关系类别进行比对,确定所述第一特征向量对应的一度预测关系和二度预测关系。4.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述第二特征向量确定所述问题文本的预测实体,包括:对所述第二特征向量做命名实体识别处理,获得所述问题文本的预测实体。5.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值,包括:根据所述预测意图和所述意图标签计算第一损失值;根据所述预测关系和关系标签计算第二损失值;根据所述预测实体和所述实体标签计算第三损失值。6.如权利要求3所述的问题文本分析模型的训练方法,其特征在于,所述意图标签包括一度意图标签和二度意图标签,所述关系标签包括一度关系标签和二度关系标签;根据所述预测意图、所述预测关系和所述预测实体与所述意图标签、所述关系标签和所述实体标签计算损失值,包括:根据所述一度预测意图和所述一度意图标签、所述二度预测意图和所述二度意图标签计算第一损失值;根据所述一度预测关系和所述一度关系标签、所述二度预测关系和所述二度关系标签
计算第二损失值;根据所述预测实体和所述实体标签计算第三损失值。7.如权利要求5或6所述的问题文本分析模型的训练方法,其特征在于,根据所述损失值对所述问题文本分析模型进行迭代训练,包括:联合所述第一损失值、所述第二损失值和所述第三损失值对所述问题文本分析模型进行迭代训练。8.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,所述训练停止条件包括:所述损失值小于预设阈值或迭代训练的次数到达预设的迭代次数。9.如权利要求1所述的问题文本分析模型的训练方法,其特征在于,提取所述问题文本的第一特征向量和第二特征向量,包括:将所述问题文本进行分词处理,得到所述问题文本对应的词单元集合;对所述词单元集合中的每个词单元做嵌入化处理,获得所述词单元集合对应的词单元向量集合;将所述词单元向量集合做编码处理,获得所述词单元集合的第一特征向量和第二特征向量。10.一种查询语句生成方法,其特征在于,包括:获取问题文本;将所述问题文本输...

【专利技术属性】
技术研发人员:汪洲李长亮汪美玲
申请(专利权)人:北京金山数字娱乐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1