意图识别模型的训练方法、意图识别方法及相关装置制造方法及图纸

本申请公开了一种意图识别模型的训练方法、意图识别方法及相关装置，该意图识别模型的训练方法包括：将第一训练样本集输入语义提取网络，得到多个第一训练样本各自对应的多组第一向量和第二向量，基于各组第一向量和第二向量，得到对比损失；其中，同一第一训练样本对应的第一向量和第二向量互为正样本；将各个第一向量输入意图识别网络，得到对应的预测意图，基于各个第一向量对应的意图标签和预测意图，得到意图损失；其中，意图识别模型包括语义提取网络和意图识别网络；基于对比损失和意图损失，对语义提取网络和意图识别网络中的参数进行调整。通过上述方式，本申请能够降低意图识别模型的训练成本以及提高意图识别的准确性。性。性。

【技术实现步骤摘要】
意图识别模型的训练方法、意图识别方法及相关装置


[0001]本申请涉及自然语言处理
，特别是涉及一种意图识别模型的训练方法、意图识别方法及相关装置。

技术介绍

[0002]意图识别作为信息检索最核心的技术之一，对于检索结果的准确性起到决定性的作用。对应用户输入的查询问句，机器需要正确理解用户的查询意图，根据用户意图类别进行精确的语义解析，最终返回最满足用户意愿的检索结果。目前，常用的意图识别方法是使用机器学习或者深度学习对数据进行模型训练，从而进行意图分类。但是，该方法需要使用大量的训练样本对模型进行训练，更多情况下需要人工构造数据，开发成本较大。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种意图识别模型的训练方法、意图识别方法及相关装置，能够降低意图识别模型的训练成本以及提高意图识别的准确性。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：提供一种意图识别模型的训练方法，包括：获取第一训练样本集；其中，所述第一训练样本集中的第一训练样本包括意图标签；将所述第一训练样本集输入语义提取网络，得到多个所述第一训练样本各自对应的多组第一向量和第二向量，基于各组所述第一向量和所述第二向量，得到对比损失；其中，同一所述第一训练样本对应的第一向量和第二向量互为正样本；将各个所述第一向量输入意图识别网络，得到各个所述第一向量对应的预测意图，基于各个所述第一向量对应的所述意图标签和所述预测意图，得到意图损失；其中，所述意图识别模型包括所述语义提取网络和所述意图识别网络；基于所述对比损失和所述意图损失，对所述语义提取网络和所述意图识别网络中的参数进行调整，得到训练后的所述意图识别模型。
[0005]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种意图识别方法，包括：获得待识别数据集；将所述待识别数据集输入意图识别模型，得到所述待识别数据集对应的意图识别结果；其中，所述意图识别模型基于上述技术方案中所述的意图识别模型的训练方法获得。
[0006]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如上述技术方案中所述的意图识别模型的训练方法或上述技术方案中所述的意图识别方法。
[0007]为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现如上述技术方案中所述的意图识别模型的训练方法或上述技术方案中所述的意图识别方法。
[0008]本申请的有益效果是：区别于现有技术的情况，本申请提出的意图识别模型的训练方法通过第一训练样本集，得到多个第一训练样本各自对应的多组互为正样本的第一向
量和第二向量，并基于各组第一向量和第二向量得到对比损失，避免了人工构造正样本，节省成本的同时也提高了准确率。另外，根据各个第一向量得到各个第一训练样本对应的预测意图，结合意图标签得到意图损失，并同时根据对比损失和意图损失对意图识别模型中的参数进行调整，极大提高了训练后的意图识别模型的识别准确率。
附图说明
[0009]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0010]图1是本申请意图识别模型的训练方法一实施方式的流程示意图；
[0011]图2是步骤S102对应一实施方式的流程示意图；
[0012]图3是本申请意图识别方法一实施方式的流程示意图；
[0013]图4是本申请意图识别模型一实施方式的结构示意图；
[0014]图5是本申请电子设备一实施方式的结构示意图；
[0015]图6是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
[0016]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0017]请参阅图1，图1是本申请意图识别模型的训练方法一实施方式的流程示意图，该方法包括：
[0018]S101：获取第一训练样本集。其中，第一训练样本集中的第一训练样本包括意图标签。
[0019]具体地，获取包含多个第一训练样本的第一训练样本集。其中，每个第一训练样本包括与之对应的意图标签。在本实施方式中，第一训练样本集中的每个第一训练样本为文本数据，意图标签包括与文本数据对应的意图类型。其中，意图标签可以是由相关人员对第一训练样本的内容进行理解并标注得到的。例如，第一训练样本为用户输入的“近三周在滨江区出现的蓝色宝马车”，即用户希望根据该第一训练样本搜索获得近三周内在滨江区出现的蓝色宝马车的轨迹，因此赋予该第一训练样本的意图标签为“车轨迹”。
[0020]可选地，在其他实施方式中，第一训练样本集的第一训练样本也可以为语音数据，并且当第一训练样本为语音数据时，可以通过语音识别技术将语音数据转换成对应的文本数据并执行后续步骤。
[0021]S102：将第一训练样本集输入语义提取网络，得到多个第一训练样本各自对应的多组第一向量和第二向量，基于各组第一向量和第二向量，得到对比损失。其中，同一第一训练样本对应的第一向量和第二向量互为正样本。
[0022]在一些实施方式中，将第一训练样本集输入语义提取网络，以使语义提取网络对
第一训练样本集中的第一训练样本进行语义提取，其中，语义提取网络将第一训练样本进行复制，得到同一第一训练样本对应的两份第一训练样本，并过滤其中一份第一训练样本中的部分特征，进而基于原始的第一训练样本和过滤后的第一训练样本得到一组第一向量和第二向量，对第一训练样本集中的各个第一训练样本进行遍历，得到多组第一向量和第二向量。
[0023]进一步地，基于过滤掉的部分特征以及第一向量和第二向量之间的差异，从而确定各组第一向量和第二向量之间的对比损失，从而实现无监督训练，以降低训练难度。
[0024]在一些应用场景中，第一训练样本为文本，基于第一训练样本中文本的词性，过滤第一训练样本中的部分特征，例如随机过滤至少部分名词或定语，从而明确过滤掉的部分特征的属性，以便获得更准确的对比损失。
[0025]在另一些实施方式中，请参阅图2，图2为步骤S102对应一实施方式的流程示意图。具体地，步骤S102包括：
[0026]S201：对第一训练样本集进行复制，得到第一训练样本集副本。
[0027]具体地，在步骤S201之前包括：构建语义提取网络。其中，本实施方式中语义提取网络为BERT。可选地，在其他实施方式中，语义提取网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种意图识别模型的训练方法，其特征在于，包括：获取第一训练样本集；其中，所述第一训练样本集中的第一训练样本包括意图标签；将所述第一训练样本集输入语义提取网络，得到多个所述第一训练样本各自对应的多组第一向量和第二向量，基于各组所述第一向量和所述第二向量，得到对比损失；其中，同一所述第一训练样本对应的第一向量和第二向量互为正样本；将各个所述第一向量输入意图识别网络，得到各个所述第一向量对应的预测意图，基于各个所述第一向量对应的所述意图标签和所述预测意图，得到意图损失；其中，所述意图识别模型包括所述语义提取网络和所述意图识别网络；基于所述对比损失和所述意图损失，对所述语义提取网络和所述意图识别网络中的参数进行调整，得到训练后的所述意图识别模型。2.根据权利要求1所述的方法，其特征在于，所述将所述第一训练样本集输入语义提取网络，得到多个所述第一训练样本各自对应的多组第一向量和第二向量的步骤，包括：对所述第一训练样本集进行复制，得到第一训练样本集副本；其中，所述第一训练样本集副本中包括与各个所述第一训练样本各自匹配的第一训练样本副本；将所述第一训练样本集和所述第一训练样本集副本输入语义提取网络，得到多组所述第一向量和第二向量；其中，所述第一向量与所述第一训练样本对应，所述第二向量与所述第一训练样本副本对应。3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练样本集和所述第一训练样本集副本输入语义提取网络，得到多组所述第一向量和第二向量的步骤，包括：将所述第一训练样本集和所述第一训练样本集副本输入语义提取网络，以使所述语义提取网络对所述第一训练样本进行语义提取得到所述第一向量，以及随机去除所述第一训练样本副本中的部分特征，并进行语义提取得到与所述第一向量区别的所述第二向量。4.根据权利要求2所述的方法，其特征在于，所述基于各组所述第一向量和所述第二向量，得到对比损失的步骤之前，还包括：获取第二训练样本集；其中，所述第二训练样本集中包含多个第二训练样本；从所述第二训练样本集中选取若干数量的所述第二训练样本，将选取的所述第二训练样本输入至所述语义提取网络中，得到对应的第三向量；其中，所...

【专利技术属性】
技术研发人员：钱佳佳，刘伟棠，陈立力，周明伟，范鹏召，郑燕玲，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：