本申请提供一种意图识别模型训练方法、装置、电子设备及存储介质，该方法包括：获取原始数据集；对原始数据集进行数据增强模拟，获得模拟数据集，模拟数据集包括：多个类别的已知意图文本和一个类别的未知意图文本，其中，已知意图文本与原始文本不存在逻辑冲突，未知意图文本与原始文本存在逻辑冲突；从原始数据集和模拟数据集中筛选出多个正样本文本和多个负样本文本，正样本文本的类别与负样本文本的类别是不同的；使用多个正样本文本和多个负样本文本对文本分类神经网络进行对比学习训练，获得训练后的意图识别模型，意图识别模型用于识别文本的意图类别。识别文本的意图类别。识别文本的意图类别。
【技术实现步骤摘要】
意图识别模型训练方法、装置、电子设备及存储介质
[0001]本申请涉及自然语言处理的
，具体而言，涉及一种意图识别模型训练方法、装置、电子设备及存储介质。
技术介绍
[0002]目前，通常使用基于神经网络结构的文本分类模型识别出文本内容的意图类别，从而获得文本内容在语义上表达的意图结果。然而，在具体实践过程中发现，这些文本分类模型针对已经训练过的意图类别文本有较好的正确率，很难识别出没有训练过的未知意图类别文本。
技术实现思路
[0003]本申请实施例的目的在于提供一种意图识别模型训练方法、装置、电子设备及存储介质，用于改善很难识别出没有训练过的未知意图类别文本的问题。
[0004]第一方面，本申请实施例提供了一种意图识别模型训练方法，包括：获取原始数据集，原始数据集包括：多个类别的原始文本，多个类别中的每个类别下均有多个原始文本；对原始数据集进行数据增强模拟，获得模拟数据集，模拟数据集包括：多个类别的已知意图文本和一个类别的未知意图文本，其中，已知意图的类别与原始文本的类别是对应的，已知意图文本与原始文本不存在逻辑冲突，未知意图文本与原始文本存在逻辑冲突；从原始数据集和模拟数据集中筛选出多个正样本文本和多个负样本文本，正样本文本的类别与负样本文本的类别是不同的；使用多个正样本文本和多个负样本文本对文本分类神经网络进行对比学习训练，获得训练后的意图识别模型，意图识别模型用于识别文本的意图类别。在上述方案的实现过程中，通过使用包含未知意图文本的模拟数据集来训练意图识别模型，且使用原始数据集和模拟数据集中筛选出正样本文本和负样本文本来训练意图识别模型，避免了传统模型将未知意图类别文本始终分类给已知意图类别的情况，使得训练出来的意图识别模型有效地识别出未知意图的文本类别，从而提高了训练出来的意图识别模型识别出未知意图文本的正确率。
[0005]在第一方面的一种可选实现方式中，对原始数据集进行数据增强模拟，包括：对原始文本进行数据增强，获得模拟出的变化文本；判断原始文本与原始文本对应的变化文本是否存在逻辑冲突；若是，则将该变化文本确定为未知意图文本，否则，将该变化文本确定为已知意图文本，并将原始文本的类别标注为已知意图的类别。
[0006]在上述方案的实现过程中，通过对原始文本进行数据增强，并根据原始文本与变化文本是否存在逻辑冲突来确定未知意图文本，提高了模拟生成未知意图文本的准确率，使得训练出来的意图识别模型有效地识别出未知意图的文本类别，从而提高了训练出来的意图识别模型识别出未知意图文本的正确率。
[0007]在第一方面的一种可选实现方式中，使用多个正样本文本和多个负样本文本对文本分类神经网络进行对比学习训练，包括：分别计算正样本文本的表示向量和负样本文本
的表示向量；根据正样本文本的表示向量和负样本文本的表示向量确定文本分类神经网络的对比学习目标损失值和分类学习目标损失值；根据对比学习目标损失值和分类学习目标损失值确定文本分类神经网络的总损失值；根据文本分类神经网络的总损失值更新意图识别模型的模型参数，直到意图识别模型满足训练终止条件。
[0008]在上述方案的实现过程中，通过对比学习方式来更新意图识别模型的模型参数，使得同类数据样本更加聚焦靠拢，不同类的数据样本相互远离，使得意图识别模型在对比学习之后能够达到更好的效果。
[0009]在第一方面的一种可选实现方式中，在分别计算正样本文本的表示向量和负样本文本的表示向量之后，还包括：根据正样本文本的表示向量和负样本文本的表示向量确定在意图识别模型中决策边界的损失值，决策边界是以正样本文本的目标类别在意图识别模型中的决策中心向量为圆中心点，以目标类别在意图识别模型中的决策半径为圆半径的圆形，决策中心向量是意图识别模型计算出目标类别的所有文本表示向量的向量均值；根据决策边界的损失值更新意图识别模型的模型参数，直到意图识别模型满足训练终止条件，模型参数包括：目标类别在意图识别模型中的决策半径。
[0010]在上述方案的实现过程中，通过对比学习训练的方式来更新意图识别模型的模型参数，使得同类数据样本更加聚焦靠拢，不同类的数据样本相互远离，使得决策半径在学习后能够达到更好的效果。
[0011]在第一方面的一种可选实现方式中，在获得训练后的意图识别模型之后，还包括：获取待处理文本；使用训练后的意图识别模型识别出待处理文本的意图类别。
[0012]在第一方面的一种可选实现方式中，使用训练后的意图识别模型识别出待处理文本的意图类别，包括：使用训练后的意图识别模型计算待处理文本的文本表示向量，并计算待处理文本的文本表示向量与意图识别模型中每个类别对应的决策中心向量之间的向量距离，获得多个向量距离；判断多个向量距离中的最小向量距离对应类别是否是未知意图类别；若是，则将待处理文本的意图类别确定为未知意图类别。
[0013]在第一方面的一种可选实现方式中，在判断多个向量距离中的最小向量距离对应类别是否是未知意图类别之后，还包括：若多个向量距离中的最小向量距离对应类别不是未知意图类别，且多个向量距离中的最小向量距离大于该最小向量距离对应类别的决策半径，则将待处理文本的意图类别确定为未知意图类别；若多个向量距离中的最小向量距离对应类别不是未知意图类别，且多个向量距离中的最小向量距离小于该最小向量距离对应类别的决策半径，则将待处理文本的意图类别确定为该最小向量距离对应的已知意图类别。
[0014]在上述方案的实现过程中，通过结合模拟出未知意图的负样本数据和K聚拢对比学习训练的方式训练模型，避免了传统模型将未知意图类别文本始终分类给已知意图类别的情况，使得训练出来的意图识别模型有效地识别出未知意图的文本类别，从而提高了训练出来的意图识别模型识别出未知意图文本的正确率。
[0015]第二方面，本申请实施例提供了一种意图识别模型训练装置，包括：原始数据获取模块，用于获取原始数据集，原始数据集包括：多个类别的原始文本，多个类别中的每个类别下均有多个原始文本；数据增强模拟模块，用于对原始数据集进行数据增强模拟，获得模拟数据集，模拟数据集包括：多个类别的已知意图文本和一个类别的未知意图文本，其中，
已知意图的类别与原始文本的类别是对应的，已知意图文本与原始文本不存在逻辑冲突，未知意图文本与原始文本存在逻辑冲突；样本文本筛选模块，用于从原始数据集和模拟数据集中筛选出多个正样本文本和多个负样本文本，正样本文本的类别与负样本文本的类别是不同的；对比学习训练模块，用于使用多个正样本文本和多个负样本文本对文本分类神经网络进行对比学习训练，获得训练后的意图识别模型，意图识别模型用于识别文本的意图类别。
[0016]在第二方面的一种可选实现方式中，数据增强模拟模块，包括：文本数据增强子模块，用于对原始文本进行数据增强，获得模拟出的变化文本；逻辑冲突判断子模块，用于判断原始文本与原始文本对应的变化文本是否存在逻辑冲突；变化文本标注子模块，用于若原始文本与原始文本对应的变化文本存在逻辑冲突，则将该变化文本确定为未知意图文本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种意图识别模型训练方法，其特征在于，包括：获取原始数据集，所述原始数据集包括：多个类别的原始文本，所述多个类别中的每个类别下均有多个原始文本；对所述原始数据集进行数据增强模拟，获得模拟数据集，所述模拟数据集包括：多个类别的已知意图文本和一个类别的未知意图文本，其中，所述已知意图的类别与所述原始文本的类别是对应的，所述已知意图文本与所述原始文本不存在逻辑冲突，所述未知意图文本与所述原始文本存在逻辑冲突；从所述原始数据集和所述模拟数据集中筛选出多个正样本文本和多个负样本文本，所述正样本文本的类别与所述负样本文本的类别是不同的；使用所述多个正样本文本和所述多个负样本文本对文本分类神经网络进行对比学习训练，获得训练后的意图识别模型，所述意图识别模型用于识别文本的意图类别。2.根据权利要求1所述的方法，其特征在于，所述对所述原始数据集进行数据增强模拟，包括：对所述原始文本进行数据增强，获得模拟出的变化文本；判断所述原始文本与所述原始文本对应的变化文本是否存在逻辑冲突；若是，则将该变化文本确定为所述未知意图文本，否则，将该变化文本确定为所述已知意图文本，并将所述原始文本的类别标注为所述已知意图的类别。3.根据权利要求1所述的方法，其特征在于，所述使用所述多个正样本文本和所述多个负样本文本对文本分类神经网络进行对比学习训练，包括：分别计算所述正样本文本的表示向量和所述负样本文本的表示向量；根据所述正样本文本的表示向量和所述负样本文本的表示向量确定所述文本分类神经网络的对比学习目标损失值和分类学习目标损失值；根据所述对比学习目标损失值和所述分类学习目标损失值确定所述文本分类神经网络的总损失值；根据所述文本分类神经网络的总损失值更新所述意图识别模型的模型参数，直到所述意图识别模型满足训练终止条件。4.根据权利要求3所述的方法，其特征在于，在所述分别计算所述正样本文本的表示向量和所述负样本文本的表示向量之后，还包括：根据所述正样本文本的表示向量和所述负样本文本的表示向量确定在所述意图识别模型中决策边界的损失值，所述决策边界是以正样本文本的目标类别在所述意图识别模型中的决策中心向量为圆中心点，以所述目标类别在所述意图识别模型中的决策半径为圆半径的圆形，所述决策中心向量是所述意图识别模型计算出所述目标类别的所有文本表示向量的向量均值；根据所述决策边界的损失值更新所述意图识别模型的模型参数，直到所述意图识别模型满足训练终止条件，所述模型参数包括：所述目标类别在所述意图识别模型中的决策半径。5.根据权利要求1
‑
4任一...
【专利技术属性】
技术研发人员：刘小康，李健铨，穆晶晶，胡加明，
申请(专利权)人：鼎富智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。