一种新增意图识别方法、分布外监测模型的训练方法、装置、电子设备制造方法及图纸

本申请提出一种新增意图识别方法、分布外监测模型的训练方法、装置、电子设备，首先，通过对标签训练数据构建类中心向量，进而利用标签训练数据与类中心向量，对标签训练数据的初始分类决策边界进行范围调整。使得范围调整后的分类决策边界能够对历史意图语料与新增意图语料进行有效区分，获得历史意图分类结果与新增意图分类数据集；进而针对该批次新增意图分类数据集，构建对应的分布外监测模型，进而通过该模型识别新增意图分类数据集，对应的分类结果，使得表征该分类决策边界的分布外监测模型，能够在新增意图的类别结果识别中，提高识别效率。识别效率。识别效率。

【技术实现步骤摘要】
一种新增意图识别方法、分布外监测模型的训练方法、装置、电子设备


[0001]本申请涉及机器学习与自然语言处理交叉领域，具体而言，涉及一种新增意图识别方法、分布外监测模型的训练方法、装置、电子设备。

技术介绍

[0002]随着人工智能技术的不断发展，多轮对话系统在人机交互领域得到了广泛应用。多轮对话系统可以模拟自然语言交流，实现与用户的智能对话，为用户提供各种服务和信息。然而，现有多轮对话系统，如何有效地处理语料中的新增意图成为了该领域的一个具有挑战性的问题。
[0003]现有技术的意图分类方法采用封闭世界的假设，即训练和测试数据都来自同一个已知的意图标签集合。导致如果出现新的意图标签，传统方法可能无法正确分类。在实际生产环境中随着企业业务的推进，新增意图类别会成批次出现。一个简单的解决思路是每次都在全量的数据上重新训练模型，但这种做法会消耗过多的时间和存储成本，无法适用于业务快速迭代的现实场景。
[0004]现有的解决方案包括在线学习、迁移学习和元学习等方法。在线学习的方法可以通过不断地训练模型来适应新的意图类别，但是也需要大量的时间和计算资源，并且可能会导致模型的过拟合。迁移学习的方法可以将模型从一个领域迁移到另一个领域，从而实现新意图类别的识别，但是也需要大量的训练数据和模型的调整。元学习的方法可以通过学习模型的学习能力来实现新意图类别的识别，但是也需要大量的训练数据和复杂的模型设计。
[0005]无论采用上述何种方式，均会大大提高了训练模型的时长、算力及数据存储的成本，降低了业务迭代的效率。

技术实现思路

[0006]本申请的目的在于提供一种新增意图识别方法、分布外监测模型的训练方法、装置、电子设备，其有效地降低全量数据训练模型以及模型设计所造成的大量资源开销，同时提高模型迭代效率，最终使用该思路构建的多轮对话系统能够提供更加高效优质的意图识别服务。
[0007]为了实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供一种新增意图识别方法，包括：将待识别意图数据集输入嵌套式分布外监测模型OOD
modelN
‑1，获得历史意图分类结果W
N
与新增意图分类数据集T
N
；所述嵌套式分布外监测模型OOD
modelN
‑1包含在第N个识别周期之前的N
‑
1个识别周期分别对应的分布外监测模型，每个所述分布外监测模型表征对应的意图数据的分类决策边界，N≥2；将所述新增意图分类数据集T
N
输入第W
N
识别周期对应的新增分布外监测模型
OOD
modelN
，获得所述新增意图分类数据集T
N
对应的新增意图分类结果；所述新增分布外监测模型OOD
modelN
通过所述新增意图分类数据集T
N
对应的新增标签训练数据训练获得，用于表征新增意图分类数据集T
N
对应的意图数据的分类决策边界。
[0008]可选地，所述将所述新增意图分类数据集T
N
输入第N个识别周期对应的新增分布外监测模型，获得所述新增意图分类数据集T
N
对应的新增意图分类结果的步骤，表达式如下：T
result
=OOD
modelN
（
…
OOD
model2
（OOD
model1
（T
N
）））其中，T
result
表征所述新增意图分类数据集T
N
对应的新增意图分类结果，OOD
modelN
表征所述新增分布外监测模型。
[0009]可选地，所述将待识别意图数据集输入嵌套式分布外监测模型OOD
modelN
‑1，获得历史意图分类结果W
n
与新增意图分类数据集T
n
的步骤，满足如下公式：其中，所述是所述历史意图数据分类的阈值，所述函数表示向量间的欧式距离；当所述待识别意图数据集的样本与所述类中心向量的距离大于所述阈值时，将所述样本判定为所述新增意图分类数据集T
n
的分类数据；当所述待识别意图数据集的样本与所述类中心向量c
k
的距离小于所述阈值时，将所述样本分类到距离最小的历史意图分类结果上。
[0010]可选地，在所述将所述新增意图分类数据集T
n
输入第N个识别周期对应的新增分布外监测模型的步骤，之前，还包括：获得所述新增意图分类数据集T
n
对应的新增标签训练数据；对所述新增标签训练数据输入语言表征模型，获得所述标签训练数据对应的新增文本向量表示；根据所述新增文本向量表示对所述语言表征模型进行调整，获得所述新增标签训练数据对应的新增特征提取器；根据所述新增特征提取器计算所述新增标签训练数据对应的新增向量表示；根据所述新增标签训练数据的标签与所述新增向量表示，计算所述新增标签训练数据的新增类中心向量；根据所述新增标签训练数据与所述新增类中心向量，对所述新增标签训练数据的初始分类决策边界进行范围调整，当范围调整后的分类决策边界与新增标签训练数据匹配时，获得所述新增分布外监测模型。
[0011]可选地，所述新增类中心向量的表达式如下：其中，为新增意图分类的样本数量，所述为所述新增标签训练数据的样本，所述为所述新增标签训练数据的类别标签，所述为所述新增意图分类对应的新增类中心向量。
[0012]第二方面，本申请实施例提供一种分布外监测模型的训练方法，包括：获得意图分类数据集对应的标签训练数据；确定所述标签训练数据的类中心向量；根据所述标签训练数据与所述类中心向量，对所述标签训练数据的初始分类决策边界进行范围调整，当范围调整后的分类决策边界与标签训练数据匹配时，获得所述分布外监测模型。
[0013]可选地，所述确定所述标签训练数据的类中心向量的步骤，包括：对所述标签训练数据输入语言表征模型，获得所述标签训练数据对应的文本向量表示；根据所述文本向量表示对所述语言表征模型进行调整，获得所述标签训练数据对应的特征提取器；根据所述特征提取器计算所述标签训练数据对应的向量表示；根据所述标签训练数据的标签与所述向量表示，计算所述标签训练数据的类中心向量。
[0014]第三方面，本申请实施例提供一种新增意图识别装置，包括：意图区分模块与意图识别模块；所述意图区分模块，用于将待识别意图数据集输入嵌套式分布外监测模型OOD
modelN
‑1，获得历史意图分类结果W
N
与新增意图分类数据集T
N
；所述嵌套式分布外监测模型OOD
modelN
‑1包含在第N个识别周期之前的N
‑
1个识别周期分别对应的分布外监测模型，每个所述分布外监测模型表征对应的意图数据的分类决策边界，N≥2；所述意图识别模块，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新增意图识别方法，其特征在于，包括：将待识别意图数据集输入嵌套式分布外监测模型OOD
modelN
‑1，获得历史意图分类结果W
N
与新增意图分类数据集T
N
；所述嵌套式分布外监测模型OOD
modelN
‑1包含在第N个识别周期之前的N
‑
1个识别周期分别对应的分布外监测模型，每个所述分布外监测模型表征对应的意图数据的分类决策边界，N≥2；将所述新增意图分类数据集T
N
输入第N个识别周期对应的新增分布外监测模型OOD
modelN
，获得所述新增意图分类数据集T
N
对应的新增意图分类结果；所述新增分布外监测模型OOD
modelN
通过所述新增意图分类数据集T
N
对应的新增标签训练数据训练获得，用于表征新增意图分类数据集T
N
对应的意图数据的分类决策边界。2.根据权利要求1所述的方法，其特征在于，所述将所述新增意图分类数据集T
N
输入第N个识别周期对应的新增分布外监测模型，获得所述新增意图分类数据集T
N
对应的新增意图分类结果的步骤，表达式如下：T
result
=OOD
modelN
（
…
OOD
model2
（OOD
model1
（T
N
）））其中，T
result
表征所述新增意图分类数据集T
N
对应的新增意图分类结果，OOD
modelN
表征所述新增分布外监测模型。3.根据权利要求1所述的方法，其特征在于，所述将待识别意图数据集输入嵌套式分布外监测模型OOD
modelN
‑1，获得历史意图分类结果W
n
与新增意图分类数据集T
n
的步骤，满足如下公式：其中，所述是所述历史意图数据分类的阈值，所述函数表示向量间的欧式距离；当所述待识别意图数据集的样本与所述类中心向量的距离大于所述阈值时，将所述样本判定为所述新增意图分类数据集T
n
的分类数据；当所述待识别意图数据集的样本与所述类中心向量c
k
的距离小于所述阈值时，将所述样本分类到距离最小的历史意图分类结果上。4.根据权利要求1所述的方法，其特征在于，在所述将所述新增意图分类数据集T
n
输入第W
n
识别周期对应的新增分布外监测模型的步骤，之前，还包括：获得所述新增意图分类数据集T
n
对应的新增标签训练数据；对所述新增标签训练数据输入语言表征模型，获得所述标签训练数据对应的新增文本向量表示；根据所述新增文本向量表示对所述语言表征模型进行调整，获得所述新增标签训练数据对应的新增特征提取器；根据所述新增特征提取器计算所述新增标签训练数据对应的新增向量表示；根据所述新增标签训练数据的标签与所述新增向量表示，计算所述新增标签训练数据的新增类中心向量；根据所述新增标签训练数据与所述新增...

【专利技术属性】
技术研发人员：陈伟，李莉，倪守奇，林佳佳，周峰，林金曙，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：