一种基于马氏距离和对比学习的新意图数据识别方法技术

本发明专利技术提供了一种基于马氏距离和对比学习的新意图数据识别方法，本发明专利技术在分类模型的训练过程中引入对比学习来获取更完整的样本特征，并基于样本的特征向量使用马氏距离来作为打分函数，来防止特征经过分类层之后有所损失，有助于模型提升识别新意图样本的能力。有助于模型提升识别新意图样本的能力。有助于模型提升识别新意图样本的能力。

【技术实现步骤摘要】
一种基于马氏距离和对比学习的新意图数据识别方法


[0001]本专利技术属于人工智能领域，尤其涉及一种基于马氏距离和对比学习的新意图数据识别方法。

技术介绍

[0002]随着人工智能技术的发展，任务型对话式智能助手产品开始涌现，如手机语音助手，电商智能客服，智能音箱等产品，极大方便了人们的生活。其中，意图识别(Intent Detection)是任务型对话系统的(Task
‑
Oriented Dialogue System)的重要模块之一，负责识别当前使用者的输入中包含的意图信息，并根据识别结果执行后续的动作。因此，意图识别的准确与否直接影响了后续步骤的执行情况和用户对系统的满意度。然而，在真实的应用场景中，用户的输入的表述可能会包含一些全新的意图，这些意图从未被系统所见过，超出了系统的识别能力，被称为新意图。正确识别新意图能够防止系统执行错误的操作并给出不相关回复，从而提高用户的使用体验。
[0003]目前主流的意图识别技术方案是将新意图识别任务转化为文本分类任务，首先利用已意图样本和对应的标签训练一个文本多分类模型，并将通过文本分类模型得到的置信度分数作为新意图识别任务的打分函数，如果样本置信度分数低于某个阈值，则会被视为新意图样本。
[0004]【专利一】CN111382270A基于文本分类器的意图识别方法、装置、设备及存储介质。
[0005]该专利技术使用文本分类模型进行意图分类，同时判断文本分类模型得到的置信度分数是否大于阈值来判断当前意图是否为新意图。
[0006]【论文二】Out
‑
of
‑
domain Detection for Natural Language Understanding in Dialog Systems.
[0007]该论文通过生成负样本并引入文本分类模型的训练过程中，从而增强模型对新意图的识别能力。
[0008]【论文三】Modeling Discriminative Representations for Out
‑
of
‑
Domain Detection with Supervised Contrastive Learning.
[0009]该论文引入样本和其他类别样本的对比学习，增强文本分类模型的分类能力。
[0010]专利一通过文本分类模型获取置信度分数来作为新意图打分函数，并设定阈值来检测新意图。但是，基于神经网络的文本分类模型通常会面临过自信(over confident)的问题，即输入样本即使不属于已知意图，但某些特征与已知意图相似，导致新意图样本仍然以较高的置信度分类到错误的类别。这是由于神经网络训练集的有限性导致的，分类模型会利用分类所需的尽可能少的特征进行分类，而忽略其他一些重要的类别特征。由于分类模型从未见过新意图样本，因此很难捕获新意图的重要特征，容易把它分类到相似的意图类别里(如播放音乐和播放电影)。
[0011]针对这个问题，论文二在模型训练过程中引入负样本来增强模型对类别特征的捕获能力。模型通过GAN技术来生成伪造的负样本并引入训练过程中，要求模型对负样本预测
的熵尽可能大，即模型得到的置信度分数尽可能小，从而缓解模型过自信的问题。然而使用GAN生成的负样本难以保证质量，即是否为真正的新意图样本。论文三在分类模型的训练过程中引入了对比学习来获取更有区分度的特征，它将统一类别的样本作为正样本，其他类别的样本作为负样本进行对比学习，从而捕获类别之间更有区分度特征。然而，这种特征的捕获仍局限于区分已知意图类别的样本之间的不同特征，而不能捕获到完整的样本特征来区分和已知意图比较接近的新意图样本。

技术实现思路

[0012]专利技术目的：本专利技术要解决的技术问题是如何学习到更完整的样本特征来区分已知意图和新意图，并在计算打分函数尽可能避免特征损失，从而使模型对新意图样本有更好的识别能力，尤其是与已知意图样本非常相似的新意图样本。
[0013]本专利技术具体提供了一种基于马氏距离和对比学习的新意图数据识别方法，包括以下步骤：、
[0014]步骤1，输入训练集中的所有样本和标注的标签；
[0015]步骤2，为训练集中的已知意图样本构建正样本和负样本，用于对比学习训练；
[0016]步骤3，结合对比学习训练意图分类模型，通过分类模型来获取样本表示；
[0017]步骤4，计算类别中心；
[0018]步骤5，计算样本到类别中心的最小马氏距离，并判定是否为新意图样本。
[0019]步骤2包括：
[0020]步骤2
‑
1，识别所有输入样本的槽位，获取样本拥有的槽位类型；
[0021]步骤2
‑
2，将训练集中拥有相同槽位类型的样本进行两两配对，即样本x1＝T1(s1＝v1，s2＝v2)，样本x2＝T2(s1＝v3，s2＝v4)，其中，s
i
代表第i个槽位类型，v
i
代表第i个槽位值，T
i
代表第i个句子模版；
[0022]步骤2
‑
3，为样本x1构造正样本为样本x2构造正样本为样本x1构造负样本为样本x2构造负样本
[0023]步骤3包括：
[0024]步骤3
‑
1，输入原始训练集D＝{(x，y)}和对比学习训练集D
′
＝(x，x
+
，x
‑
)；
[0025]步骤3
‑
2，意图识别模型进行前向计算；
[0026]步骤3
‑
3，计算样本的预测概率分布与真实标签之间的交叉熵CE；
[0027]步骤3
‑
4，计算损失函数值对于每个模型参数的梯度，使用反向传播算法更新模型参数；
[0028]步骤3
‑
5，使用验证集评估模型性能；
[0029]步骤3
‑
6，判断模型性能是否提升，如果有提升则返回步骤3
‑
2继续迭代训练，否则执行步骤3
‑
7；
[0030]步骤3
‑
7，结束训练模型。
[0031]步骤3
‑
1包括：原始训练集D用于分类任务的训练，x＝{w1，w2，...，w
n
}为原始样本，包含了n个单词w1，w2，...，w
n
，y为对应的意图标签；
[0032]对比学习训练集D
‘
用于对比学习的训练，x
+
，x
‑
分别为原始样本x对应的正、负样本；其中，意图样本标签进行独热编码，记为集合其中m为已知意图数目，y
i
表示第i个意图标签，中当前正样本对应意图标签的位置为1，其余位置值为0；输入的原始样本按照4∶1的比例划分为训练集和验证集，训练集输入模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于马氏距离和对比学习的新意图数据识别方法，其特征在于，包括以下步骤：、步骤1，输入训练集中的所有样本和标注的标签；步骤2，为训练集中的已知意图样本构建正样本和负样本，用于对比学习训练；步骤3，结合对比学习训练意图分类模型，通过分类模型来获取样本表示；步骤4，计算类别中心；步骤5，计算样本到类别中心的最小马氏距离，并判定是否为新意图样本。2.根据权利要求1所述的方法，其特征在于，步骤2包括：步骤2
‑
1，识别所有输入样本的槽位，获取样本拥有的槽位类型；步骤2
‑
2，将训练集中拥有相同槽位类型的样本进行两两配对，即样本x1＝T1(s1＝v1，s2＝v2)，样本x2＝T2(s1＝v3，s2＝v4)，其中，s
i
代表第i个槽位类型，v
i
代表第i个槽位值，T
i
代表第i个句子模版；步骤2
‑
3，为样本x1构造正样本为样本x2构造正样本为样本x1构造负样本为样本x2构造负样本3.根据权利要求2所述的方法，其特征在于，步骤3包括：步骤3
‑
1，输入原始训练集D＝{(x，y)}和对比学习训练集D
′
＝(x，x
+
，x
‑
)；步骤3
‑
2，意图识别模型进行前向计算；步骤3
‑
3，计算样本的预测概率分布与真实标签之间的交叉熵CE；步骤3
‑
4，计算损失函数值对于每个模型参数的梯度，使用反向传播算法更新模型参数；步骤3
‑
5，使用验证集评估模型性能；步骤3
‑
6，判断模型性能是否提升，如果有提升则返回步骤3
‑
2继续迭代训练，否则执行步骤3
‑
7；步骤3
‑
7，结束训练模型。4.根据权利要求3所述的方法，其特征在于，步骤3
‑
1包括：原始训练集D用于分类任务的训练，x＝{w1，w2，...，w
n
}为原始样本，包含了n个单词w1，w2，...，w
n
，y为对应的意图标签；对比学习训练集D
‘
用于对比学习的训练，x
+
，x
‑
分别为原始样本x对应的正、负样本；其中，意图样本标签进行独热编码，记为集合其中m为已知意图数目，y
i
表示第i个意图标签，中当前正样本对应意图标签的位置为1，其余位置值为0；输入的原始样本按照4∶1的比例划分为训练集和验证集，训练集输入模型用于训练。5.根据权利要求4所述的方法，其特征在于，步骤3
‑
2包括：获取单词w
i
的词嵌入e
i
，即样本x
′
＝{e1，e2，...，e
n
}；使用门控循环单元GRU(Gate Recurrent Unit)网络编码输入原始样本x
′
，即将每个词嵌入输入一个门控单元中，得到每个词的输出，为每个词状态的隐层表示，即{h1，h2，..，h
n
}＝GRU(e1，e2，...，e
n
)，其中h
i
表示第i个词e
i
的输出，GRU()代表将一系列词嵌入输入门控循环单元网络中，即
h
...

【专利技术属性】
技术研发人员：戴新宇，陈昱，欧阳亚文，吴震，王雷，
申请(专利权)人：南京大学，
类型：发明
国别省市：