一种面向智能家居对话理解的用户意图识别方法及系统技术方案

本发明专利技术公开了一种面向智能家居对话理解的用户意图识别方法及系统。本方法为：1)获取智能家居场景下的用户语料信息并将其存储到语料信息存储模块；用户语料信息包括文本格式的源域语料数据和目标域语料数据；源域语料数据为意图标注后样本数据；2)文本预处理模块对每一条目标域语料数据进行意图标注，得到目标域的样本数据；3)特征提取模块将源域的标注数据和目标域的标注数据分别编码为语义特征向量，得到各样本数据的语义特征向量；4)意图分类模型模块利用样本数据对小样本意图分类模型进行训练和检测；5)对于一查询语音，判定输出模块将该查询语音转化为文本后输入到训练检测后的小样本意图分类模型，预测输出该查询语音的意图类别。语音的意图类别。语音的意图类别。

【技术实现步骤摘要】
一种面向智能家居对话理解的用户意图识别方法及系统


[0001]本专利技术属于信息
，涉及利用计算机智能技术辅助意图识别任务。具体涉及一种面向智能家居对话理解的用户意图识别方法及系统，针对低资源标注数据的情况，利用元学习范式和对比学习增强模型的泛化能力，提升小样本意图识别的准确率。

技术介绍

[0002]随着人们生活水平的提高，越来越多的人们希望能直接通过自然对话的形式与身边的各种设备进行交互。受益于自然语言处理和语音识别技术的不断发展，智能家居成为人们生活中必不可少的一部分。
[0003]意图识别(Intent Detection)作为智能家居场景下对话理解的一个重要的任务，旨在从用户的语句中识别出意图。意图识别任务的表现直接影响下游的对话管理和自然语言生成任务。这种对话系统技术也越来越多的应用到个人助手、车载助手等场景中。随着人工智能技术的不断发展，深度学习模型表现出良好的性能，这些深度学习算法通常需要大量的训练数据训练模型参数。然而，由于产品的更新换代，新领域和新类别的不断出现，在对话系统的冷启动阶段，很难搜集到大量的标注数据，并且每次遇到新的意图、新的领域搜集大量的人工标注数据通常是非常消耗时间和物力的，这就需要模型在有限的标注数据下快速适应到新的类别和新的领域。
[0004]反观人类的学习过程，人们通常具有通过观察几个样本快速学习新类别的能力，这基于人们具备了比较充足的背景知识。根据相同的思想，研究人员提出了小样本学习，旨在基于领域外知识和有限的域内标注数据使得模型能够快速泛化到目标领域。小样本学习方法可以分为三类：传统的微调方法、基于元学习的方法和数据增强方法。在传统的微调方法中，由于模型参数较多，防止模型过拟合有限的标注数据，研究人员通常保持预训练语言模型参数不变，只在有限的标注数据下训练分类器，但模型仍然可能出现欠拟合的情况；在基于元学习的方法中，通过不断抽取元学习任务，增强模型识别新类别的能力，将源域的知识迁移到目标域上，但能否找到相似的源域仍然是比较严重的问题，比如医疗数据，可能本身很难找到相似的数据；在基于数据增强的方法中，不像在图像领域可以直接对图片进行翻转和裁剪等而不改变类别标签，在自然语言中随机插入、删除或者替换单词可能会造成文本语义信息的变化。

技术实现思路

[0005]本专利技术的目的在于针对上述问题，提出一种面向智能家居对话理解的用户意图识别方法及系统，采用元学习范式提升模型在智能家居场景下快速适应新类别的能力，并且融合了对比学习提升模型的泛化能力。
[0006]本专利技术结合智能家居场景下的特点，利用元学习范式增强模型快速适应新类别和新领域的能力。比如在源域智能空调、智能浴霸和智能燃气灶上已具有丰富的训练数据，本专利技术的关注点在于将源域上学习到的知识迁移到目标域上，比如智能衣架和智能咖啡机领
域。在智能家居场景下，源域和目标域在语义模式上具有一定的相似性，比如源域中的文本“请帮我调高空调的温度至28度”和目标域中的文本“请帮我把衣架的高度升高到三档”，具有相似的语义模式，通过元学习的范式能够很好的进行知识迁移。
[0007]本专利技术的技术方案为：
[0008]一种面向智能家居对话理解的用户意图识别方法，其步骤包括：
[0009]1)获取智能家居场景下的用户语料信息并将其存储到语料信息存储模块；所述用户语料信息包括文本格式的源域语料数据和目标域语料数据；所述源域语料数据为意图标注后样本数据；
[0010]2)文本预处理模块对每一条目标域语料数据进行去噪、分词后进行意图标注，得到目标域的样本数据；
[0011]3)特征提取模块将源域的标注数据和目标域的标注数据分别编码为语义特征向量，得到各样本数据的语义特征向量；
[0012]4)意图分类模型模块利用所述样本数据对小样本意图分类模型进行训练和检测；
[0013]5)对于一查询语音，判定输出模块将该查询语音转化为文本后输入到步骤4)训练检测后的小样本意图分类模型，预测输出该查询语音的意图类别。
[0014]进一步的，采用元学习的范式对所述小样本意图分类模型进行训练，其方法为：
[0015]21)在源域上构建N
‑
way K
‑
shot元训练任务：首先从源域的各样本中采样构建多个不同的元任务，每一元任务对应的样本集包含支持集和查询集；对于元任务a，在源域上随机采样N个类别，组成类别集合在每个类别下随机采样K个样本组成当前元任务a的支持集其中在源域的剩余样本中，针对里面的每一个类别，随机采用q个样本组成当前元任务a的查询集类别，随机采用q个样本组成当前元任务a的查询集类别，随机采用q个样本组成当前元任务a的查询集为支持集中第i个类别为c的样本，为的标签，为该q个样本中第j个类别为c的样本，为的标签；
[0016]22)计算每个意图类别的原型，并为每个样本构建正例和负例：在支持集中，针对类别
[0017]其原型其中是的句向量；为每个样本构建正负例，定义给定x
i
∈I，定义I
i
＝I\x
i
，I
i
代表I除去x
i
的剩余样本组成的集合，将与x
i
具有相同标签的样本作为正例，组成正例集合A
i
＝{(x
j
,y
j
)|y
j
＝y
i
,x
j
∈I
i
}，负例集合N
i
＝I
i
\A
i
；x
j
为与x
i
具有相同标签的第j个样本，y
j
为x
j
的标签；
[0018]23)构建损失函数α是可以调节的比例系数，为交叉熵损失函数，
[0019]为对比学习损失函数；
[0020]24)基于所述损失函数迭代优化小样本意图分类模型，满足预设条件后保存小样本意图分类模型参数；
[0021]25)在目标域上构建N
‑
way K
‑
shot测试元任务，得到每一测试元任务的支持集和查询集计算每一测试元任务中每一类别的类别原型并将其输入步骤24)训练后的小样本
意图分类模型，输出预测意图标签y
pred
与用户进行交互；
[0022]26)重复步骤25)多次，统计小样本意图分类模型针对意图识别的平均准确率，如果达到条件则停止训练，否则返回步骤21)。
[0023]进一步的，交叉熵损失函数对于样本该样本(x
i
,y
i
)属于类别c的概率其中s
i
是x
i
的句向量，p
c
是类别c的原型，p
c
′
为类别c
’
的原型，即的原型，即是的句向量，为支持集中第i个类别为c<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智能家居对话理解的用户意图识别方法，其步骤包括：1)获取智能家居场景下的用户语料信息并将其存储到语料信息存储模块；所述用户语料信息包括文本格式的源域语料数据和目标域语料数据；所述源域语料数据为意图标注后样本数据；2)文本预处理模块对每一条目标域语料数据进行去噪、分词后进行意图标注，得到目标域的样本数据；3)特征提取模块将源域的标注数据和目标域的标注数据分别编码为语义特征向量，得到各样本数据的语义特征向量；4)意图分类模型模块利用所述样本数据对小样本意图分类模型进行训练和检测；5)对于一查询语音，判定输出模块将该查询语音转化为文本后输入到步骤4)训练检测后的小样本意图分类模型，预测输出该查询语音的意图类别。2.根据权利要求1所述的方法，其特征在于，采用元学习的范式对所述小样本意图分类模型进行训练，其方法为：21)在源域上构建N
‑
way K
‑
shot元训练任务：首先从源域的各样本中采样构建多个不同的元任务，每一元任务对应的样本集包含支持集和查询集；对于元任务a，在源域上随机采样N个类别，组成类别集合在每个类别下随机采样K个样本组成当前元任务a的支持集其中在源域的剩余样本中，针对里面的每一个类别，随机采用q个样本组成当前元任务a的查询集随机采用q个样本组成当前元任务a的查询集随机采用q个样本组成当前元任务a的查询集为支持集中第i个类别为c的样本，为的标签，为该q个样本中第j个类别为c的样本，为的标签；22)计算每个意图类别的原型，并为每个样本构建正例和负例：在支持集中，针对类别其原型其中是的句向量；为每个样本构建正负例，定义给定x
i
∈I，定义I
i
＝I\x
i
，I
i
代表I除去x
i
的剩余样本组成的集合，将与x
i
具有相同标签的样本作为正例，组成正例集合A
i
＝{(x
j
,y
j
)|y
j
＝y
i
,x
j
∈I
i
}，负例集合N
i
＝I
i
\A
i
；x
j
为与x
i
具有相同标签的第j个样本，y
j
为x
j
的标签；23)构建损失函数α是可以调节的比例系数，为交叉熵损失函数，为对比学习损失函数；24)基于所述损失函数迭代优化小样本意图分类模型，满足预设条件后保存小样本意图分类模型参数；25)在目标域上构建N
‑
way K
‑
shot测试元任务，得到每一测试元任务的支持集和查询集计算每一测试元任务中每一类别的类别原型并将其输入步骤24)训练后的小样本意图分类模型，输出预测意图标签y
pred
与用户进行交互；26)重复步骤25)多次，统计小样本意图分类模型针对意图识别的平均准确率，如果达到条件则停止训练，否则返回步骤21)。3.根据权利要求2所述的方法，其特征在于，交叉熵损失函数
对于样本该样本(x
i
,y
i
)属于类别c的概率其中s
i
是x
i
的句向量，p
c
是类别c的原型，p
c
′
为类别c
’
的原型，即的原型，即是的句向量，为支持集中第i个类别为c
’
的样本。4.根据权利要求2所述的方法，其特征在于，对比学习损失函数4.根据权利要求2所述的方法，其特征在于，对比学习损失函数其中τ是温度参数，x
k
为A
i
中的第k个样本，x
o
为N
i
中的第o个样本，s
i
和s
j
分别是样本x
i
和x
j
的特征向量，θ
i,j
...

【专利技术属性】
技术研发人员：刘建国，张枫，赵培，陈薇，王腾蛟，
申请(专利权)人：北京大学青岛计算社会科学研究院青岛海尔科技有限公司，
类型：发明
国别省市：