一种联合意图识别和槽填充的快速交互方法技术

本发明专利技术公开了一种联合意图识别和槽填充的快速交互方法，采用语义编码器对用户输入的话语进行进行语义编码，获得意图语义表示向量和槽语义表示向量。然后分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，采用多头注意力模块对语义增强的意图语义表示向量和槽语义表示向量进行深度的语义交互，将最终的意图语义表示向量和槽语义表示向量分别通过意图分类器模块和槽分类器模块进行分类解码，获得最后输出的意图标签和槽标签。本发明专利技术对意图识别和槽填充任务进行联合建模，避免了两个任务间错误信息的传播，设计了多个注意力模块使得意图和槽之间的信息得到充分交互，显著提升了系统预测的准确度。测的准确度。测的准确度。

【技术实现步骤摘要】
一种联合意图识别和槽填充的快速交互方法


[0001]本专利技术涉及任务型对话系统
，具体涉及一种联合意图识别和槽填充的快速交互系统。

技术介绍

[0002]随着任务型对话系统在人们生活中应用的越来越广泛，任务型对话系统的准确度和速度变得越来越重要。它们功能的核心是系统能够理解人类用户在说什么，并以此做出一种满足用户的回答或动作。对话系统的人机界面可能是基于文本的，但现在最常见的是语音的。常见的对话系统的框架如下，从自动语音识别(ASR)开始，其任务是获取用户语音的声波或图像，并将其识别为文本。然后自然语言理解(NLU)用于理解用户的话语中的意图并提取关键的信息。然后对话管理(DM)将提取到的意图与回答用户话语相对应。自然语言生成(NLG)生成回答用户的话语。语音合成(TTS)将生成的文字转化成语音。
[0003]其中NLU任务对于那些希望与用户建立语音接口的对话系统至关重要，如智能语音助手、智能客服、聊天机器人等等。提高NLU任务的检测质量是系统能否正确回应用户的关键，将大幅提高用户体验的质量，这也表明了一项好的NLU技术的重要性。
[0004]NLU包含了两个主要任务：1)意图识别是理解用户话语所要表达的意图。2)槽填充是提取话语中包含与实现意图相关的语义信息的单词。即将用户的话语通过模型将其中的每一个单词映射到一个槽标签上。如话语“can you play me some eighties music by adele”中，意图为“Play Music”，话语中每个单词对应的槽标签为“O O O O O B
‑
year O O B
‑
artist”，在槽填充任务中常用类似如上的BIO标记法来表示槽标签，其中“O”表示当前单词不是标签，“B”表示标签的开始，“I”表示标签的延续。经过意图识别和槽填充后，系统可以知道用户话语所表达的意图和话语中的提供关键信息的单词，对于后续系统给用户的回应和动作具有关键的指导意义。
[0005]申请号为201910491104.X的中国专利申请公开了一种基于深度学习的领域、意图识别和槽填充方法。该方法使用前馈神经网络(FFN)和双向门循环网络(BiGRU)，来获得目标语句和历史语句的表示向量，并通过一个槽门(slot
‑
gated)机制将历史语句的意图和槽值信息融入当前目标语句的向量表示中。并且使用双向门循环网络和双向长短期记忆网络(BiLSTM)对表示向量进行分类，获得最终的意图和槽值。该方法并未考虑意图探测和槽填充两个任务间的强相互关系，且并其所使用的BiGRU与BiLSTM模型无法进行并向计算，效率较低。无法满足对精度和速度有较高要求的意图识别和槽填充任务的场景。

技术实现思路

[0006]为了解决上述问题，本申请提出了一种联合意图识别和槽填充的快速交互方法，可使用在任务型对话系统的实际业务场景中，大幅提升自然语言理解的精度和速度。
[0007]为了实现上述目的，本专利技术提供了如下方案：
[0008]一种联合意图识别和槽填充的快速交互方法，包括：
[0009]采用语义编码器对用户输入的话语进行文本预处理，并进行语义编码，获得意图语义表示向量和槽语义表示向量；
[0010]分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，得到语义增强的意图语义表示向量和槽语义表示向量；
[0011]采用多头注意力模块对语义增强的意图语义表示向量和槽语义表示向量进行深度的语义交互，获得最终的意图语义表示向量和槽语义表示向量；
[0012]将最终的意图语义表示向量和槽语义表示向量分别通过意图分类器模块和槽分类器模块进行分类解码，获得最后输出的意图标签和槽标签。
[0013]进一步的，所述采用语义编码器对用户输入的话语进行文本预处理，并进行语义编码，获得意图语义表示向量和槽语义表示向量，包括：
[0014]对用户输入的话语，插入一个特殊表示符([CLS])在话语的开头，插入一个特殊表示符([SEP])在话语的结尾；
[0015]对于用户的话语进行分词，经分词后用户的话语X可表示为：
[0016]X＝(x0,x1,
…
,x
T
)；
[0017]其中x
i
,i∈0
…
T表示话语经过分词后的单词，将话语X输入到DistilBERT模型中进行语义编码，获得的语义向量H可表示为：
[0018]H＝[H
I
,H
S
]；
[0019]其中H
I
为意图语义表示向量，H
S
为槽语义表示向量。
[0020]进一步的，所述分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，得到语义增强的意图语义表示向量和槽语义表示向量，包括：
[0021]获取意图分类器模块的权重W
I
和槽分类器模块的权重W
S
，分别与意图语义表示向量H
I
和槽语义表示向量H
S
进行矩阵相乘，再分别经过softmax函数，获得softmax的输出α
I
和α
S
：
[0022]α
I
＝softmax(H
I
W
I
)；
[0023]α
S
＝softmax(H
S
W
S
)；
[0024]然后将α
I
和α
S
分别与权重W
I
和W
S
相乘，再分别与意图语义表示向量H
I
和槽语义表示向量H
S
相加，获得经过意图注意力模块和槽注意力模块语义增强的意图语义表示向量H
IW
和槽语义表示向量H
SW
：
[0025]H
IW
＝H
I
+α
I
W
I
；
[0026]H
SW
＝H
S
+α
S
W
S
。
[0027]进一步的，所述采用多头注意力模块对语义增强的意图语义表示向量和槽语义表示向量进行深度的语义交互，获得最终的意图语义表示向量和槽语义表示向量，包括：
[0028]连接语义增强的意图语义表示向量和槽意图语义表示向量，获取语义增强的语义表示向量H
IS
：
[0029]H
IS
＝[H
IW
,H
SW
]；
[0030]将H
IS
经过h次线性映射获取Q、K和V矩阵：
[0031][0032][0033][0034]其中和是线性映射参数，j∈1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合意图识别和槽填充的快速交互方法，其特征在于，所述联合意图识别和槽填充的快速交互方法，包括：采用语义编码器对用户输入的话语进行文本预处理，并进行语义编码，获得意图语义表示向量和槽语义表示向量；分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，得到语义增强的意图语义表示向量和槽语义表示向量；采用多头注意力模块对语义增强的意图语义表示向量和槽语义表示向量进行深度的语义交互，获得最终的意图语义表示向量和槽语义表示向量；将最终的意图语义表示向量和槽语义表示向量分别通过意图分类器模块和槽分类器模块进行分类解码，获得最后输出的意图标签和槽标签。2.根据权利要求1所述的联合意图识别和槽填充的快速交互方法，其特征在于，所述采用语义编码器对用户输入的话语进行文本预处理，并进行语义编码，获得意图语义表示向量和槽语义表示向量，包括：对用户输入的话语，插入一个特殊表示符([CLS])在话语的开头，插入一个特殊表示符([SEP])在话语的结尾；对于用户的话语进行分词，经分词后用户的话语X可表示为：X＝(x0,x1,
…
,x
T
)；其中x
i
,i∈0
…
T表示话语经过分词后的单词，将话语X输入到DistilBERT模型中进行语义编码，获得的语义向量H可表示为：H＝[H
I
,H
S
]；其中H
I
为意图语义表示向量，H
S
为槽语义表示向量。3.根据权利要求1所述的联合意图识别和槽填充的快速交互方法，其特征在于，所述分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，得到语义增强的意图语义表示向量和槽语义表示向量，包括：获取意图分类器模块的权重W
I
和槽分类器模块的权重W
S
，分别与意图语义表示向量H
I
和槽语义表示向量H
S
进行矩阵相乘，再分别经过softmax函数，获得softmax的输出α
I
和α
S
：α
I
＝softmax(H
I
W
I
)；α
S
＝softmax(H
S
W
S
)；然后将α
I
和α
S
分别与权重W
I
和W
S
相乘，再分别与意图语义表示向量H
I
和槽语义表示向量H
S
相加，获得经过意图注意力模块和槽注意力模块语义增强的意图语义表示向量H
IW
和槽语义表示向量H
SW
：H

【专利技术属性】
技术研发人员：黄亮，梁森杰，叶飞扬，池凯凯，张书彬，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：