一种融合情感原因和情感意图的共情对话生成方法技术

本发明专利技术涉及一种融合情感原因和情感意图的共情对话生成方法，包括获取目标共情对话文本，目标共情对话文本包括speaker和Listener的文本；将目标共情对话文本按句子进行划分，在第一个句子的首位添加CLS特殊标记，在每个句子之后加入SEP标记，生成第一目标对话文本序列，并利用Word2Vec工具将第一目标对话文本序列嵌入向量表示生成第一目标对话向量；将Listener的回复文本按句子进行划分，并利用Word2Vec工具将每个句子中的词嵌入向量表示生成第二目标对话向量；将第一目标对话向量和第二目标对话向量输入训练好的共情对话生成模型生成目标共情回复。模型生成目标共情回复。模型生成目标共情回复。

【技术实现步骤摘要】
一种融合情感原因和情感意图的共情对话生成方法


[0001]本专利技术属于自然语言处理领域，特别涉及一种融合情感原因和情感意图的共情对话生成方法。

技术介绍

[0002]近年来，随着人工智能的发展，人们可以通过与机器对话，直接进行信息的交流，例如华为的小艺，腾讯的小冰，美团的自主订票人工客服，以及苹果的Siri等。这些对话系统的应用可以根据用户的需求通过一些简单的指令为用户提供相应的需求，甚至可以对用户提供聊天服务。
[0003]随着时代的变化，用户更倾向于将对话系统当作真实的“人”，希望能够与用户进行更深层次的情感交流，而不仅仅是以任务为目标提供相应的服务。因此，开放域中的情感对话系统逐渐成为了对话模型的主要研究方向之一，早期的情感对话模型大多集中于特定的情感进行交流，这类模型不能根据用户的输入语句判断出用户的情感，但是在现实生活中，人们希望与机器的对话能够更加的深入，生成带有情感的回复时，不仅仅只是单纯的情感输入。
[0004]现有的大部分共情对话生成方法只考虑利用情感标签等情感表面信息来提高生成响应的质量，却忽略了情感背后更深层次的一些细粒度特征，例如：情感原因、情感意图，而情感原因是人类情感的刺激，是更深层次的细粒度特征，认识情感的原因有助于更好地理解人类的情绪，从而产生出更具有共情性的回复，忽略了这种细粒度情感信息，将会导致对话模型生成的回复共情性不足，无法满足用户的共情需求。

技术实现思路

[0005]为解决
技术介绍
中存在的问题，本专利技术提供一种融合情感原因和情感意图的共情对话生成方法，进一步的提取情感背后更深层次的一些细粒度特征，更好地理解人类的情绪，从而产生出更具有共情性的回复，满足用户的共情需求，包括：获取目标共情对话文本，其中，目标共情对话文本包括：speaker的对话文本和Listener的回复文本；将目标共情对话文本按句子进行划分，在目标共情对话文本第一个句子的首位添加CLS特殊标记，在每个句子之后加入SEP标记生成第一目标对话文本序列；利用Word2Vec工具将第一目标对话文本序列嵌入向量表示生成第一目标对话向量；将Listener的回复文本按句子进行划分，并利用Word2Vec工具将每个句子中的词嵌入向量表示生成第二目标对话向量；将CLS特殊标记、第一目标对话向量和第二目标对话向量输入训练好的共情对话生成模型生成目标共情回复，其中，所述共情对话生成模型包括：情感推理模块、意图预测模块和回复生成模块；
[0006]所述共情对话生成模型的训练步骤包括：
[0007]S1：获取原始共情对话数据，所述原始共情对话数据包括：情感标签、显示意图关键字词表、普通字词表、原始共情对话文本和原始共情回复文本；其中，所述原始共情对话文本包括：speaker的对话文本和Listener的回复文本；
[0008]S2：将原始共情对话文本按句子进行划分，在原始共情对话文本第一个句子的首位添加CLS特殊标记，在每个句子之后加入SEP标记第一原始对话文本序列；利用Word2Vec工具将第一原始对话文本序列嵌入向量表示生成生成第一原始对话向量；标记原始共情对话文本中的情感原因词生成原始共情对话文本的情感原因词标签；
[0009]S3：将Listener的回复文本按句子进行划分，并利用Word2Vec工具将每个句子中的词嵌入向量表示生成第二原始对话向量；
[0010]S4：将CLS特殊标记和第一原始对话向量输入情感推理模块预测情感信号和情感原因词序列，并构建情感推理模块的损失函数；
[0011]S5：将第二原始对话向量输入意图预测模块预测潜在意图信号和意图标签序列；并构建意图预测模块的损失函数；
[0012]S6：将情感信号、情感原因词序列、意图标签序列和潜在意图信号输入回复生成模块利用显示意图关键字词表和普通字词表预测原始对话文本的共情回复；并构建回复生成模块的损失函数；
[0013]S7：根据意图预测模块、情感推理模块和回复生成模块的损失函数对共情对话生成模型的参数进行更新，完成共情对话生成模型的训练。
[0014]本专利技术至少具有以下有益效果
[0015]本专利技术利用情感推理模块和意图预测模块从对话历史中提取更深层次的情感原因信息和意图信息，根据情感原因信息和情感意图信息，采用门控机制为情感原因词的权重和意图标签赋予不同的权重，并利用复制机制将意图关键字和隐式意图信息结合起来，生成更具有共情性的回复满足用户的共情需求，提高用户的情感交互体验。
附图说明
[0016][0017]图1为本专利技术的方法流程图；
[0018]图2为本专利技术共情对话生成模型的模型结构示意图。
具体实施方式
[0019]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0020]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0021]本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系
为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0022]请参与图1，本专利技术提供一种融合情感原因和情感意图的共情对话生成方法，包括：
[0023]获取目标共情对话文本，其中，目标共情对话文本包括：speaker的对话文本和Listener的回复文本；例如：
[0024]Speaker:I feel so lonely sometimes because all myfriends live in a different country
[0025]Listener:Oh,I
’
m sure you are lonely.Maybe you canjoin some kind of club that lets you meet new friends？
[0026]Speaker:I was thinking about it！I wanted to join agroup for local mo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合情感原因和情感意图的共情对话生成方法，其特征在于，包括：获取目标共情对话文本，其中，目标共情对话文本包括：speaker的对话文本和Listener的回复文本；将目标共情对话文本按句子进行划分，在目标共情对话文本第一个句子的首位添加CLS特殊标记，在每个句子之后加入SEP标记生成第一目标对话文本序列；利用Word2Vec工具将第一目标对话文本序列嵌入向量表示生成第一目标对话向量；将Listener的回复文本按句子进行划分，并利用Word2Vec工具将每个句子中的词嵌入向量表示生成第二目标对话向量；将CLS特殊标记、第一目标对话向量和第二目标对话向量输入训练好的共情对话生成模型生成目标共情回复，其中，所述共情对话生成模型包括：情感推理模块、意图预测模块和回复生成模块；所述共情对话生成模型的训练步骤包括：S1：获取原始共情对话数据，所述原始共情对话数据包括：情感标签、显示意图关键字词表、普通字词表、原始共情对话文本和原始共情回复文本；其中，所述原始共情对话文本包括：speaker的对话文本和Listener的回复文本；S2：将原始共情对话文本按句子进行划分，在原始共情对话文本第一个句子的首位添加CLS特殊标记，在每个句子之后加入SEP标记第一原始对话文本序列；利用Word2Vec工具将第一原始对话文本序列嵌入向量表示生成生成第一原始对话向量；标记原始共情对话文本中的情感原因词生成原始共情对话文本的情感原因词标签；S3：将Listener的回复文本按句子进行划分，并利用Word2Vec工具将每个句子中的词嵌入向量表示生成第二原始对话向量；S4：将CLS特殊标记和第一原始对话向量输入情感推理模块预测情感信号和情感原因词序列，并构建情感推理模块的损失函数；S5：将第二原始对话向量输入意图预测模块预测潜在意图信号和意图标签序列；并构建意图预测模块的损失函数；S6：将情感信号、情感原因词序列、意图标签序列和潜在意图信号输入回复生成模块利用显示意图关键字词表和普通字词表预测原始对话文本的共情回复；并构建回复生成模块的损失函数；S7：根据意图预测模块、情感推理模块和回复生成模块的损失函数对共情对话生成模型的参数进行更新，完成共情对话生成模型的训练。2.根据权利要求1所述的一种融合情感原因和情感意图的共情对话生成方法，其特征在于，所述情感推理模块包括：第一Transformer编码器、第一softmax函数、线性层和第二softmax函数；所述预测情感信号和情感原因词序列的具体步骤包括：S41：将第一原始对话向量输入第一Transformer编码器进行编码得到CLS编码向量和第一上下文单词表示序列V；S42：将CLS编码向量输入第一softmax函数预测得到情感信号；S43：将第一上下文单词表示序列V输入线性层进行线性组合生成中间组合特征向量；S44：将中间组合特征向量输入第二softmax函数预测得到情感原因词的概率分布，并将概率最高的N个情感原因词组成情感原因词序列。3.根据权利要求2所述的一种融合情感原因和情感意图的共情对话生成方法，其特征
在于，所述情感推理模块的损失函数包括：其中，p(ε|Vv
CLS
)表示对于输入序列Vv
CLS
输出情感信号为ε的概率，ε表示概率最高的情感信号，Vv
CLS
表示CLS编码向量；p(c
j
|v
V
)表示对于输入序列v
V
，输出为第j个情感原因词c
j
的概率，v
V
表示中间组合特征向量，L
r
表示情感推理模块的损失函数。4.根据权利要求1所述的一种融合情感原因和情感意图的共情对话生成方法，其特征在于，所述意图预测模块包括：Bi
‑
GRU编码器、先验网络和识别网络；所述预测潜在意图信号和意图标签序列的具体步骤包括：S51：将第二原始对话向量输入Bi
‑
GRU编码器进行编码得到第二上下文单词表示序列U；S52：将第二上下文单词表示序列U输入先验网络进行意图分布预测，得到潜在意图信号，所述先验网路采用前馈神经网络，利用softmax函数进行意图分布预测，表示为：p
i
(z|U)＝softmax(FFN
Z
(U))其中，FFN表示具有两层的前馈神经网络，U表示第二上下文单词表示序列，p
i
(z|U)表示对于输入序列U输出为意图信号z的概率。S53：将预测出的意图分布输入识别网络自动的捕获P个概率最高的意图生成意图标签序列，所述识别网络基于BERT的意图分类器，采用最大化似然嵌入自动的捕获意图标签，采用argmax操作避免因采样错误意图所带来的噪声，表示为：其中，Q表示捕获的意图标签，q
r
(z
k
|Q)表示对于意图标签Q其概率分布符合第k个范畴类别z
k
的概率。5.根据权利要求1所述的一种融合情感原因和情感意图的共情对话生成方法，其特征在于，所述意图预测模块的损失函数包括：L
s...

【专利技术属性】
技术研发人员：唐宏，王宁喆，杨浩澜，朱传润，刘钟，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：