一种融合用户兴趣偏好的对话生成方法技术

本发明专利技术公开了一种融合用户兴趣偏好的对话生成方法，包括数据、模型结构和具体流程，其中数据包含以下：(1.1)用户特征数据，用户特征数据主要包括用户年龄、性别、所在城市等一系列与用户相关的数据(1.2)用户行为数据；用户行为数据主要包括用户在某些平台上一段时间窗口内对于事物的点击、观看、收藏、转发等行为的记录。本专利对话生成过程中，通过获取用户的特征数据及行为数据，来捕捉更深层次用户兴趣偏好，并在特征提取的过程中采用融合模型的技术，在对话生成过程的隐藏向量中，融入了用户的兴趣偏好信息，使得生成的话术更能满足用户的兴趣偏好，进一步提升了对话系统的个性化及智能化水平。及智能化水平。

【技术实现步骤摘要】
一种融合用户兴趣偏好的对话生成方法


[0001]本专利技术涉及大数据与AI领域，特别涉及一种融合用户兴趣偏好的对话生成方法。

技术介绍

[0002]经典的对话系统(如智能客服系统)主要是基于语言的规则匹配、语意相似度匹配、或者基于大量的历史对话数据训练的通用语言模型，来对某一问句进行回复语句的生成；随着技术的发展，有更多新的算法和思想融入到了对话生成的过程中，主流方法包括通过结合用户一段时间内的所有话语学习用户的兴趣关注点，从而再结合问题语句生成相应的回复话语；还包括针对某一问题语句，对话生成模型生成多个候选回复话语，然后结合与目标用户特征相似用户的喜好，为目标用户推荐其相似用户最喜欢的候选话语作为最终回复语句。使得对话系统逐渐由仅使用大量历史语句进行学习的通用对话系统向结合了用户的兴趣便好的个性化对话系统进行发展。
[0003]现有对话生成技术中的个性化都仅仅结合了相似用户的喜好或者用户历史的对话信息等较浅显地获取用户的兴趣来实现对话生成的个性化，但没有通过用户的特征及行为序列去更深层次的挖掘用户的兴趣化偏好，并将其融入到对话生成系统中。

技术实现思路

[0004]本专利技术要解决的技术问题是克服现有技术的缺陷，提供一种融合用户兴趣偏好的对话生成方法。
[0005]本专利技术提供了如下的技术方案：
[0006]本专利技术提供一种融合用户兴趣偏好的对话生成方法，包括数据、模型结构和具体流程，其中数据包含以下：
[0007](1.1)用户特征数据
[0008]用户特征数据主要包括用户年龄、性别、所在城市等一系列与用户相关的数据。我们可以通过用户在平台注册时所填写的信息或第三方平台上的信息获取到。
[0009](1.2)用户行为数据
[0010]用户行为数据主要包括用户在某些平台上一段时间窗口内对于事物的点击、观看、收藏、转发等行为的记录。可以通过平台后台对于用户的行为记录日志拉取到。
[0011](1.3)问题语句
[0012]问题语句指用户使用对话系统时提出的问题的自然语言序列；
[0013]模型结构包含以下：
[0014]基于用户特征数据的特征提取模块、基于用户行为数据的兴趣预测模块、基于问句的回复语生成模块。整体的模型网络结构如图1所示。
[0015]其中，对于用户特征提取模块的特征提取过程可采用如TextCNN等网络进行特征提取，兴趣预测模块中的特征提取可采用LSTM等时序网络进行特征提取，回复语生成模块中的特征提取采用Transformer网络结构进行计算；
[0016]具体流程包括以下：
[0017]S1、当用户对问答系统(如，智能客服系统、智能外呼系统)提出某个问题时，系统获取所提问题的文本序列(如语音则通过ASR转为文本)；同时获取该用户的特征数据和一段时间窗口内的行为数据。
[0018]S2、对于用户的特征数据、用户行为数据、问题语句，分别通过特定的Embedding形式，转化为表征向量。
[0019]用户特征数据中主要为字符类别型变量，在此通过构建字典的方式将数据映射到相应索引编码，然后将索引编码输入word2vec进行推理，获取各数据的表征向量；用户行为数据主要为数值型类别变量，将这些变量分别通过一定手段的数理统计技术的处理，拿到对应时间序列的向量，作为表征向量；问题文本数据通过使用开源Bert模型进行动态编码的学习，拿到序列对应的表征向量。
[0020]S3、针对各表征向量，分别采用相应的网络结构进行特征提取；其中用户特征数据采用TextCNN网络进行特征提取；行为数据采用LSTM网络进行时序特征提取；问题文本序列特征采用Transformer网络进行特征提取。
[0021]用户特征数据主要是离散的结构化数据，如[性别，年龄，城市，
…
]，由于这类离散特征数据比较稀疏，且前后之间没时间序列关联，特征较容易提取，所以这块采用结构简单、速度较快的TextCNN进行特征提取，最后得到一个包含用户特征信息的高维特征向量；
[0022]用户的行为数据，这块主要采用的是一定时间窗口内用户在某些平台上的点击、浏览等行为数据，该数据具有时间序列特征，同时由于LSTM网络是典型的处理序列数据的网络，所以在这块采用的LSTM网络进行时序特征的提取，得到包含用户兴趣变化趋势的高维特征向量；
[0023]问题文本数据是一个文本序列数据，主要是基于网络对数据进行特征编码后，拿到对应的特征向量，然后经过解码处理得到回复语句，同时由于transformer在文本生成方面有较好的表现，所以此模块采用transformer编码器进行特征提取,得到包含用户所提问题语句的高维特征向量。
[0024]S4、将三个模块分别提取的特征进行拼接；此时的特征向量既具有问题语句的信息，同时又具有用户个性化特征及兴趣趋势的信息，向量的位度变换及拼接过程如图3所示。
[0025]对于上面三个不同模块，其提取的特征向量维度不同，在此将采用对应的维度变换矩阵，将特征各特征向量的第二维转换成相同大小，然后将转换后的特征向量进行拼接，实现信息融合。特征向量提取、维度转换及拼接过程如公式(1
‑
1)～(1
‑
4)所示：
[0026]V1＝TextCNN(E(X1))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
1)
[0027]V2＝LSTM(E(X2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
2)
[0028]V3＝Transformer(E(X3))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
3)
[0029]V
a
＝[W1×
V1,W2×
V2,W3×
V3]ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
4)
[0030]其中，X1表示用户特征数据；X2表示用户行为数据；X3表示用户所提问题的文本数据；E表示Embedding过程；V1表示用户特征数据经过TextCNN提取得到的特征向量；V2表示用户行为数据经过LSTM提取得到的特征向量；V3表示问题文本数据经过Transformer提取得到的特征向量；V
a
表示将V
1～3
经过相应的转换矩阵W
1～3
经过维度变换后拼接得到的特征向
量。
[0031]S5、对拼接后的特征向量进行维度变换，即乘以某个转换矩阵，得到可以输入到解码器中的维度的特征向量，主要过程如公式(1
‑
5)所示。
[0032]W
d
＝W
a
×
W
a
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1
‑
5)
[0033]其中W
a
表示维度变化矩阵；W
d
表是经过维度变化后需要输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合用户兴趣偏好的对话生成方法，其特征在于，包括数据、模型结构和具体流程，其中数据包含以下：(1.1)用户特征数据用户特征数据主要包括用户年龄、性别、所在城市等一系列与用户相关的数据；我们可以通过用户在平台注册时所填写的信息或第三方平台上的信息获取到；(1.2)用户行为数据用户行为数据主要包括用户在某些平台上一段时间窗口内对于事物的点击、观看、收藏、转发等行为的记录；可以通过平台后台对于用户的行为记录日志拉取到；(1.3)问题语句问题语句指用户使用对话系统时提出的问题的自然语言序列；模型结构包含以下：基于用户特征数据的特征提取模块、基于用户行为数据的兴趣预测模块、基于问句的回复语生成模块；其中，对于用户特征提取模块的特征提取过程可采用如TextCNN等网络进行特征提取，兴趣预测模块中的特征提取可采用LSTM等时序网络进行特征提取，回复语生成模块中的特征提取采用Transformer网络结构进行计算；具体流程包括以下：S1、当用户对问答系统(如，智能客服系统、智能外呼系统)提出某个问题时，系统获取所提问题的文本序列(如语音则通过ASR转为文本)；同时获取该用户的特征数据和一段时间窗口内的行为数据；S2、对于用户的特征数据、用户行为数据、问题语句，分别通过特定的Embedding形式，转化为表征向量；用户特征数据中主要为字符类别型变量，在此通过构建字典的方式将数据映射到相应索引编码，然后将索引编码输入word2vec进行推理，获取各数据的表征向量；用户行为数据主要为数值型类别变量，将这些变量分别通过一定手段的数理统计技术的处理，拿到对应时间序列的向量，作为表征向量；问题文本数据通过使用开源Bert模型进行动态编码的学习，拿到序列对应的表征向量；S3、针对各表征向量，分别采用相应的网络结构进行特征提取；其中用户特征数据采用TextCNN网络进行特征提取；行为数据采用LSTM网络进行时序特征提取；问题文本序列特征采用Transformer网络进行特征提取；用户特征数据主要是离散的结构化数据，如[性别，年龄，城市，
…
]，由于这类离散特征数据比较稀疏，且前后之间没时间序列关联，特征较容易提取，所以这块采用结构简单、速度较快的TextCNN进行特征提取，最后得到一个包含用户特征信息的高维特征向量；用户的行为数据，这块主要采用的是一定时间窗口内用户在某些平台上的点击、浏览等行为数据，该数据具有时间序列特征，同时由于LSTM网络是典型的处理序列数据的网络，所以在这块采用的LSTM网络进行时序特征的提取，得到包含用户兴趣变化趋势的高维特征向量；问题文本数据是一个文本序列数据，主要是基于网络对数据进行特征编...

【专利技术属性】
技术研发人员：杨康，王宣皓，唐文华，
申请(专利权)人：天翼电子商务有限公司，
类型：发明
国别省市：