一种对话模型生成、应用方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种对话模型生成、应用方法、系统、设备及存储介质，涉及计算机技术领域。一种对话模型生成方法通过获取预设的对话样本；对对话样本进行预处理，得到三元组数据；将三元组数据输入预设的自然语言模型进行语义理解，输出与三元组数据对应的语义意图；将三元组数据和语义意图输入初始神经网络进行训练，得到对话模型。再通过一种对话模型应用方法应用对话模型生成方法生成的对话模型，实现通过多源多模态的数据训练出对话效果较好的对话模型，并基于应用对话模型，大大地提高了对话模型的对话迁移场景能力，增强对话回复的信息丰富度和准确率。的信息丰富度和准确率。的信息丰富度和准确率。

【技术实现步骤摘要】
一种对话模型生成、应用方法、系统、设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种对话模型生成、应用方法、系统、设备及存储介质。

技术介绍

[0002]在相关技术中，现有学术界对话系统，以生成式对话预训练为代表，其通常不支持基于各类知识（如文本、图片、用户画像知识）进行对话回复生成，而现有工业界对话系统，以任务型对话和检索式对话为代表，如一些智能客服仅支持基于对话上文和对话状态管理的对话回复生成；而有些智能对话系统的泛化性又受语料库影响，对话效果不好。
[0003]当前主流对话系统普遍存在模型知识不足，无法迁移不同场景对话能力的情况，尤其在日新月异的信息世界里，用户交流的话题知识以及场景千变万化，对主流对话系统造成严峻的挑战。

技术实现思路

[0004]有鉴于此，本专利技术提供一种对话模型生成、应用方法、系统、设备及存储介质，实现通过多源多模态的数据训练出对话效果较好的对话模型，并基于应用对话模型，大大地提高了对话模型的对话迁移场景能力，增强对话回复的信息丰富度和准确率。
[0005]第一方面，本专利技术提供一种对话模型生成方法，包括：获取预设的对话样本；对所述对话样本进行预处理，得到三元组数据；将所述三元组数据输入预设的自然语言模型进行语义理解，输出与所述三元组数据对应的语义意图；将所述三元组数据和所述语义意图输入初始神经网络进行训练，得到对话模型，其中对话模型至少包括视觉编码器、文本编码器和解码器。
[0006]优选地，根据专利技术提供的对话模型生成方法，所述获取预设的对话样本，包括：利用预设的样本提取策略，从多个提取路径中确定目标提取路径；根据所述样本提取策略和所述目标提取路径，获取所述对话样本。
[0007]优选地，根据专利技术提供的对话模型生成方法，所述对所述对话样本进行预处理，得到三元组数据，包括：对所述对话样本进行清洗处理，得到标准对话样本；根据预设的三元组格式，对所述标准对话样本格式化处理，生成所述三元组数据。
[0008]优选地，根据专利技术提供的对话模型生成方法，所述根据预设的三元组格式，对所述标准对话样本格式化处理，生成所述三元组数据，包括：根据所述三元组格式对所述标准对话样本格式化处理，得到初始三元组数据；
根据预设检测策略检测所述初始三元组数据，标识出异常初始三元组数据；根据所述异常初始三元组数据从所述初始三元组数据中筛选出所述三元组数据。
[0009]第二方面，本专利技术还提供一种对话模型应用方法，应用于如第一方面所述的对话模型生成方法，其中所述对话模型至少包括视觉编码器、文本编码器和解码器；所述对话模型应用方法，包括：采集用户在不同场景下的用户数据，其中所述用户数据至少包括图像数据和文本数据；将所述图像数据输入视觉编码器进行图像编码得到图像编码数据，并将所述文本数据输入文本编码器进行文本编码得到文本编码数据；将所述图像编码数据和所述文本编码数据输入感知采样器进行处理，得到对应的图像隐变量和文本隐变量；将所述图像隐变量和所述文本隐变量输入解码器中进行处理，输出当前回复语句。
[0010]优选地，根据本专利技术提供的对话模型应用方法，所述将所述图像隐变量和所述文本隐变量输入解码器中进行处理，输出与所述用户数据对应的当前回复语句，包括：在所述解码器检测到所述图像隐变量和/或所述文本隐变量的情况下，生成对话生成任务；将所述对话生成任务输入所述对话模型，输出所述当前回复语句。
[0011]第三方面，本专利技术还提供一种对话模型生成系统，所述系统包括：获取对话样本模块，用于获取预设的对话样本；预处理模块，用于对所述对话样本进行预处理，得到三元组数据；语义理解模块，用于将所述三元组数据输入预设的自然语言模型进行语义理解，输出与所述三元组数据对应的语义意图；对话模型生成模块，用于将所述三元组数据和所述语义意图输入初始神经网络进行训练，得到对话模型。
[0012]第四方面，本专利技术还提供一种对话模型应用系统，所述系统包括：采集用户数据模块，用于采集用户在不同场景下的用户数据，其中所述用户数据至少包括图像数据和文本数据；编码模块，用于将所述图像数据输入视觉编码器进行图像编码得到图像编码数据，并将所述文本数据输入文本编码器进行文本编码得到文本编码数据；生成隐变量模块，用于将所述图像编码数据和所述文本编码数据输入感知采样器进行处理，得到对应的图像隐变量和文本隐变量；输出回复语句模块，用于将所述图像隐变量和所述文本隐变量输入解码器中进行处理，输出与所述用户数据对应的当前回复语句。
[0013]第五方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面任一种所述对话模型生成方法的步骤，或实现如上述第二方面所述对话模型应用方法的步骤。
[0014]第六方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程
序，该计算机程序被处理器执行时实现如上述第一方面任一种所述对话模型生成方法的步骤，或实现如上述第二方面所述对话模型应用方法的步骤。
[0015]第七方面，本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一种所述对话模型生成方法的步骤，或实现如上述第二方面所述对话模型应用方法的步骤。
[0016]本专利技术提供了一种对话模型生成、应用方法、系统、设备及存储介质，一种对话模型生成方法通过获取预设的对话样本；对所述对话样本进行预处理，得到三元组数据；将所述三元组数据输入预设的自然语言模型进行语义理解，输出与所述三元组数据对应的语义意图；将所述三元组数据和所述语义意图输入初始神经网络进行训练，得到对话模型。其中，一种对话模型应用方法通过采集用户在不同场景下的用户数据，其中所述用户数据至少包括图像数据和文本数据；将所述图像数据输入视觉编码器进行图像编码得到图像编码数据，并将所述文本数据输入文本编码器进行文本编码得到文本编码数据；将所述图像编码数据和所述文本编码数据输入感知采样器进行处理，得到对应的图像隐变量和文本隐变量；将所述图像隐变量和所述文本隐变量输入解码器中进行处理，输出当前回复语句。实现通过多源多模态的数据训练出对话效果较好的对话模型，并基于应用对话模型，大大地提高了对话模型的对话迁移场景能力，增强对话回复的信息丰富度和准确率。
附图说明
[0017]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术提供的对话模型生成方法的流程示意图之一；图2是本专利技术提供的对话模型应用方法的流程示意图之一；图3是本专利技术提供的对话模型应用的示意图之二；图4是本专利技术提供的对话模型生成系统的结构示意图；图5是本专利技术提供的对话模型应用系统的结构示意图；图6是本专利技术提供的电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话模型生成方法，其特征在于，包括：获取预设的对话样本；对所述对话样本进行预处理，得到三元组数据；将所述三元组数据输入预设的自然语言模型进行语义理解，输出与所述三元组数据对应的语义意图；将所述三元组数据和所述语义意图输入初始神经网络进行训练，得到对话模型，其中对话模型至少包括视觉编码器、文本编码器和解码器。2.根据权利要求1所述的对话模型生成方法，其特征在于，所述获取预设的对话样本，包括：利用预设的样本提取策略，从多个提取路径中确定目标提取路径；根据所述样本提取策略和所述目标提取路径，获取所述对话样本。3.根据权利要求1所述的对话模型生成方法，其特征在于，所述对所述对话样本进行预处理，得到三元组数据，包括：对所述对话样本进行清洗处理，得到标准对话样本；根据预设的三元组格式，对所述标准对话样本格式化处理，生成所述三元组数据。4.根据权利要求3所述的对话模型生成方法，其特征在于，所述根据预设的三元组格式，对所述标准对话样本格式化处理，生成所述三元组数据，包括：根据所述三元组格式对所述标准对话样本格式化处理，得到初始三元组数据；根据预设检测策略检测所述初始三元组数据，标识出异常初始三元组数据；根据所述异常初始三元组数据从所述初始三元组数据中筛选出所述三元组数据。5.一种对话模型应用方法，其特征在于，应用于如权利要求1至4任一项所述的对话模型生成方法，其中所述对话模型至少包括视觉编码器、文本编码器和解码器；所述对话模型应用方法，包括：采集用户在不同场景下的用户数据，其中所述用户数据至少包括图像数据和文本数据；将所述图像数据输入所述视觉编码器进行图像编码得到图像编码数据，并将所述文本数据输入所述文本编码器进行文本编码得到文本编码数据；将所述图像编码数据和所述文本编码数据输入感知采样器进行处理，得到对应的图像隐变量和文本隐变量；将所述图像隐变量和所述文本隐变量输入所述解码器中进行处理，输出当前回复语句。6.根据权利要求5所...

【专利技术属性】
技术研发人员：连怡鑫，刘剑锋，杜晓薇，王宝元，
申请(专利权)人：北京红棉小冰科技有限公司，
类型：发明
国别省市：