响应推断方法和设备技术

公开了一种响应推断方法和设备。所述响应推断设备接收输入，通过对输入进行编码，在潜变量区域空间中生成潜变量向量，生成与潜变量向量具有预定相位差的验证向量，通过对潜变量向量进行解码来生成输出响应，通过对验证向量进行解码来生成验证响应，并且通过将输出响应与验证响应进行比较来验证输出响应。

【技术实现步骤摘要】
响应推断方法和设备本申请要求于2019年10月2日在韩国知识产权局提交的第10-2019-0122021号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
下面的描述涉及响应推断方法和设备。
技术介绍
会话或话语模型包括面向目标的会话模型和普通会话模型。面向目标的会话模型生成对具有明确目标的话语的单一响应。普通会话模型生成对不具有特定目标的话语(例如，依次的问候或情感的表达)的各种响应。生成对用户话语的响应的模型包括基于规则的会话模型、基于搜索的会话模型以及基于生成的会话模型。在一个示例中，基于规则的会话模型使用预配置的模板。在一个示例中，基于搜索的会话模型在数据库中搜索合适的响应。在一个示例中，基于生成的会话模型使用预训练的编码器和解码器来生成最佳响应。
技术实现思路
提供本
技术实现思路
以简化的形式介绍在以下具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。在一个总体方面，一种处理器实现的响应推断方法包括：接收输入；通过对接收的输入进行编码，在包括与多个响应对应的多个区域的潜变量区域空间中生成潜变量向量；生成与生成的潜变量向量具有预定相位差的验证向量；通过对潜变量向量进行解码，生成与潜变量向量的区域对应的输出响应；通过对验证向量进行解码，生成与验证向量的区域对应的验证响应；通过将输出响应与验证响应进行比较来验证输出响应；和基于验证的结果输出对接收的输入的输出响应。生成验证向量的步骤可包括：生成验证向量，使得验证向量与潜变量向量具有预定相位差。生成验证向量的步骤可包括：生成验证向量，使得验证向量与潜变量向量反相。验证向量可包括多个验证向量，并且其中，生成验证向量的步骤可包括：生成验证向量，使得验证向量与潜变量向量具有多个预定相位差。潜变量向量可以是可包括用于生成对接收的输入的响应的多个潜信息变量的多维向量。生成潜变量向量的步骤可包括：通过对接收的输入进行编码来生成潜变量；和生成属于包括在与潜变量对应的潜变量区域空间中的所述多个区域中的一个区域的潜变量向量。生成潜变量向量的步骤可包括：基于表示潜变量区域空间的概率分布对多个向量进行采样；和基于采样的多个向量来生成潜变量向量。验证输出响应的步骤可包括：对输出响应进行评分；对验证响应进行评分；和将输出响应的分数与验证响应的分数进行比较。比较的步骤可包括：确定输出响应的分数与验证响应的分数之间的差是否大于预定值。所述输入可以是用户在会话中不意在得到特定响应的话语，并且所述多个响应中的每个响应是对所述话语的不同的响应。生成潜变量向量的步骤可包括：用编码器对接收的输入进行编码，并且其中，所述编码器的神经网络包括与接收的输入对应的输入层和与对潜变量建模的概率分布的均值和方差对应的输出层。生成输出响应的步骤可包括：用解码器对潜变量向量进行解码，并且生成验证响应的步骤可包括：用所述解码器对验证向量进行解码，并且其中，所述解码器的神经网络可包括与潜变量向量对应的输入层和与输出响应对应的输出层。所述解码器的神经网络可包括与验证向量对应的输入层和与验证响应对应的输出层。在一个总体方面，一种处理器实现的训练方法包括：接收训练输入；从对接收的训练输入的多个训练响应中接收训练响应；通过将接收的训练输入应用于将被训练的编码器来生成潜变量；生成包括在与潜变量对应的潜变量区域空间中的区域的训练潜变量向量；通过将训练潜变量向量应用于将被训练的解码器来生成输出响应；和基于输出响应和训练响应来训练所述编码器的神经网络和所述解码器的神经网络，以生成训练的神经网络。所述方法还可包括：生成与训练潜变量向量具有预定相位差的训练验证向量；通过将训练验证向量应用于所述解码器来生成训练验证响应；训练鉴别器，所述鉴别器被配置为进行操作以在输出响应与训练验证响应之间进行鉴别；和训练所述编码器的神经网络和所述解码器的神经网络，使得所述鉴别器不能在输出响应与训练验证响应之间进行鉴别。训练潜变量向量可以是包括用于生成对训练输入的响应的多个潜信息变量的多维向量。潜变量区域空间可包括与所述多个训练响应对应的多个区域。生成训练潜变量向量的步骤可包括：基于表示潜变量区域空间的概率分布对多个向量进行采样；通过使控制输入随机化来生成嵌入式控制输入；将嵌入式控制输入应用于采样的多个向量；和通过应用了嵌入式控制输入的采样的多个向量的加权和，来生成训练潜变量向量。在一个总体方面，一种响应推断设备包括：处理器，被配置为：接收输入；通过对接收的输入进行编码，在包括与多个响应对应的多个区域的潜变量区域空间中生成潜变量向量；生成与生成的潜变量向量具有预定相位差的验证向量；通过对潜变量向量进行解码，生成与潜变量向量的区域对应的输出响应；通过对验证向量进行解码，生成与验证向量的区域对应的验证响应；通过将输出响应与验证响应进行比较来验证输出响应；和基于验证的结果输出对接收的输入的输出响应。所述设备还可包括：存储器，存储器包括指令，其中，响应于所述指令由所述处理器执行，所述处理器被控制以执行接收输入的处理、在潜变量区域空间中生成潜变量向量的处理、生成验证向量的处理、生成输出响应的处理、生成验证响应的处理、验证输出响应的处理以及输出输出响应的处理。在一个总体方面，一种处理器实现的响应推断方法包括：接收用户输入；基于接收的输入，用编码器生成概率分布；基于生成的概率分布对多个向量进行采样；将嵌入式控制输入应用于采样的多个向量中的每个向量；基于控制输入从概率分布生成潜变量向量；和通过对潜变量向量进行解码来生成与潜变量向量的区域对应的输出响应。控制输入可以是与采样的多个向量的维度相同的维度的向量。概率分布可以从自用户输入生成的均值和方差来生成。从下面的具体实施方式、附图以及权利要求，其它特征和方面将是清楚的。附图说明图1示出根据一个或多个实施例的响应推断方法的示例。图2A和图2B示出根据一个或多个实施例的响应推断方法的示例。图3A和图3B示出根据一个或多个实施例的响应推断方法的示例。图4A和图4B示出根据一个或多个实施例的使用编码器和解码器执行的操作的示例。图5A和图5B示出根据一个或多个实施例的通过多重采样(multi-sampling)生成潜变量(latentvariable)向量的示例。图6示出根据一个或多个实施例的生成输出响应和验证响应的示例。图7示出根据一个或多个实施例的将输出响应与验证响应进行比较的示例。图8示出根据一个或多个实施例的用于响应推断的训练方法的示例。图9示出根据一个或多个实施例的用于响应推断的训练方法的示例。图10示出根据一个或多个实施例的用于响应推断的训练方法的示例。图11示出根据一个或多个实施例的响应推断设备的配置的示例。贯穿附图和具体本文档来自技高网...

【技术保护点】
1.一种响应推断方法，包括：/n接收输入；/n通过对接收的输入进行编码，在包括与多个响应对应的多个区域的潜变量区域空间中生成潜变量向量；/n生成与生成的潜变量向量具有预定相位差的验证向量；/n通过对潜变量向量进行解码，生成与潜变量向量的区域对应的输出响应；/n通过对验证向量进行解码，生成与验证向量的区域对应的验证响应；/n通过将输出响应与验证响应进行比较来验证输出响应；和/n基于验证的结果输出对接收的输入的输出响应。/n

【技术特征摘要】
20191002 KR 10-2019-01220211.一种响应推断方法，包括：
接收输入；
通过对接收的输入进行编码，在包括与多个响应对应的多个区域的潜变量区域空间中生成潜变量向量；
生成与生成的潜变量向量具有预定相位差的验证向量；
通过对潜变量向量进行解码，生成与潜变量向量的区域对应的输出响应；
通过对验证向量进行解码，生成与验证向量的区域对应的验证响应；
通过将输出响应与验证响应进行比较来验证输出响应；和
基于验证的结果输出对接收的输入的输出响应。


2.根据权利要求1所述的响应推断方法，其中，生成验证向量的步骤包括：生成验证向量，使得验证向量与潜变量向量具有预定相位差。


3.根据权利要求1所述的响应推断方法，其中，生成验证向量的步骤包括：生成验证向量，使得验证向量与潜变量向量反相。


4.根据权利要求1所述的响应推断方法，其中，验证向量包括多个验证向量，并且
其中，生成验证向量的步骤包括：生成验证向量，使得验证向量与潜变量向量具有多个预定相位差。


5.根据权利要求1所述的响应推断方法，其中，潜变量向量是包括用于生成对接收的输入的响应的多个潜信息变量的多维向量。


6.根据权利要求1所述的响应推断方法，其中，生成潜变量向量的步骤包括：
通过对接收的输入进行编码来生成潜变量；和
生成属于包括在与潜变量对应的潜变量区域空间中的所述多个区域中的一个区域的潜变量向量。


7.根据权利要求6所述的响应推断方法，其中，生成潜变量向量的步骤包括：
基于表示潜变量区域空间的概率分布对多个向量进行采样；和
基于采样的多个向量来生成潜变量向量。


8.根据权利要求1所述的响应推断方法，其中，验证输出响应的步骤包括：
对输出响应进行评分；
对验证响应进行评分；和
将输出响应的分数与验证响应的分数进行比较。


9.根据权利要求8所述的响应推断方法，其中，比较的步骤包括：确定输出响应的分数与验证响应的分数之间的差是否大于或等于预定值。


10.根据权利要求1所述的响应推断方法，其中，所述输入是用户在会话中不意在得到特定响应的话语，并且
所述多个响应中的每个响应是对所述话语的不同的响应。


11.根据权利要求1所述的响应推断方法，其中，生成潜变量向量的步骤包括：用编码器对接收的输入进行编码，并且
其中，所述编码器的神经网络包括与接收的输入对应的输入层和与对潜变量建模的概率分布的均值和方差对应的输出层。


12.根据权利要求1所述的响应推断方法，其中，生成输出响应的步骤包括：用解码器对潜变量向量进行解码，并且
生成验证响应的步骤包括：用所述解码器对验证向量进行解码，并且
其中，所述解码器的神经网络包括与潜变量向量对应的输入层和与输出响应对应的输出层。


13.根据权利要求12所述的响应推断方法，其中，所述解码器的神经网络包括与验证向量对应的输入层和与验证响应对应的输出层。


14.一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理...

【专利技术属性】
技术研发人员：全在勳，金美淑，朴贞训，韩奎范，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR