用于面向任务的对话的全局到本地存储器指针网络制造技术

提供了一种用于为用户和计算机之间的对话生成应答的系统和相应的方法。系统包括存储对话历史和知识库的信息的存储器。编码器可以接收来自用户的新话语并且生成用于过滤存储器中的知识库信息的全局存储器指针。解码器可以为新话语生成至少一个本地存储器指针和草稿应答。草稿应答包括要由来自存储器的知识库信息替换的至少一个草稿标签。系统使用本地存储器指针，从过滤的知识库信息中选择词语来替换草稿应答中的至少一个草稿标签，从而生成对话计算机应答。

【技术实现步骤摘要】
【国外来华专利技术】用于面向任务的对话的全局到本地存储器指针网络相关申请本申请要求2018年9月27日提交的美国临时专利申请号62/737,234和2018年10月30日提交的美国非临时专利申请号16/175,639的优先权，其全部内容通过引用并入本文。版权通知本专利文献的披露内容的一部分包含受版权保护的材料。版权所有者不反对任何人对本专利文件或专利披露的传真复制，只要其是出现在专利商标局专利文件或记录中，但在其他情况下保留所有版权。
本申请总体上涉及对话系统，并且更具体地涉及使用用于面向任务的对话(task-orienteddialogue)的全局到本地(globaltolocal)存储器指针网络。
技术介绍
已经开发了面向任务的对话系统来实现特定的用户目标，例如预定餐厅、找到感兴趣的地方、帮助导航或驾驶方向等。通常，对这些对话系统的用户查询限于通过自然语言输入或提供的相对较小的对话词语或话语集合。传统的面向任务的对话解决方案是利用用于自然语言理解、对话管理和自然语言生成的技术来实现的，其中为特定目的或任务单独地并且以某种代价来定制每个模块。附图说明图1是根据一些实施例的计算设备的简化图。图2是根据一些实施例的全局本地存储器指针模型或网络的简化图。图3是根据一些实施例的外部知识存储器的简化图。图4是根据一些实施例的用于编码对话历史和知识库的编码器的简化图。图5是根据一些实施例的解码器的简化图。图6示出了根据一些实施例的知识库和对话历史的示例表。图7是根据一些实施例的用于全局本地存储器指针模型或网络的方法的简化图。图8和图9示出了将全局本地存储器指针模型或网络与基线相比较的示例表。图10示出了示出全局本地存储器指针模型或网络对性能的贡献的示例表。图11是SMD导航域中的存储器注意力可视化的示例。图12示出了示出针对不同跳跃所选择的超参数的示例表(hops)。图13示出了示出全局本地存储器指针模型或网络与其他基线相比的适当性和人类相似性的得分的示例图表。在附图中，具有相同标号的元件具有相同或相似的功能。具体实施方式说明方面、实施例、实施方案或应用的说明和附图不应被视为限制。权利要求书限定受保护的专利技术。在不偏离本说明书和权利要求书的精神和范围的情况下，可以进行各种机械的、组成的、结构的、电气的和操作的改变。在一些情况下，没有详细示出或描述公知的电路、结构或技术，因为这些是本领域技术人员已知的。两个或多个图中的相同数字表示相同或相似的元件。在本说明书中，阐述了描述根据本申请的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员很清楚的是，可以在没有这些具体细节中的一些或全部的情况下实施一些实施例。本文所披露的具体实施例旨在说明而非限制。本领域的技术人员可以认识到，尽管未在此具体描述，但其他元件也在本申请的范围和精神内。此外，为了避免不必要的重复，结合一个实施例示出和描述的一个或多个特征可以结合到其他实施例中，除非另外具体描述或者这一个或多个特征将使实施例不起作用。为了减少开发对话系统所需的人力，以及为了在对话系统的领域或应用之间进行扩展，已经开发了输入明文并直接输出系统应答的端到端对话系统。然而，这些端到端对话系统通常的缺点在于它们不能有效地将外部知识库(KB)合并到系统应答生成中。其原因之一是，大的动态的知识库可能是庞大的和有噪声的输入，这将使应答的产生或输出不稳定。与闲谈(chit-chat)情景不同，问题对于在面向任务的对话系统中的使用可能特别具有挑战性或有害，因为知识库中的信息通常被期望在应答中包括正确或适当的实体。例如对于实现汽车驾驶助理的对话系统，知识库可以包括如图6所示的示例表610中所示的信息。在用户与系统交互的示例对话中，如表620所示，用户/驾驶员可以做出对汽油的询问(例如“我需要汽油”)。访问表620的知识库的系统可以将“瓦莱罗(Valero)”标识为“加油站”。但应答于来自驱动程序的后续查询“地址是什么？”，系统可以识别多种可能性——“范内斯大街580号(580VanNessAve)”、“范内斯大街394号”、“箭头大道842号(842ArrowheadWay)”、“奥斯特大街200号(200AlesterAve)”等。驾驶员将期望系统将地址提供给加油站(例如瓦莱罗)，而不是将地址用于朋友的房屋(例如汤姆家(Tomshouse))或咖啡和茶场所(例如库帕(Coupa))或一些其他随机场所。为了解决问题，根据一些实施例，本申请提供了用于在面向任务的对话系统中生成应答的全局本地存储器指针(GLMP)网络或模型。GLMP网络或模型包括全局存储器编码器、本地存储器解码器和外部知识存储器。GLMP在编码器和解码器之间共享外部知识，并且利用编码器和外部知识来学习全局存储器指针。然后它被传播到解码器并修改外部知识，过滤对于复制到应答中不必要的词语。之后，本地存储器解码器首先使用递归神经网络(RNN)来获得具有草稿(sketch)标签的草稿应答，而不是直接生成系统应答。带有标签的草稿应答操作为或者可以被认为是学习潜在的对话管理以生成用于对话动作的模板。然后，解码器生成本地存储器指针，以从外部知识存储器复制词语以替换草稿标签。计算设备图1是根据一些实施例的计算设备100的简化图。如图1所示，计算设备100包括联接到存储器120的处理器110。计算设备100的操作由处理器110控制。尽管计算设备100被示出为仅具有一个处理器110，但是应当理解，处理器110可以表示计算设备100中的一个或多个中央处理单元、多核处理器、微处理器、微控制器、数字信号处理器，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、图形处理单元(GPU)、张量处理单元(TPU)和/或类似物。计算设备100可以实现为独立子系统、添加到计算设备的板和/或虚拟机。存储器120可用于存储由计算设备100执行的软件和/或在计算设备100的操作期间使用的一个或多个数据结构。存储器120可以包括一种或多种类型的机器可读介质。机器可读介质的一些常见形式可包含软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁盘，和/或处理器或计算机适于从其读取的任何其他介质。处理器110和/或存储器120可以以任何合适的物理布置来布置。在一些实施例中，处理器110和/或存储器120可以在相同的板上、在相同的封装(例如系统级封装)中、在相同的芯片(例如片上系统)和/或类似物上实现。在一些实施例中，处理器110和/或存储器120可以包括分布式、虚拟化和/或容器化的计算资源。根据这些实施例，处理器110和/或存储器120可以位于一个或多个数据中心和/或云计算设施中。如图所示，存储器120包括全局本地存储器本文档来自技高网...

【技术保护点】
1.一种用于为用户和计算机之间的对话生成应答的方法，所述方法包括：/n在存储器中存储对话历史和知识库，其中所述对话历史包括在所述对话期间交换的用户话语和计算机应答的序列的信息，其中所述知识库包括可以在对话计算机应答中使用的信息；/n在所述计算机处接收来自所述用户的新话语；/n基于所述新话语生成全局存储器指针；/n生成用于所述新话语的草稿应答，所述草稿应答包括将被来自所述存储器的知识库信息替换的至少一个草稿标签；/n使用所述全局存储器指针过滤所述存储器中的所述知识库信息；/n生成至少一个本地存储器指针；和/n使用所述本地存储器指针从过滤的知识库信息选择词语，以替换所述草稿应答中的所述至少一个草稿标签，从而生成所述对话计算机应答。/n

【技术特征摘要】
【国外来华专利技术】20180927 US 62/737,234;20181030 US 16/175,6391.一种用于为用户和计算机之间的对话生成应答的方法，所述方法包括：
在存储器中存储对话历史和知识库，其中所述对话历史包括在所述对话期间交换的用户话语和计算机应答的序列的信息，其中所述知识库包括可以在对话计算机应答中使用的信息；
在所述计算机处接收来自所述用户的新话语；
基于所述新话语生成全局存储器指针；
生成用于所述新话语的草稿应答，所述草稿应答包括将被来自所述存储器的知识库信息替换的至少一个草稿标签；
使用所述全局存储器指针过滤所述存储器中的所述知识库信息；
生成至少一个本地存储器指针；和
使用所述本地存储器指针从过滤的知识库信息选择词语，以替换所述草稿应答中的所述至少一个草稿标签，从而生成所述对话计算机应答。


2.根据权利要求1所述的方法，其中所述对话历史包括用于所述对话历史信息的成组的嵌入矩阵。


3.根据权利要求1或2所述的方法，其中所述知识库包括用于所述知识库信息的成组的嵌入矩阵。


4.根据权利要求1-3中任一项所述的方法，其中生成所述全局存储器指针包括：
对所述新话语进行编码以生成一个或多个隐藏状态；和
使用所述一个或多个隐藏状态查询所述存储器中的所述知识库信息。


5.根据权利要求1-4中任一项所述的方法，其中所述全局存储器指针包括具有多个元素的向量，每个元素与独立的概率相关联。


6.根据权利要求1-5中任一项所述的方法，其中所述本地存储器指针包括指针的序列，每个指针用于从所述过滤的知识库信息选择相应的词语以替换所述草稿应答中相应的草稿标签。


7.一种包括可执行代码的非瞬态机器可读介质，当由与计算机相关联的一个或多个处理器执行时，所述可执行代码被适配成致使所述一个或多个处理器执行如下方法，所述方法包括：
在存储器中存储对话历史和知识库，其中所述对话历史包括在所述对话期间交换的用户话语和计算机应答的序列的信息，其中所述知识库包括可以在对话计算机应答中使用的信息；
在所述计算机处接收来自用户的新话语；
基于所述新话语生成全局存储器指针；
生成用于所述新话语的草稿应答，所述草稿应答包括将被来自所述存储器的知识库信息替换的至少一个草稿标签；
使用所述全局存储器指针过滤所述存储器中的所述知识库信息；
生成至少一个本地存储器指针；和
使用所述本地存储器指针从过滤的知识库信息选择词语，以替换所述草稿应答中的所述至少一个草稿标签，从而生成所述对话计算机应答。


8.根据权...

【专利技术属性】
技术研发人员：CS·吴，C·熊，R·佐赫尔，
申请(专利权)人：易享信息技术有限公司，
类型：发明
国别省市：美国;US