基于上下文的对话生成方法及系统技术方案

本发明专利技术公开了基于上下文的对话生成方法及系统，包括：获取当前对话语句、当前对话的上文语句和当前对话的下文语句；将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句。该方法能够起到承上启下的作用，将与当前对话相关的上下文信息结合起来生成更有效的信息，一方面可以使对话更加地流畅，保持对话的前后一致性、逻辑性；另一方面能够给神经网络提供更多的前提输入信息，研究表明丰富的输入信息有利于神经网络生成更有意义的回答。网络生成更有意义的回答。网络生成更有意义的回答。

【技术实现步骤摘要】
基于上下文的对话生成方法及系统


[0001]本申请涉及对话生成
，特别是涉及基于上下文的对话生成方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本申请相关的
技术介绍
，并不必然构成现有技术。
[0003]网络虚拟接触特有的低投入，高回报的特点，使得网上作业逐渐广泛。目前来看，网络对话、网络办公、网络购物、网上诊疗已然成为人们生活的一大部分。网络发展的大背景下，聊天机器人逐渐走向人们视野中心，这主要得益于聊天机器人遍布人们网络生活的各个角落：网上购物时，机器人可以取代客服推荐符合客户需求的商品；网上诊疗时，机器人可以根据病情描述向病人推荐主治医生；快节奏高强度的生活状态下，机器人可能成为用户不可或缺的排解心情的对话工具。此外，据有效数据显示，人类第一次使用消息应用的次数超过了他们使用社交网络的次数，这说明消息类应用是网上人群聚集的地方，不可否认，一个在现实生活中只言片语的人在网上也有自己的精神世界，人们将更多的情感储备在网络上，网络对话开始占据生活交流的一大部分。因此，无论从聊天机器人的应用背景还是发展前景来看，聊天机器人都有无限潜力。
[0004]具体来讲，聊天机器人是人们网络对话的学习者，与现实对话不同，网络对话缺失了物理世界的切实触碰，抛开面对面接触的仪式感，一方面通过语言文字营造出的特殊意境将带给人心理上的安全感，人们更愿意倾诉内心；另一方面，不受时间紧迫性的影响，人们有更大的时空理清自己的思路，促就更高质量的有效对话。因此聊天机器人不仅是简单地基于文字的服务，为了获得更好的用户体验，需要带给用户一种熟悉的感觉。
[0005]聊天机器人涉猎极广，近年来已经吸引人工智能学者的广泛关注。目前，chatbots在任务型对话中的方法臻于成熟，主要问题在于缺少有效注释的大型语料库。不同于任务型对话知识固定性的特点，闲聊型机器人被要求具备更广泛的知识以及更自然的信息整合处理能力，对话上下文信息显得愈来愈重要也直接影响用户的体验性。为了解决上述问题，一些学者主张在检索式对话中执行上下文与候选回答的相关性计算，比如Wu Yu等人提出一种新型的序列匹配模型(SWF)来识别上下文中的有效部分或者在生成式对话中研究上下文与当前对话的相关性，比如Tian Zhiliang等人则通过计算上下文与当前对话余弦相似度来利用上下文信息，实验表明这种显式的加权能够有效过滤无效信息保留有用信息。

技术实现思路

[0006]为了解决现有技术的不足，本申请提供了基于上下文的对话生成方法及系统；
[0007]第一方面，本申请提供了基于上下文的对话生成方法；
[0008]基于上下文的对话生成方法，包括：
[0009]获取当前对话语句、当前对话的上文语句和当前对话的下文语句；
[0010]将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句。
[0011]第二方面，本申请提供了基于上下文的对话生成系统；
[0012]基于上下文的对话生成系统，包括：
[0013]获取模块，其被配置为：获取当前对话语句、当前对话的上文语句和当前对话的下文语句；
[0014]预测模块，其被配置为：将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句。
[0015]第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
[0016]第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
[0017]第五方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
[0018]与现有技术相比，本申请的有益效果是：
[0019]本申请针对生成式多轮对话中如何有效结合上下文的问题，提出一种新型的加权学习的方法来更好地理解上下文语意。该方法能够起到承上启下的作用，将与当前对话相关的上下文信息结合起来生成更有效的信息，一方面可以使对话更加地流畅，保持对话的前后一致性、逻辑性；另一方面能够给神经网络提供更多的前提输入信息，研究表明丰富的输入信息有利于神经网络生成更有意义的回答。
[0020]考虑到多轮对话上下文中交叉存在对当前对话有用的信息以及无用的噪音，本申请通过对当前对话有用信息进行加权从而有效利用上下文。按照上下文与当前对话的相关权重参与到神经网络的编码输入中，体现了生成式对话中信息利用的合理性，对分层递归编解码模型中编码结构的信息输入来说，大大减少了噪音信息的干扰性，有利于神经网络的训练，并进一步推动模型的参数优化，从而体现模型的鲁棒性。
[0021]为了更好地训练分层递归编解码模型，本申请针对模型任务的特殊性收集整理了百万条单轮对话数据集，不同于简单的问答对话，该数据集能够最大程度地体现前后语句之间的相关性，推动本文模型的高效率训练，同样，该数据集也可用于文本分类、知识推理、摘要提取等方面的研究。
[0022]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0023]构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
[0024]图1为第一个实施例的加权上下文生成式对话系统示意图；
[0025]图2为第一个实施例的求和结构示意图；
[0026]图3为第一个实施例的拼接结构示意图；
[0027]图4为第一个实施例的句间RNN示意图。
具体实施方式
[0028]应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本申请使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。
[0029]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0030]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0031]实施例一
[0032]本实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于上下文的对话生成方法，其特征是，包括：获取当前对话语句、当前对话的上文语句和当前对话的下文语句；将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句。2.如权利要求1所述的方法，其特征是，将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器中，编解码器输出当前对话语句的预测对话语句；具体步骤包括：将当前对话语句、当前对话的上文语句和当前对话的下文语句，输入到预先训练好的编解码器的编码器中，编码器对当前对话语句、当前对话的上文语句和当前对话的下文语句分别进行特征提取，编码器对提取的特征进行编码处理得到编码结果；编解码器的解码器对编码结果进行解码处理，得到当前对话语句的预测对话语句。3.如权利要求2所述的方法，其特征是，所述编码器，包括：第一递归神经网络GRU、第二递归神经网络GRU、第三递归神经网络GRU、第一隐藏层、第二隐藏层、第三隐藏层和特征融合层；第一递归神经网络GRU，用于对当前对话的上文语句进行特征向量提取得到上文语句特征向量；上文语句特征向量输入到第一隐藏层进行处理，第一隐藏层输出第一特征向量；第一隐藏层将处理后的结果输入到第二隐藏层，作为第二隐藏层的输入值；第二递归神经网络GRU，用于对当前对话的下文语句进行特征向量提取得到下文语句特征向量；下文语句特征向量和第一隐藏层将处理后的结果，均输入到第二隐藏层中进行处理，第二隐藏层输出第二特征向量；第二隐藏层将处理后的结果输入到第三隐藏层，作为第三隐藏层的输入值；第三递归神经网络GRU，用于对当前对话语句进行特征向量提取得到当前对话语句特征向量；当前对话语句特征向量和第二隐藏层将处理后的结果，均输入到第三隐藏层中，第三隐藏层输出第三特征向量；将第一特征向量、第二特征向量和第三特征向量输入到特征融合层中进行加权融合，输出融合后的特征，融合后的特征作为编码器的输出值，送入解码器中，解码器通过解码处理输出得到当前对话语句的预测对话语句...

【专利技术属性】
技术研发人员：解福，刘悦，刘凤鸣，于凤洋，徐传杰，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：