用于确定响应语句的方法、设备、装置和介质制造方法及图纸

根据本公开的实施例，提供了一种用于确定响应语句的方法、设备、装置和介质。该方法包括基于源语句序列和候选响应语句，根据响应确定模型，确定候选响应语句与正确响应语句间的匹配得分。基于匹配得分和表示候选响应语句是否是正确响应语句的标注信息来确定第一损失。基于源对话序列、正样本对话序列和负样本对话序列来确定第二损失。源对话序列包括源语句序列和候选响应语句。正样本对话序列至少包括正确响应语句。负样本对话序列包括源语句序列和针对源语句序列的错误响应语句。第二损失表示相比负样本对话序列，正样本对话序列与源对话序列之间的相似程度。该方法还包括基于第一损失和第二损失的值，训练响应确定模型。训练响应确定模型。训练响应确定模型。

【技术实现步骤摘要】
用于确定响应语句的方法、设备、装置和介质


[0001]本公开的示例实施例总体涉及计算机领域，特别地涉及用于确定响应语句的方法、设备、装置和计算机可读存储介质。

技术介绍

[0002]在自然语言处理(NLP)领域中，基于人工智能的各种对话处理技术已经得到显著发展，并且具有广泛应用。自然语言处理可以应用于多种不同的对话处理系统和应用。例如，对话处理技术可以应用于能够与用户进行交互的智能对话系统，以协助用户执行具体的任务。针对这些对话处理系统，通常需要利用诸如语言理解模型等的模型来确定准确的响应语句。所确定的响应语句的准确性影响着对话处理任务的准确性。因此，期望用于确定响应语句的模型具有良好的处理能力和准确性。

技术实现思路

[0003]根据本公开的示例实施例，提供了一种用于确定响应语句的方案。
[0004]在本公开的第一方面，提供了一种的方法。该方法包括基于源语句序列和候选响应语句，根据响应确定模型，确定候选响应语句与对应于源语句序列的正确响应语句之间的匹配得分。该方法还包括基于匹配得分和候选响应语句的标注信息来确定第一损失。第一损失表示匹配得分与标注信息之间的相似程度。标注信息表示候选响应语句是否是正确响应语句。该方法还包括基于源对话序列、正样本对话序列和负样本对话序列来确定第二损失。源对话序列包括源语句序列和候选响应语句。正样本对话序列至少包括正确响应语句。负样本对话序列包括源语句序列和针对源语句序列的错误响应语句。第二损失表示相比负样本对话序列，正样本对话序列与源对话序列之间的相似程度。该方法还包括基于第一损失和第二损失的值，训练响应确定模型。
[0005]在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行以下动作：基于源语句序列和候选响应语句，根据响应确定模型，确定候选响应语句与对应于源语句序列的正确响应语句之间的匹配得分；基于匹配得分和候选响应语句的标注信息来确定第一损失，第一损失表示匹配得分与标注信息之间的相似程度，标注信息表示候选响应语句是否是正确响应语句；基于源对话序列、正样本对话序列和负样本对话序列来确定第二损失，源对话序列包括源语句序列和候选响应语句，正样本对话序列至少包括正确响应语句，负样本对话序列包括源语句序列和针对源语句序列的错误响应语句，第二损失表示相比负样本对话序列，正样本对话序列与源对话序列之间的相似程度；以及基于第一损失和第二损失的值，训练响应确定模型。
[0006]在本公开的第三方面，提供了一种用于确定响应语句的装置，该装置包括匹配得分确定模块，被配置为基于源语句序列和候选响应语句，根据响应确定模型，确定候选响应
语句与对应于源语句序列的正确响应语句之间的匹配得分。该装置还包括第一损失确定模块，被配置为基于匹配得分和候选响应语句的标注信息来确定第一损失。第一损失表示匹配得分与标注信息之间的相似程度。标注信息表示候选响应语句是否是正确响应语句。该装置还包括第二损失确定模块，被配置为基于源对话序列、正样本对话序列和负样本对话序列来确定第二损失。源对话序列包括源语句序列和候选响应语句。正样本对话序列至少包括正确响应语句。负样本对话序列包括源语句序列和针对源语句序列的错误响应语句。第二损失表示相比负样本对话序列，正样本对话序列与源对话序列之间的相似程度。该装置还包括模型训练模块，被配置为基于第一损失和第二损失的值，来训练响应确定模型。
[0007]在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。应当理解，本
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
[0008]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0009]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0010]图2示出了根据本公开的一些实施例的模型训练架构的示意图；
[0011]图3示出了根据本公开的一些实施例的正负样本对话序列的示意图；
[0012]图4示出了根据本公开的一些实施例的用于确定响应语句的过程的流程图；
[0013]图5示出了根据本公开的一些实施例的用于确定响应语句的装置的框图；以及
[0014]图6示出了能够实施本公开的多个实施例的设备的框图。
具体实施方式
[0015]下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0016]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。
[0017]如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。如本文所使用的，属于“确定模型的参数”或类似表达是指确定模型的参数的值(又称为参数值)，包括具体值、取值集合或取值范围等。
[0018]“神经网络”是一种基于深度学习的机器学习网络。神经网络能够处理输入并且提供相应输出，其通常包括输入层和输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的神经网络通常包括许多隐藏层，从而增加网络的深度。神经网络的各个层按顺序相连，从而前一层的输出被提供作为后一层的输入，其中输入层接收神经网络的输入，而输出层的输出作为神经网络的最终输出。神经网络的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。
[0019]通常，机器学习大致可以包括三个阶段，即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段，给定的模型可以使用大量的训练数据进行训练，不断迭代更新模型的参数值，直到模型能够从训练数据中获取一致的满足预期目标的推理。通过训练，模型可以被认为能够从训练数据中学习从输入到输出之间的关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于确定响应语句的方法，包括：基于源语句序列和候选响应语句，根据响应确定模型，确定所述候选响应语句与对应于所述源语句序列的正确响应语句之间的匹配得分；基于所述匹配得分和所述候选响应语句的标注信息来确定第一损失，所述第一损失表示所述匹配得分与所述标注信息之间的相似程度，所述标注信息表示所述候选响应语句是否是所述正确响应语句；基于源对话序列、正样本对话序列和负样本对话序列来确定第二损失，所述源对话序列包括所述源语句序列和所述候选响应语句，所述正样本对话序列至少包括所述正确响应语句，所述负样本对话序列包括所述源语句序列和针对所述源语句序列的错误响应语句，所述第二损失表示相比所述负样本对话序列，所述正样本对话序列与所述源对话序列之间的相似程度；以及基于所述第一损失和所述第二损失的值，训练所述响应确定模型。2.根据权利要求1所述的方法，还包括：基于所述源语句序列和所述正确响应语句来确定所述正样本对话序列。3.根据权利要求2所述的方法，其中确定所述正样本对话序列包括：交换所述源语句序列中的第一语句和第二语句的顺序，所述第一语句和所述第二语句不是所述源语句序列中的最后语句；以及基于经交换语句顺序的所述源语句序列和所述正确响应语句，确定所述正样本对话序列。4.根据权利要求2所述的方法，其中确定所述正样本对话序列包括：改变所述源语句序列中的第三语句中的词语的顺序，所述第三语句不是所述源语句序列中的最后语句；以及基于经改变词语顺序的所述源语句序列和所述正确响应语句，确定所述正样本对话序列。5.根据权利要求1所述的方法，其中所述响应确定模型包括预训练的语言模型。6.根据权利要求5所述的方法，其中确定所述第二损失包括：基于所述源对话序列、所述正样本对话序列和所述负样本对话序列，根据所述预训练的语言模型，分别确定源对话标记序列、正样本对话标记序列和负样本对话标记序列；以及基于所述源对话标记序列与所述正样本对话标记序列之间的相似程度以及所述源对话标记序列与所述负样本对话标记序列之间的相似程度，确定所述第二损失。7.根据权利要求5所述的方法，其中所述响应确定模型还包括预训练的分类器；并且其中确定所述匹配得分包括：基于所述源语句序列和所述候选响应语句，根据所述预训练的语言模型，确定源对话分类标记；以及基于所述源对话分类标记，根据所述预训练的分类器，确定所述匹配得分。8.根据权利要求7所述的方法，其中训练所述响应确定模型包括：通过最小化所述第一损失与所述第二损失的和，调整所述预训练的分类器和所述预训练的语言模型各自的参数，以获得经训练的所述响应确定模型。9.一种电子设备，包括：
至少一个处理单元；以及至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行以下动作：基于第一参考图像，根据第一模型，生成所述第一参考图像的第一特征表示；基于源语句序列和候选响应语句，根据响应确定模型，确定所述候选响应语句与对应于所述源语句序列的正确响应语句之间的匹配得分；基于所述匹配得分和所述候选响应语句的标注信息来确定第一损失，所述第一损失表示所述匹配得分与所述标注信息之间的相似程度，所述标注信息表示所述候选响应语句是否是所述正确响应语句；基于源对话序列、正样本对话序列和负样本对话序列来...

【专利技术属性】
技术研发人员：徐爽，黄浩然，李航，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：