领域自适应的槽位填充方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种领域自适应的槽位填充方法、装置、设备及存储介质，属于自然语言处理领域。该方法包括：接收用户输入语句；基于目标槽位的槽位元信息，为所述用户输入语句构建与所述目标槽位对应的问句；将所述问句和所述用户输入语句拼接为用户输入句对；调用机器阅读理解模型对所述用户输入句对进行预测，得到所述问句的答案位置信息；根据所述答案位置信息，将所述问句的答案作为槽位实体，填充在所述目标槽位中。本申请将槽位填充问题转化为机器阅读理解问题，利用通用机器阅读理解模型对不同领域的语料都具有较好理解能力的特性，可以实现跨领域的槽位填充能力。以实现跨领域的槽位填充能力。以实现跨领域的槽位填充能力。

【技术实现步骤摘要】
领域自适应的槽位填充方法、装置、设备及存储介质


[0001]本申请涉及自然语言处理领域，特别涉及一种领域自适应槽位填充方法、装置、设备及存储介质。

技术介绍

[0002]口语语言理解(Spoken Language Understanding，SLU)是自然语言处理(Natural Language Processing，NLP)领域中任务型对话系统的一项重要功能。
[0003]槽位填充是面向任务的对话系统，在进行口语语言理解过程时的重要任务。随着任务型对话系统日益增加的应用场景，任务型对话系统涉及的领域也越来越广泛。槽位填充通常根据相似含义的槽位具有相似描述的特点，对用户输入的每个词分配一个标签，即采用序列标注方法。在处理一个新的槽位类型时，通过序列标注方法对已知领域槽位进行训练来识别相似的未知领域槽位。
[0004]然而这种方法简单的使用序列标注信息匹配槽位实体，要求已知领域槽位与未知领域槽位之间具有相似性。在面对新领域的槽位填充任务时，极大限制了槽位填充系统的性能。

技术实现思路

[0005]本申请提供了一种领域自适应槽位填充方法、装置、设备及存储介质，将槽位填充问题转化为机器阅读理解(Machine Reading Comprehension，MRC)问题，利用通用的机器阅读理解模型对不同领域的语料都具有较好理解能力的特性，可以实现跨领域的槽位填充能力。所述技术方案如下：
[0006]根据本申请的一方面，提供了一种领域自适应的槽位填充方法，所述方法包括：
[0007]接收用户输入语句；
[0008]基于目标槽位的槽位元信息，为所述用户输入语句构建与所述目标槽位对应的问句；
[0009]将所述问句和所述用户输入语句拼接为用户输入句对；
[0010]调用机器阅读理解模型对所述用户输入句对进行预测，得到所述问句的答案位置信息，所述答案位置信息用于指示所述问句的答案在所述用户输入语句中的位置；
[0011]根据所述答案位置信息，将所述问句的答案作为槽位实体，填充在所述目标槽位中。
[0012]根据本申请的另一方面，提供了一种领域自适应的槽位填充装置，其特征在于，所述装置包括：
[0013]语句接收模块，用于接收用户输入语句；
[0014]问句构建模块，用于基于目标槽位的槽位元信息，为所述用户输入语句构建与所述目标槽位对应的问句；
[0015]语句拼接模块，用于将所述问句和所述用户输入语句拼接为用户输入句对；
[0016]位置预测模块，用于调用机器阅读理解模型对所述用户输入句对进行预测，得到所述问句的答案位置信息，所述答案位置信息用于指示所述问句的答案在所述用户输入语句中的位置；
[0017]槽位填充模块，用于根据所述答案位置信息，将所述问句的答案作为槽位实体，填充在所述目标槽位中。
[0018]根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的领域自适应的槽位填充方法。
[0019]根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的领域自适应的槽位填充方法。
[0020]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的领域自适应的槽位填充方法。
[0021]本申请提供的技术方案带来的有益效果至少包括：
[0022]将槽位填充问题转化为机器阅读理解问题，利用通用的机器阅读理解模型对不同领域的语料都具有较好理解能力的特性，可以实现跨领域的槽位填充能力。而且由于机器阅读理解模型可以利用已有的大规模MRC数据集进行预训练，不需要严重依赖特定领域或新领域的大量槽位填充样本才能训练，因此能够缓解特定领域或新领域的槽位填充样本较少的问题。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1是本申请一个示例性实施例的示意图；
[0025]图2是本申请一个示例性实施例提供的计算机系统的结构框图；
[0026]图3是本申请一个示例性实施例提供的领域自适应的槽位填充方法的流程图；
[0027]图4是本申请一个示例性实施例提供的领域自适应的槽位填充方法的流程图；
[0028]图5是本申请一个示例性实施例的示意图；
[0029]图6是本申请一个示例性实施例提供的领域自适应的槽位填充方法的流程图；
[0030]图7是本申请一个示例性实施例提供的领域自适应的槽位填充装置的结构框图；
[0031]图8是本申请一个示例性实施例提供的服务器的结构框图。
[0032]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
具体实施方式
[0033]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0034]首先对本申请涉及的若干个名词进行简介：
[0035]槽位元信息：是用于描述槽位与用户输入之间关系的信息。示例性的，槽位元信息包括下述信息中的至少一种：槽位描述、槽位实例。
[0036]参考表一，表一示例性的示出了进行航班订票槽位设计时的槽位元信息。
[0037]表一
[0038]槽位描述槽位实例字段名称槽位类型出发地北京loc_from_city城市目的地上海loc_to_city城市起飞时间周一晚上8点time_from时间乘机人姓名张三customer_name姓名
[0039]槽位类型：是帮助解释槽位的解释器，可以将槽位转化为一个结构化字段。同样的槽位类型，可以赋予不同的槽位描述。
[0040]槽位实例：是基于用户输入对槽位进行填充的部分，示例性的，槽位实例包括下述信息中的至少一种：从用户输入中截取，或，基于用户输入进行加工得到的字、词、短语、句子。槽位实例一般由训练集或测试集中得到。
[0041]槽位填充是在一个或多个(特定)领域中，根据槽位提取用户输入语句中的部分或全部信息的任务，即识别与任务相关的信息。传统的槽位填充方法通过监督学习(Supervised本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种领域自适应的槽位填充方法，其特征在于，所述方法包括：接收用户输入语句；基于目标槽位的槽位元信息，为所述用户输入语句构建与所述目标槽位对应的问句；将所述问句和所述用户输入语句拼接为用户输入句对；调用机器阅读理解模型对所述用户输入句对进行预测，得到所述问句的答案位置信息，所述答案位置信息用于指示所述问句的答案在所述用户输入语句中的位置；根据所述答案位置信息，将所述问句的答案作为槽位实体，填充在所述目标槽位中。2.根据权利要求1所述的方法，其特征在于，所述机器阅读理解模型包括编码网络和预测网络，所述编码网络是基于预训练模型的编码网络，所述预训练模型是基于通用领域的机器阅读理解语料库进行预训练得到的语言表征模型；所述调用机器阅读理解模型对所述用户输入句对进行预测，得到所述问句的答案位置信息，包括：生成所述用户输入句对中每个字符的嵌入向量；调用所述编码网络对所述用户输入句对的嵌入向量进行编码，得到所述用户输入句对中每个字符的隐层向量表示；调用所述预测网络基于所述用户输入句对中每个字符的隐层向量表示进行所述答案位置信息的预测，得到所述问句的答案开始位置和答案结束位置。3.根据权利要求2所述的方法，其特征在于，所述生成所述用户输入句对中每个字符的嵌入向量，包括：分别生成与所述用户输入句对中每个字符对应的词嵌入向量、分段嵌入向量和位置嵌入向量，其中，所述词嵌入向量中包括所述用户输入句对中每个字符的词向量，所述分段嵌入向量中包括所述用户输入句对中每个字符所属的分段信息，所述位置嵌入向量中包括所述用户输入句对中每个字符的位置信息；对每个字符的所述词嵌入向量、所述分段嵌入向量和所述位置嵌入向量进行叠加，生成所述用户输入句对中每个字符对应的嵌入向量。4.根据权利要求2所述的方法，其特征在于，所述调用所述预测网络基于所述用户输入句对中每个字符的隐层向量表示进行所述答案位置信息的预测，得到所述问句的答案开始位置和答案结束位置，包括：调用所述预测网络基于所述用户输入句对中每个字符的隐层向量表示进行所述答案开始位置的预测，得到所述每个字符作为所述答案开始位置的第一概率；调用所述预测网络基于所述用户输入句对中每个字符的隐层向量表示进行所述答案结束位置的预测，得到所述每个字符作为所述答案结束位置的第二概率；以第一候选字符的第一概率和第二候选字符的第二概率确定候选答案区间概率，所述第一候选字符的字符位置不晚于所述第二候选字符的字符位置；将概率在前k高的所述候选答案区间中的第一候选字符确定为所述问句的候选答案开始位置，将概率在前k高的所述候选答案区间中的第二候选字符确定为所述问句的候选答案结束位置；将所述候选答案开始位置与所述候选答案结束位置一一进行拼接，并将所述第一概率和所述第二概率相加得到候选答案区间概率，从所述候选答案区间概率中选取概率最高的
前t个不重叠的区间作为答案区间；所述参数t和所述参数k的取值为大于...

【专利技术属性】
技术研发人员：徐金安，于梦诗，陈钰枫，刘健，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：