模型训练方法、信息处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种模型训练方法、信息处理方法、装置、设备及存储介质，其中方法包括：根据多个种子训练数据，训练对话理解模型，并根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据；从得到的生成数据中选择预测意图与生成意图相匹配的生成数据；其中，所述生成数据的生成意图为对应的种子训练数据的意图，预测意图为通过所述对话理解模型对所述生成数据进行预测得到的意图；根据所选择的生成数据，对所述对话理解模型进行伪数据训练。本申请解决了传统方法很难从网络爬虫数据用检索式方法收集数据的问题，提高了对话理解模型的整体训练效率和准确性。准确性。准确性。

【技术实现步骤摘要】
模型训练方法、信息处理方法、装置、设备及存储介质


[0001]本申请涉及自然语言处理
，尤其涉及一种模型训练方法、信息处理方法、装置、设备及存储介质。

技术介绍

[0002]对话理解模型能够对用户输入的信息进行分析，确定用户的意图，根据意图可以向用户推送对应的回复信息，在自然语言处理领域有着非常重要的作用。
[0003]为了训练对话理解模型，需要大量的训练数据。传统的方法通过检索与训练数据同领域的数据进行模型训练，但是网络中可检索到的人机对话数据较少，因此很难从网络爬虫数据中搜索到同领域的数据，导致对话理解模型的整体训练效率和准确性不高。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种模型训练方法、信息处理方法、装置、设备及存储介质，以快速准确地生成用于训练对话理解模型的数据，提升训练对话理解模型的效率和准确性。
[0005]第一方面，本申请实施例提供一种模型训练方法，包括：
[0006]根据多个种子训练数据，训练对话理解模型，并根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据；
[0007]从得到的生成数据中选择预测意图与生成意图相匹配的生成数据；其中，所述生成数据的生成意图为对应的种子训练数据的意图，预测意图为通过所述对话理解模型对所述生成数据进行预测得到的意图；
[0008]根据所选择的生成数据，对所述对话理解模型进行伪数据训练。
[0009]可选的，根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据，包括：
[0010]将所述至少部分种子训练数据划分为至少一组种子训练数据，其中，每组包括至少一个种子训练数据且各种子训练数据对应相同的意图；
[0011]根据每组种子训练数据，生成与该组种子训练数据相匹配的生成数据，所述生成数据的数量为一个或多个。
[0012]可选的，生成与该组种子训练数据相匹配的生成数据，包括：
[0013]将该组中的种子训练数据进行拼接；
[0014]根据拼接后的数据，基于预训练语言模型进行提示生成，得到对应的生成数据。
[0015]可选的，从得到的生成数据中选择预测意图与生成意图相匹配的生成数据，包括：
[0016]从得到的生成数据中，选择与任意种子训练数据的语义相匹配、且预测意图与生成意图一致的生成数据。
[0017]可选的，从得到的生成数据中，选择与任意种子训练数据的语义相匹配、且预测意图与生成意图一致的生成数据，包括：
[0018]针对每一种子训练数据，确定各个生成数据与所述种子训练数据的语义匹配度，并选择语义匹配度最高的预设数量的生成数据和/或语义匹配度大于阈值的生成数据，得到相邻生成数据；
[0019]通过所述对话理解模型对相邻生成数据进行预测，得到所述相邻生成数据的预测意图；
[0020]从相邻生成数据中，选择生成意图与预测意图一致的生成数据。
[0021]可选的，通过所述对话理解模型对相邻生成数据进行预测，得到所述相邻生成数据的预测意图，包括：通过所述对话理解模型对相邻生成数据进行预测，得到所述相邻生成数据的伪标签，所述伪标签包括预测意图和预测槽值；
[0022]根据所选择的生成数据，对所述对话理解模型进行伪数据训练，包括：根据所选择的生成数据及对应的伪标签、所述种子训练数据及对应的标签，继续训练所述对话理解模型。
[0023]第二方面，本申请实施例提供一种信息处理方法，包括：
[0024]获取用户输入的请求信息，通过对话理解模型确定所述请求信息对应的意图；
[0025]根据所述意图，输出回复信息；
[0026]其中，所述对话理解模型为根据第一方面任一项所述的方法训练得到的。
[0027]第三方面，本申请实施例提供一种模型训练装置，包括：
[0028]生成模块，用于根据多个种子训练数据，训练对话理解模型，并根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据；
[0029]匹配模块，用于从得到的生成数据中选择预测意图与生成意图相匹配的生成数据；其中，所述生成数据的生成意图为对应的种子训练数据的意图，预测意图为通过所述对话理解模型对所述生成数据进行预测得到的意图；
[0030]训练模块，用于根据所选择的生成数据，对所述对话理解模型进行伪数据训练。
[0031]第四方面，本申请实施例提供一种信息处理装置，包括：
[0032]获取模块，用于获取用户输入的请求信息，通过对话理解模型确定所述请求信息对应的意图；
[0033]输出模块，用于根据所述意图，输出回复信息；
[0034]其中，所述对话理解模型为根据第三方面所述的装置训练得到的。
[0035]第五方面，本申请实施例提供一种电子设备，包括：
[0036]至少一个处理器；以及
[0037]与所述至少一个处理器通信连接的存储器；
[0038]其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。
[0039]第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。
[0040]第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。
[0041]本申请提供的模型训练方法、信息处理方法、装置、设备及存储介质，可以根据多
个种子训练数据，训练对话理解模型，并根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据，从得到的生成数据中选择预测意图与生成意图相匹配的生成数据，其中，所述生成数据的生成意图为对应的种子训练数据的意图，预测意图为通过所述对话理解模型对所述生成数据进行预测得到的意图，根据所选择的生成数据，对所述对话理解模型进行伪数据训练，这样，可以先通过种子训练数据生成大量的弱监督的数据，解决了传统方法很难从网络爬虫数据用检索式方法收集数据的问题，再通过预测意图和生成意图过滤生成数据，从而可以快速、准确地找出预测标签可信度较高的生成数据，用于模型训练，提高了对话理解模型的整体训练效率和准确性。
附图说明
[0042]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0043]图1为本申请实施例提供的一种应用场景示意图；
[0044]图2为本申请实施例提供的一种对话理解模型的应用示意图；
[0045]图3为本申请实施例提供的一种模型训练方法的流程示意图；
[0046]图4为本申请实施例提供的一种预测意图与生成意图的比较示意图；
[0047]图5为本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：根据多个种子训练数据，训练对话理解模型，并根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据；从得到的生成数据中选择预测意图与生成意图相匹配的生成数据；其中，所述生成数据的生成意图为对应的种子训练数据的意图，预测意图为通过所述对话理解模型对所述生成数据进行预测得到的意图；根据所选择的生成数据，对所述对话理解模型进行伪数据训练。2.根据权利要求1所述的方法，其特征在于，根据至少部分种子训练数据中的各种子训练数据，生成与所述种子训练数据相匹配的生成数据，包括：将所述至少部分种子训练数据划分为至少一组种子训练数据，其中，每组包括至少一个种子训练数据且各种子训练数据对应相同的意图；根据每组种子训练数据，生成与该组种子训练数据相匹配的生成数据，所述生成数据的数量为一个或多个。3.根据权利要求2所述的方法，其特征在于，生成与该组种子训练数据相匹配的生成数据，包括：将该组中的种子训练数据进行拼接；根据拼接后的数据，基于预训练语言模型进行提示生成，得到对应的生成数据。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，从得到的生成数据中选择预测意图与生成意图相匹配的生成数据，包括：从得到的生成数据中，选择与任意种子训练数据的语义相匹配、且预测意图与生成意图一致的生成数据。5.根据权利要求4所述的方法，其特征在于，从得到的生成数据中，选择与任意种子训练数据的语义相匹配、且预测意图与生成意图一致的生成数据，包括：针对每一种子训练数据，确定各个生成数据与所述种子训练数据的语义匹配度，并选择语义匹配度最高的预设数量的生成数据和/或语义匹配度大于阈值的生成数据，得到相邻生成数据；通过所述对话理解模型对相邻生成数据进行预测，得到所述相邻生成数据的预测意图；从相邻生成数据中，选择生成意图与预测意图一致的生成数据。6.根据权利要求5所述的方法，其特征在于，通过所述对话理解模型对相邻生成数据进行预测，得到所述相邻生成数据的预测意图，包括：通过所述对话理解模型对相邻生...

【专利技术属性】
技术研发人员：陈谦，王雯，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：