预训练模型数据处理方法、电子设备及计算机存储介质技术

本申请实施例提供了一种预训练模型数据处理方法、电子设备及计算机存储介质，其中，预训练模型数据处理方法包括：获取训练样本数据，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；将训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本对应的多个样本特征；基于多个样本特征和对应的正负例标签，以及预设的对比学习损失函数，对预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关。的其它样本特征是否语义相关。的其它样本特征是否语义相关。

【技术实现步骤摘要】
预训练模型数据处理方法、电子设备及计算机存储介质


[0001]本申请实施例涉及表格问答
，尤其涉及一种预训练模型数据处理方法、电子设备及计算机存储介质。

技术介绍

[0002]由于数据结构清晰、易于维护，表格/SQL数据库成为各行各业应用最普遍的结构化数据，也是智能对话系统和搜索引擎等的重要答案来源。传统表格查询需要专业技术人员撰写查询语句（如SQL语句）来完成，因门槛高，阻碍了表格查询的大规模应用。表格问答技术（也称为TableQA）通过将自然语言直接转换为SQL查询，允许用户使用自然语言与表格数据库直接交互，越来越被广泛使用。
[0003]一个表格问答系统主要由三部分组成，包括自然语言理解部分、对话管理部分和自然语言生成部分。其中，自然语言理解部分主要执行语义解析算法，将自然语言问句转为对应可执行的SQL语句；对话管理部分执行多轮的状态跟踪和策略优化；自然语言生成部分则根据解析出的SQL语句和SQL的执行结果生成对应的回复。对于自然语言理解部分，目前多通过预训练模型的训练输出对后续表格问答系统的自然语言理解部分进行功能支持。预训练模型是一种迁移学习的应用，其通过自监督学习从大规模数据中获得与具体任务无关的模型参数，并且，在支持一个新任务时，只需要利用该任务的标注数据对预训练模型进行微调即可实现。
[0004]但是，因目前研究较多的是单轮的 TableQA 问题，因此目前的预训练模型也基本都在解决单轮的情况。而在真实场景中，用户经常需要通过多轮询问才能获得期待的答案，所以多轮的 TableQA 问题越来越被关注，使得如何获得满足该场景下的预训练模型成为亟待解决的问题。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种预训练模型数据处理方案，以至少部分解决上述问题。
[0006]根据本申请实施例的第一方面，提供了一种预训练模型数据处理方法，包括：获取训练样本数据，其中，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；将所述训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本转换对应的多个样本特征；基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关。
[0007]根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间
的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。
[0008]根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
[0009]根据本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的方法对应的操作。
[0010]根据本申请实施例提供的预训练模型数据处理方案，首先，训练样本数据中包括多轮表格问答训练样本，从而使得训练样本数据中携带表格问答上下文信息，基于该训练样本数据进行训练的预训练模型通过学习也将学习到这些上下文信息。其次，在进行损失计算时，由模型根据多个样本特征分别对应的正负例标签，基于该正负例标签进行训练，可以更清楚地区分出具有语义相关性的表格问答训练样本，以为模型更好地学习表格问答训练样本的语义和相互关系服务。再者，预训练模型的损失函数采用了对比学习损失函数的形式，通过该形式，可以从多轮表格问答训练样本中找到与当前训练样本最为相关的训练样本，即保留有用的训练样本，剔除无用的训练样本，达到了深层次理解上下文关系的效果。由上，使得训练完成的预训练模型可有效适用于多轮查询场景。当将其迁移至表格问答系统后，该表格问答系统同样可有效适用于真实的、用户需通过多轮查询来获得查询结果的场景。
附图说明
[0011]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0012]图1为适用本申请实施例的预训练模型数据处理方法的示例性系统的示意图；图2为根据本申请实施例一的一种预训练模型数据处理方法的步骤流程图；图3A为根据本申请实施例二的一种预训练模型数据处理方法的步骤流程图；图3B为图3A所示实施例中的一种预训练模型的输入示例的示例图；图3C为图3A所示实施例中的一种场景示例图；图4为根据本申请实施例三的一种电子设备的结构示意图。
具体实施方式
[0013]为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
[0014]下面结合本申请实施例附图进一步说明本申请实施例具体实现。
[0015]图1示出了一种适用本申请实施例的预训练模型数据处理方法的示例性系统的示意图。如图1所示，该系统100可以包括服务器102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。
[0016]服务器102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的服务器。在一些实施例中，服务器102可以执行任何适当的功能。例如，在一些实施例中，服务器102中设置有表格问答系统，以处理用户输入的涉及表格或数据库的查询请求，并返回查询结果。作为可选的示例，在一些实施例中，服务器102中还设置有预训练模型，该预训练模型也可称为表格预训练模型，以在完成训练后，迁移至表格问答系统使用。作为可选的示例，在一些实施例中，服务器102中的预训练模型基于多轮表格问答训练样本进行训练，在获得多轮表格问答训练样本对应的多个样本特征后，基于这些样本特征对应的正负例标签，该正负例标签可表征当前样本特征与其它样本特征之间的语义相关性；进而，基于多个样本特征和对应的正负例标签，以及预设的对比学习损失函数，对预训练模型进行训练，以使训练获得的预训练模型能够深层次理解查询语句上下文，挖掘有效信息，排除无用信息。
[0017]在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字订户线路(DSL)网络、帧中继网络、异步转移模式(ATM)网络、虚拟专用网(VPN)和/或任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种预训练模型数据处理方法，包括：获取训练样本数据，其中，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；将所述训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本对应的多个样本特征；基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关。2.根据权利要求1所述的方法，其中，所述多个样本特征分别对应的正负例标签通过以下方式确定：获取为所述多轮表格问答训练样本预先生成的多个数据库查询语句；根据预设的杰卡德函数，计算所述多个数据库查询语句之间的相似度；根据所述相似度，确定所述多轮表格问答训练样本分别对应的正负例标签；将所述多轮表格问答训练样本分别对应的正负例标签，作为对应的所述多个样本特征的正负例标签。3.根据权利要求1所述的方法，其中，所述基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，包括：通过最小化所述预设的对比学习损失函数，拉近所述正负例标签中指示为正例的样本特征之间的距离，并且，拉远所述正负例标签中指示为负例的样本特征之间的距离；根据所述对比学习损失函数经最小化处理后的损失值，对所述预训练模型进行训练。4.根据权利要求1所述的方法，其中，所述将所述训练样本数据输入预训练模型进行特征提取，包括：将多轮表格问答训练样本中的自然语言查询语句进行第一拼接，获得第一拼接数据；将多轮表格问答训练样本中的数据库模式数据进行第二拼接，获得第二拼接数据；对第一拼接数据和第二拼接数据进行拼接，并且，在拼接后的自然语言查询语句之间、拼接后的数据库模式数据之间，以及所述自然语言查询语句和所述数据库模式数据之间均插...

【专利技术属性】
技术研发人员：惠彬原，黎槟华，李永彬，孙健，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：