本发明专利技术公开了一种基于预训练模型的问答方法、装置、电子设备及存储介质，通过构建表格问答模型，对所述表格问答模型进行初始化，得到初始表格问答模型；获取预训练数据集，根据所述预训练数据集对所述初始表格问答模型进行预训练，得到一阶表格问答模型；基于不同答案的生成方式获取对应的微调训练样本表格，根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练，得到二阶表格问答模型；对所述二阶表格问答模型输入查询语句，得到对应答案并输出。在传统预训练机制的基础上，增加了针对不同答案生成方式的微调训练，不依赖大规模标注语料，减少了标注语料需要耗费的大量精力并且能够提高输出答案的准确率。精力并且能够提高输出答案的准确率。精力并且能够提高输出答案的准确率。
【技术实现步骤摘要】
基于预训练模型的问答方法、装置、电子设备及存储介质
[0001]本专利技术涉及自然语言处理领域，特别涉及一种基于预训练模型的问答方法、装置、电子设备及存储介质。
技术介绍
[0002]随着AI技术的快速发展，NLP2SQL这种直接将人类语言转化为SQL查询语句，从而从表格中快速获得有用信息的技术已成为智能问答领域最新的研究热点。传统上，NLP2SQL的基本步骤可分为：表格检索和答案生成。
[0003]基于transformer网络结构的预训练模型能够从海量文本数据内部学到更丰富的语义信息，因此其近年来在智能问答、文本分类、文本摘要等众多NLP细分领域都得到了广泛应用。通常而言，开发者只需要构建一个模型，然后对这些模型进行预训练就可以实现智能问答的功能，然而因为用户实际场景中面对的表格数据与预训练过程中的不一致，原来具备的能力在实际场景中的数据上表现下降，具体来说，就是会使得输出答案的准确率下降，如果需要提高准确率，就需要耗费大量的精力提前设置数量众多的SQL语句模板，在实际应用中限制了其使用场景。
技术实现思路
[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种基于预训练模型的问答方法、装置、电子设备及存储介质，能够提高输出答案的准确率并且无需耗费大量精力标注语料。
[0005]根据本专利技术第一方面实施例的基于预训练模型的问答方法，包括以下步骤：
[0006]构建表格问答模型，对所述表格问答模型进行初始化，得到初始表格问答模型；
[0007]获取预训练数据集，根据所述预训练数据集对所述初始表格问答模型进行预训练，得到一阶表格问答模型；
[0008]基于不同答案的生成方式获取对应的微调训练样本表格，根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练，得到二阶表格问答模型；
[0009]对所述二阶表格问答模型输入查询语句，得到对应答案并输出。
[0010]根据本专利技术的一些实施例，所述构建表格问答模型步骤中，所述表格问答模型采用Bert模型结构或Roberta模型结构。
[0011]根据本专利技术的一些实施例，所述根据所述预训练数据集对所述初始表格问答模型进行预训练，包括：
[0012]根据所述预训练数据集构建针对表格特征的多种向量；
[0013]将所述多种向量相加得到输入向量；
[0014]根据所述输入向量和所述预训练数据集对所述初始表格问答模型进行预训练。
[0015]根据本专利技术的一些实施例，所述多种向量包括字符向量、普通位置向量、行列位置向量和排序向量。
[0016]根据本专利技术的一些实施例，所述根据所述预训练数据集对所述初始表格问答模型进行预训练步骤中，预训练的遮掩机制包括用户输入遮掩机制，所述用户输入遮掩机制的具体步骤为：
[0017]统计每个用户输入中词的出现频率和逆文档频率，按照从低到高排序，形成TF
‑
IDF属性队列；
[0018]对用户输入中每个词进行词性分析，统计每种词性所占比例，按照从低到高排序，形成词性属性队列；
[0019]获取每个词在TF
‑
IDF属性队列和词性属性队列中位置ID的乘积，做升序排序形成query
‑
mask队列；
[0020]对query
‑
mask队列中的词分别按照不同比例的处理方法进行遮掩。
[0021]根据本专利技术的一些实施例，所述对query
‑
mask队列中的词分别按照不同比例进行遮掩步骤中，遮掩的处理方式包括：
[0022]概率a保持当前词不变，概率b随机替换为预训练数据集中任意一个词，概率c替换为符号UNK，所述符号UNK为预训练数据集中未出现的词，a+b+c＝1。
[0023]根据本专利技术的一些实施例，所述根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练步骤中，所述微调训练包括：
[0024]单元格选择，若微调训练样本表格中存在答案原文且只出现一次，则训练一阶表格问答模型学会直接输出对应单元格的内容；
[0025]聚合答案输出，若微调训练样本表格中没有答案原文，则训练一阶表格问答模型对单元格中内容进行聚合操作计算得到答案，并对结果进行回归预测；
[0026]混淆答案输出，若微调训练样本表格中存在答案原文且能够通过聚合计算得到答案，则训练一阶表格问答模型根据聚合操作判定结果进行选择。
[0027]根据本专利技术第二方面实施例的基于预训练模型的问答装置，包括：
[0028]模型构建单元，用于构建表格问答模型并对所述表格问答模型进行初始化，得到初始表格问答模型；
[0029]预训练单元，获取预训练数据集，根据所述预训练数据集对所述初始表格问答模型进行预训练，得到一阶表格问答模型；
[0030]微调训练单元，用于基于不同答案的生成方式获取对应的微调训练样本表格，根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练，得到二阶表格问答模型；
[0031]问答单元，用于对所述二阶表格问答模型输入查询语句，得到对应答案并输出。
[0032]根据本专利技术第三方面实施例的电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上述的方法的步骤。
[0033]根据本专利技术第四方面实施例的存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的方法的步骤。
[0034]本专利技术提供了一种基于预训练模型的问答方法、装置、电子设备及存储介质，其通过构建表格问答模型，对所述表格问答模型进行初始化，得到初始表格问答模型；获取预训
练数据集，根据所述预训练数据集对所述初始表格问答模型进行预训练，得到一阶表格问答模型；基于不同答案的生成方式获取对应的微调训练样本表格，根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练，得到二阶表格问答模型；对所述二阶表格问答模型输入查询语句，得到对应答案并输出。本专利技术在传统预训练机制的基础上，增加了针对不同答案生成方式的微调训练，在不依赖大规模标注语料的前提下，能够训练得到一个根据用户从表格中查找答案的表格问答模型，减少了标注语料需要耗费的大量精力并且能够提高输出答案的准确率。
[0035]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0036]下面结合附图和实施例对本专利技术做进一步的说明，其中：
[0037]图1为本专利技术实施例中基于预训练模型的问答方法的流程图；
[0038]图2为本专利技术实施例中预训练阶段的流程图；
[0039]图3为本专利技术实施例中用户输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于预训练模型的问答方法，其特征在于，包括以下步骤：构建表格问答模型，对所述表格问答模型进行初始化，得到初始表格问答模型；获取预训练数据集，根据所述预训练数据集对所述初始表格问答模型进行预训练，得到一阶表格问答模型；基于不同答案的生成方式获取对应的微调训练样本表格，根据所述微调训练样本表格对所述一阶表格问答模型进行微调训练，得到二阶表格问答模型；对所述二阶表格问答模型输入查询语句，得到对应答案并输出。2.根据权利要求1所述的基于预训练模型的问答方法，其特征在于，所述构建表格问答模型步骤中，所述表格问答模型采用Bert模型结构或Roberta模型结构。3.根据权利要求1所述的基于预训练模型的问答方法，其特征在于，所述根据所述预训练数据集对所述初始表格问答模型进行预训练，包括：根据所述预训练数据集构建针对表格特征的多种向量；将所述多种向量相加得到输入向量；根据所述输入向量和所述预训练数据集对所述初始表格问答模型进行预训练。4.根据权利要求3所述的基于预训练模型的问答方法，其特征在于，所述多种向量包括字符向量、普通位置向量、行列位置向量和排序向量。5.根据权利要求1所述的基于预训练模型的问答方法，其特征在于，所述根据所述预训练数据集对所述初始表格问答模型进行预训练步骤中，预训练的遮掩机制包括用户输入遮掩机制，所述用户输入遮掩机制的具体步骤为：统计每个用户输入中词的出现频率和逆文档频率，按照从低到高排序，形成TF
‑
IDF属性队列；对用户输入中每个词进行词性分析，统计每种词性所占比例，按照从低到高排序，形成词性属性队列；获取每个词在TF
‑
IDF属性队列和词性属性队列中位置ID的乘积，做升序排序形成query
‑
mask队列；对query
‑
mask队列中的词分别按照不同比例的处理方法进行遮掩。6.根据权利要求5所述的基于预训练模型的问答方法，其特征在于，所述对query
【专利技术属性】
技术研发人员：王伟，郭勇，郑诣枫，姚敏森，温小明，何景生，王小兵，张黔，
申请(专利权)人：华润数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。