基于排序的摘要生成训练方法、系统和存储介质技术方案

本发明专利技术涉及人工智能技术领域，特别涉及一种基于排序的摘要生成训练方法、系统和存储介质，该基于排序的摘要生成训练方法包括以下步骤：获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率；通过该方法提高了生成摘要的事实一致性。要的事实一致性。要的事实一致性。

【技术实现步骤摘要】
基于排序的摘要生成训练方法、系统和存储介质


[0001]本专利技术涉及人工智能
，其特别涉及一种基于排序的摘要生成训练方法、系统和存储介质。

技术介绍

[0002]随着技术的发展，通过电话、网络文本及第三方软件与客户对话的渠道不断增加，导致网络数据量迅速增长，且与客户沟通后，用户需要对沟通过程进行总结以精准概括沟通内容并形成摘要，便于后续对于数据的使用。
[0003]现有的生成式的文档摘要模型通常采取encoder
‑
decoder架构，由于模型没有对生成摘要内容进行任何约束，生成式摘要模型会有一定概率产生幻觉内容，即生成的内容没有在原文中出现过，或者与现实的知识相违背。
[0004]而为了解决这个问题，现有的方法主要分为三类，第一种是利用输出增强的方式来帮助模型补助文档中的事实一致性信息，这类方法通常需要增加额外的输入，这些输入可以是对原始文档解析的重要的句子、实体及实体之间的关系，但是这种方法需要利用额外的工具，来解析输入文档中的内容，生成摘要的步骤较为繁琐，影响生成效率；第二种是利用针对生成式摘要模型通常以最大似然估计（MLE）作为代价函数，但是这种方法没有考虑到生成内容的事实一致性这一个问题，其需要利用强化学习的方法来引入额外的关于摘要事实一致性的反馈信息才能提升模型的相关性能，训练难度较大，模型不利于收敛，反馈信息的选择也严重影响模型的性能；第三种是通过后处理的方法，训练一个打分函数，能够判断摘要和输入文档之间的蕴含程度，在生成式摘要模型通过集束搜索算法输出的多种不同的候选中，选择一个最相关的摘要输出。这种方法虽然能整体提升模型输出结果，但是不改变摘要模型的性能。

技术实现思路

[0005]为了解决现有摘要模型对于事实一致性和模型性能不能同时得到保障的问题，本专利技术提供一种基于排序的摘要生成训练方法、系统和存储介质。
[0006]本专利技术为解决上述技术问题，提供如下的技术方案：一种基于排序的摘要生成训练方法，包括以下步骤：获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
[0007]优选地，所述正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据。
[0008]优选地，所述负样本的获取方法具体包括以下步骤：获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据。
[0009]优选地，所述打分模型为BERT模型。
[0010]优选地，获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入BERT模型，基于BERT模型对样本对进行0
‑
1标记，所述正样本标记为1，所述负样本标记为0。
[0011]优选地，获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分，具体包括以下步骤：获取摘要模型，基于通用领域，通过代价函数训练摘要模型；对摘要模型的输出进行采样，通过集束搜索算法得到同一个输入的具有不同生成概率的多个初始摘要；基于打分模型对初始摘要进行打分。
[0012]优选地，训练摘要模型的代价函数为：其中，表示第i个初始摘要的生成概率。
[0013]优选地，基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数的具体计算公式为：数的具体计算公式为：其中，表示第i个初始摘要的打分；表示第j个初始摘要的打分；表示第i个初始摘要的生成概率；表示第j个初始摘要的生成概率；表示满足，表示不满足。
[0014]本专利技术为解决上述技术问题，提供又一技术方案如下：一种基于排序的摘要生成训练系统，包括以下模块：构造模块，用于获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；处理模块，用于获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本的打分高于对负样本的打分；生成模块，用于获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。
[0015]本专利技术为解决上述技术问题，提供又一技术方案如下：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现如前述任一项所述的基于排序的摘要生成训练方法。
[0016]与现有技术相比，本专利技术所提供的一种基于排序的摘要生成训练方法、系统和存储介质，具有如下的有益效果：1、本专利技术实施例中提供的一种基于排序的摘要生成方法，包括以下步骤：首先获取训练样本，训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；然后获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；接着获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；最后基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率；即通过构造的训练样本训练一个打分模型以对生成结果的事实一致性打分，然后对摘要模型的输出进行采样，得到同个输入的具有不同生成概率的多个初始摘要，并根据生成概率和打分后的初始摘要进行排序以训练摘要模型得到事实一致性打分更高的初始摘要，能够提高生成摘要事实一致性的方法，保障了摘要模型的性能；另外，该方法的训练成本低，不需要额外的标注数据训练打分模型，且其实现过程中通过正样本和负样本能够更加全面地对模型作出训练，确保生成摘要的质量和准确性，而对正样本和负样本的事实一致性进行打分，利于提高模型对训练样本的筛选能力，使其具有较大的事实一致性，生成的摘要能够更加全面、准确且有针对性较强；另外，针对生成概率和打分后的初始摘要进行排序并训练摘要模型，能够更加高效地获得满足事实一致性的生成摘要，且训练稳定性好。
[0017]2、本专利技术实施例中提供的正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据，此设置使得正样本的数据是基于真实事实的，能够提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于排序的摘要生成训练方法，其特征在于：包括以下步骤：获取训练样本，所述训练样本包括正样本和负样本，基于正样本和负样本组合构建训练数据；获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分；获取摘要模型并进行训练，对摘要模型的输出进行采样，得到同一个输入的具有不同生成概率的多个初始摘要，基于打分模型对初始摘要进行打分；基于生成概率和打分后的初始摘要进行排序，根据排序结果计算损失函数，并训练摘要模型，使事实一致性打分更高的初始摘要具有更大的生成概率。2.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：所述正样本包括从现有资料库搜集的人工标注的满足事实一致性的样本数据。3.如权利要求2所述的基于排序的摘要生成训练方法，其特征在于：所述负样本的获取方法具体包括以下步骤：获取源文本，源文本包括源摘要和源正文，基于词表标注模型对源文本进行标记，分别将源正文和源摘要中的实体名词或动词进行标记；基于正样本中的实体名词或动词进行采样，选择至少一处的实体名词或动词；基于标记后的实体名词或动词对选择后的实体名词或动词进行替换生成内容不同、词性相同的样本数据。4.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：所述打分模型为BERT模型。5.如权利要求4所述的基于排序的摘要生成训练方法，其特征在于：获取打分模型，将训练数据输入打分模型进行训练，使打分模型对正样本和负样本的事实一致性进行打分具体为：训练数据为文档和摘要构造的样本对，将所述样本对进行拼接输入BERT模型，基于BERT模型对样本对进行0
‑
1标记，所述正样本标记为1，所述负样本标记为0。6.如权利要求1所述的基于排序的摘要生成训练方法，其特征在于：获取摘要模型并进行训练...

【专利技术属性】
技术研发人员：马永亮，徐旺，周明，
申请(专利权)人：北京澜舟科技有限公司，
类型：发明
国别省市：