基于对比学习的文本摘要框架构建方法技术

本发明专利技术提供一种基于对比学习的文本摘要框架构建方法，由于评价指标优化是一个不可直接优化的目标，因此，本发明专利技术的方法使用基于正负样本的对比学习来让文本摘要模型学习区分高质量与低质量的样本，从而使得生成的文本摘要与原文相符且通顺流畅，本发明专利技术的方法适用于抽取式以及生成式的自动文本摘要，该方法是端到端的，几乎不影响最终的解码速度，因此，构建出的是高效且统一的文本摘要框架。出的是高效且统一的文本摘要框架。出的是高效且统一的文本摘要框架。

【技术实现步骤摘要】
基于对比学习的文本摘要框架构建方法


[0001]本专利技术属于深度学习以及自然语言处理
，具体涉及一种基于对比学习的文本摘要框架构建方法。

技术介绍

[0002]自动文本摘要(Automatic Text Summarization)任务是自然语言处理(NLP)中的一类基础任务，自动文本摘要旨在将文本或文本集合转换为包含关键信息的简短摘要。按照输出类型可分为抽取式摘要(Extractive Summarization)和生成式摘要(Abstractive Summarization)。抽取式摘要从源文档中抽取关键句和关键词组成摘要，摘要全部来源于原文。生成式摘要根据原文，允许生成新的词语、短语来组成摘要。
[0003]主流的抽取式摘要模型主要以句子为单位进行抽取，该方法的优点是事实一致性，缺点是输出离散的句子，不具备通顺和流畅性，与人工写的摘要相差甚远。生成式摘要的主流模型是序列到序列模型由一个编码器和解码器组成，编码器用于编码输入的文档，解码器用于生成摘要。生成方法最明显的优点是语句连贯，缺点是可能会生成出一些无关或原文不相符的信息。
[0004]目前不管是抽取式摘要还是生成式摘要都面临着训练目标和评价指标不一致的问题，对于抽取式摘要来说，基于对句子级别的打分并不能保证抽取出的所有句子能构成一个好的摘要。生成式摘要常常面临着训练和预测阶段不一致的问题，由于在训练的过程中模型一直遇到的都是输入都是正确的答案，而在预测过程中模型只能见到它之前生成过的词，因此普通的生成式摘要模型也无法保证整体上是一个好摘要。

技术实现思路

[0005]本专利技术是为解决上述问题而进行的，目的在于提供一种高效且统一的文本摘要框架的构建方法，本专利技术采用了如下技术方案：
[0006]本专利技术提供了一种基于对比学习的文本摘要框架构建方法，其特征在于，包括以下步骤：
[0007]步骤S1，选定目标文档的表示作为锚点；
[0008]步骤S2，选定摘要评价指标，用于选取正样本和负样本；
[0009]步骤S3，对文本摘要模型进行预热；
[0010]步骤S4，将所述文档输入预热后的所述文本摘要模型，生成多个候选摘要；
[0011]步骤S5，使用选定的所述摘要评价指标对生成的多个所述候选摘要进行排序，并根据预定的阈值得到所述正样本和所述负样本；
[0012]步骤S6，加入对比学习的损失函数，采用所述正样本和所述负样本对预热后的所述文本摘要模型进行训练，得到训练完成的所述文本摘要模型。
[0013]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，步骤S2中，所述摘要评价指标为ROUGE或BERTScore。
[0014]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，所述文本摘要模型为生成式模型。
[0015]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，所述文本摘要模型为BART，步骤S4中，使用多样性集束搜索让所述文本摘要模型生成多个所述候选摘要，对每个所述候选摘要，取所述文本摘要模型的解码器最后一层的最后一步的输出隐向量作为该候选摘要的特征表示。
[0016]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，所述文本摘要模型为抽取式模型。
[0017]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，所述目标文档包含有N个句子，所述文本摘要模型使用BART的编码器和多层感知机来实现，步骤S4中，选择所述多层感知机输出的最优的N
’
个所述句子来执行特征组合操作，通过对N
’
个所述句子的特征表示进行池化得到组合的特征表示。
[0018]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，步骤S5中，排序后的多个所述候选摘要记为{D1,D2,...,D
m
}，D
i
表示排序为第i的所述候选摘要，h
Di
为对应的特征表示，所述对比学习的损失函数为排序的损失函数：
[0019][0020][0021]式中，γ为控制距离的超参数，h
X
为所述目标文档的特征表示，i、j为样本的排名，s
i
、s
j
分别为排名第i、第j的所述样本的分数。
[0022]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，还包括：步骤S7，将目标文档输入训练完成的所述文本摘要模型，得到相应的文本摘要。
[0023]本专利技术提供的基于对比学习的文本摘要框架构建方法，还可以具有这样的技术特征，其中，步骤S5中，排序后的多个所述候选摘要记为{D1,D2,...,D
m
}，D
i
表示排序为第i的所述候选摘要，h
Di
为对应的特征表示，利用排序后的多个所述候选摘要，取其中隐状态和所述目标文档的表示最接近的若干个所述候选摘要作为最终的文本摘要结果：式中，h
X
为所述目标文档的特征表示。
[0024]专利技术作用与效果
[0025]根据本专利技术的基于对比学习的文本摘要框架构建方法，由于评价指标优化是一个不可直接优化的目标，因此，本专利技术的方法使用基于正负样本的对比学习来让文本摘要模型学习区分高质量与低质量的样本，从而使得生成的文本摘要与原文相符且通顺流畅，本专利技术的方法适用于抽取式以及生成式的自动文本摘要，该方法是端到端的，几乎不影响最终的解码速度，因此，构建出的是高效且统一的文本摘要框架。
附图说明
[0026]图1是本专利技术实施例中文本摘要框架构建方法的流程简图；
[0027]图2是本专利技术实施例中文本摘要框架构建方法的流程图；
[0028]图3是本专利技术实施例中抽取式摘要生成的工作原理图。
具体实施方式
[0029]为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本专利技术的基于对比学习的文本摘要框架构建方法作具体阐述。
[0030]<实施例>
[0031]图1是本实施例中文本摘要框架构建方法的流程简图。
[0032]图2是本实施例中文本摘要框架构建方法的流程图。
[0033]如图1和图2所示，基于对比学习的文本摘要框架构建方法具体包括以下步骤：
[0034]步骤S1，选定目标文档的表示作为锚点。
[0035]在文本摘要任务上，选定目标文档的表示作为锚点，因为一个好的摘要和文档的隐状态应该是接近的。本实施例中，目标文档的表示为句子级别的表示。
[0036]步骤S2，选定摘要评价指标，用于选取正样本和负样本。
[0037]摘要评价指标为ROUGE或者BERTScore，后续将文本摘要模型生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的文本摘要框架构建方法，其特征在于，包括以下步骤：步骤S1，选定文档的表示作为锚点；步骤S2，选定摘要评价指标，用于选取正样本和负样本；步骤S3，对文本摘要模型进行预热；步骤S4，将所述文档输入预热后的所述文本摘要模型，生成多个候选摘要；步骤S5，使用选定的所述摘要评价指标对生成的多个所述候选摘要进行排序，并根据预定的阈值得到所述正样本和所述负样本；步骤S6，加入对比学习的损失函数，采用所述正样本和所述负样本对预热后的所述文本摘要模型进行训练，得到训练完成的所述文本摘要模型。2.根据权利要求1所述的基于对比学习的文本摘要框架构建方法，其特征在于：其中，步骤S2中，所述摘要评价指标为ROUGE或BERTScore。3.根据权利要求1所述的基于对比学习的文本摘要框架构建方法，其特征在于：其中，所述文本摘要模型为生成式模型。4.根据权利要求3所述的基于对比学习的文本摘要模型，其特征在于：其中，所述文本摘要模型为BART，步骤S4中，使用多样性集束搜索让所述文本摘要模型生成多个所述候选摘要，对每个所述候选摘要，取所述文本摘要模型的解码器最后一层的最后一步的输出隐向量作为该候选摘要的特征表示。5.根据权利要求1所述的基于对比学习的文本摘要框架构建方法，其特征在于：其中，所述文本摘要模型为抽取式模型。6.根据权利要求5所述的基于对比学习的文本摘要框架构建方法，其特征在于：其中，所述文档包含有N个句子，所述文本摘要模型使用BART的编码器和多层感知机来实现，步骤S4中，选择所述多层感知机输出的最优的N
’
个所述句子来执行特征组合...

【专利技术属性】
技术研发人员：邱锡鹏，安晨鑫，
申请(专利权)人：复旦大学，
类型：发明
国别省市：