【技术实现步骤摘要】
文本摘要生成方法、装置、计算机设备和存储介质
本申请涉及人工智能领域,尤其涉及一种文本摘要生成方法、装置、计算机设备和存储介质。
技术介绍
文本摘要生成是自然语言处理中一个重要的研究领域,在智能问答机器人及新闻摘要等领域起着重要的作用。现有的文本摘要生成方法大多数通过基于穷举搜索算法、贪心搜索算法或集束搜索算法的encoder-decoder模型,预测每个字的概率,最终输出文本摘要。但在中文领域的专业词汇场景中,encoder-decoder模型预测得到的摘要信息会出现出现词汇混乱、句子不通顺的问题,降低了文本摘要的准确性。因此如何提高生成文本摘要的准确性成为亟需解决的问题。
技术实现思路
本申请提供了一种文本摘要生成方法、装置、计算机设备和存储介质,通过根据条件概率表对文本摘要生成模型每一轮输出的摘要序列集合进行概率修正,可以避免生成的摘要信息出现词汇混乱、句子不通顺等问题,有效提高了文本摘要生成的准确性。第一方面,本申请提供了一种文本摘要生成方法,所述方法包括:获取待进行摘要生成的文本信息;将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;根据至少一个所述候选摘要信息以及每个所述 ...
【技术保护点】
1.一种文本摘要生成方法,其特征在于,包括:/n获取待进行摘要生成的文本信息;/n将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;/n根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;/n根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。/n
【技术特征摘要】 【专利技术属性】
1.一种文本摘要生成方法,其特征在于,包括:
获取待进行摘要生成的文本信息;
将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;
根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;
根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。
2.根据权利要求1所述的文本摘要生成方法,其特征在于,所述将所述文本信息输入文本摘要生成模型进行摘要预测之前,还包括:
对所述文本信息进行分词处理,获得所述文本信息对应的词组集合;
所述将所述文本信息输入文本摘要生成模型进行摘要预测,包括:
将所述词组集合输入所述文本摘要生成模型进行摘要预测。
3.根据权利要求2所述的文本摘要生成方法,其特征在于,所述文本摘要生成模型包括编码层与解码层;所述将所述文本信息输入文本摘要生成模型进行摘要预测,包括:
将所述词组集合中的每个词组输入所述编码层进行编码,获得所述词组集合对应的词向量集合;
将所述词向量集合输入所述解码层进行解码,获得对应的摘要序列预测信息;
基于集束搜索算法,根据所述摘要序列预测信息确定所述摘要序列集合。
4.根据权利要求3所述的文本摘要生成方法,其特征在于,所述摘要序列预测信息包括多个预测词组以及每个所述预测词组对应的预测概率;
所述基于集束搜索算法,根据所述摘要序列预测信息确定所述摘要序列集合,包括:
确定所述集束搜索算法对应的集束宽度;
根据所述集束宽度与每个所述预测词组对应的预测概率,对每个所述预测词组进行过滤,获得过滤后的预测词组;
根据过滤后的所述预测词组以及所述预测词组对应的预测概率,确定所述摘要序列集合。
5.根据权利要求1所述的文本摘要生成方法,其特征在于,所述根据预设的条件概率表对所述摘要序列集合进行概率修正之前,还包括:
获取训练语料库,所述训练预料库包括预设数量的样本词组;
基于所述训练语料库,确定每个所述样本词组对应的至少一个条件概率,每个所述条件概率为每个所述样本词组的每个字相对于前面字的出现概率;
根据每个所述样本词组以及每个所述样本词组对应的至少一个所述条件概率,生成所述条件概率表。
技术研发人员:陈庆伟,
申请(专利权)人:平安国际智慧城市科技股份有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。