文本摘要生成方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:29489568 阅读:18 留言:0更新日期:2021-07-30 19:01
本申请涉及人工智能领域,通过根据条件概率表对文本摘要生成模型每一轮输出的摘要序列集合进行概率修正,有效提高了文本摘要生成的准确性。涉及一种文本摘要生成方法、装置、计算机设备和存储介质,该方法包括:将文本信息输入文本摘要生成模型进行摘要预测,获得摘要序列集合;根据预设的条件概率表对摘要序列集合进行概率修正,并将概率修正后的摘要序列集合输入文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得文本信息对应的候选摘要信息以及每个候选摘要信息对应的预测概率;根据候选摘要信息以及预测概率,确定文本信息对应的目标摘要信息。此外,本申请还涉及区块链技术,条件概率表可存储于区块链中。

【技术实现步骤摘要】
文本摘要生成方法、装置、计算机设备和存储介质
本申请涉及人工智能领域,尤其涉及一种文本摘要生成方法、装置、计算机设备和存储介质。
技术介绍
文本摘要生成是自然语言处理中一个重要的研究领域,在智能问答机器人及新闻摘要等领域起着重要的作用。现有的文本摘要生成方法大多数通过基于穷举搜索算法、贪心搜索算法或集束搜索算法的encoder-decoder模型,预测每个字的概率,最终输出文本摘要。但在中文领域的专业词汇场景中,encoder-decoder模型预测得到的摘要信息会出现出现词汇混乱、句子不通顺的问题,降低了文本摘要的准确性。因此如何提高生成文本摘要的准确性成为亟需解决的问题。
技术实现思路
本申请提供了一种文本摘要生成方法、装置、计算机设备和存储介质,通过根据条件概率表对文本摘要生成模型每一轮输出的摘要序列集合进行概率修正,可以避免生成的摘要信息出现词汇混乱、句子不通顺等问题,有效提高了文本摘要生成的准确性。第一方面,本申请提供了一种文本摘要生成方法,所述方法包括:获取待进行摘要生成的文本信息;将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。第二方面,本申请还提供了一种文本摘要生成装置,所述装置包括:文本信息获取模块,用于获取待进行摘要生成的文本信息;摘要预测模块,用于将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;概率修正模块,用于根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;摘要信息确定模块,用于根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的文本摘要生成方法。第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的文本摘要生成方法。本申请公开了一种文本摘要生成方法、装置、计算机设备和存储介质,通过获取待进行摘要生成的文本信息,将文本信息输入文本摘要生成模型进行摘要预测,可以获得对应的摘要序列集合;通过根据预设的条件概率表对摘要序列集合进行概率修正,并将概率修正后的摘要序列集合输入文本摘要生成模型进行至少一轮摘要预测以及概率修正,实现在专业词汇场景中,避免生成的摘要信息出现词汇混乱、句子不通顺等问题,有效提高了文本摘要生成的准确性;通过根据至少一个候选摘要信息以及每个候选摘要信息对应的预测概率,可以将预测概率最大的候选摘要信息确定为目标摘要信息。附图说明为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种文本摘要生成方法的示意性流程图;图2是本申请实施例提供的一种进行摘要预测的子步骤的示意性流程图;图3是本申请实施例提供的一种生成条件概率表的子步骤的示意性流程图;图4是本申请实施例提供的一种进行概率修正的子步骤的示意性流程图;图5是本申请实施例提供的一种文本摘要生成装置的示意性框图;图6是本申请实施例提供的一种计算机设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。本申请的实施例提供了一种文本摘要生成方法、装置、计算机设备和存储介质。其中,该文本摘要生成方法可以应用于服务器或终端中,通过根据条件概率表对文本摘要生成模型每一轮输出的摘要序列集合进行概率修正,可以避免生成的摘要信息出现词汇混乱、句子不通顺等问题,有效提高了文本摘要生成的准确性。其中,服务器可以为独立的服务器,也可以为服务器集群。终端可以是智能手机、平板电脑、笔记本电脑和台式电脑等电子设备。下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。如图1所示,文本摘要生成方法包括步骤S10至步骤S40。步骤S10、获取待进行摘要生成的文本信息。需要说明的是,本申请实施例提供的文本摘要生成方法应用于智能问答机器人及新闻摘要生成的场景中。在中文的专业词汇场景中,可以通过概率修正,避免生成的摘要信息出现词汇混乱、句子不通顺等问题,可以有效提高文本摘要生成的准确度。示例性的,待进行摘要生成的文本信息可以包括但不限于新闻、报告以及论文等文本信息。例如,一段新闻或论文中的一段话。通过获取待进行摘要生成的文本信息,后续可以将文本信息输入文本摘要生成模型进行摘要预测,便捷地获得对应的摘要序列集合。步骤S20、将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合。在本申请实施例中,可以基于集束搜索算法,将文本信息输入文本摘要生成模型进行多轮摘要预测,并对每一轮得到的摘要序列集合进行概率修正;然后,将概率修正后的摘要序列集合输入文本摘要生成模型进行摘要预测,直至预测到句子结束标识符,获得文本信息对应的至本文档来自技高网...

【技术保护点】
1.一种文本摘要生成方法,其特征在于,包括:/n获取待进行摘要生成的文本信息;/n将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;/n根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;/n根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。/n

【技术特征摘要】
1.一种文本摘要生成方法,其特征在于,包括:
获取待进行摘要生成的文本信息;
将所述文本信息输入文本摘要生成模型进行摘要预测,获得对应的摘要序列集合;
根据预设的条件概率表对所述摘要序列集合进行概率修正,并将概率修正后的所述摘要序列集合输入所述文本摘要生成模型进行至少一轮摘要预测以及概率修正,直至预测到句子结束标识符,获得所述文本信息对应的至少一个候选摘要信息以及每个所述候选摘要信息对应的预测概率;
根据至少一个所述候选摘要信息以及每个所述候选摘要信息对应的所述预测概率,确定所述文本信息对应的目标摘要信息。


2.根据权利要求1所述的文本摘要生成方法,其特征在于,所述将所述文本信息输入文本摘要生成模型进行摘要预测之前,还包括:
对所述文本信息进行分词处理,获得所述文本信息对应的词组集合;
所述将所述文本信息输入文本摘要生成模型进行摘要预测,包括:
将所述词组集合输入所述文本摘要生成模型进行摘要预测。


3.根据权利要求2所述的文本摘要生成方法,其特征在于,所述文本摘要生成模型包括编码层与解码层;所述将所述文本信息输入文本摘要生成模型进行摘要预测,包括:
将所述词组集合中的每个词组输入所述编码层进行编码,获得所述词组集合对应的词向量集合;
将所述词向量集合输入所述解码层进行解码,获得对应的摘要序列预测信息;
基于集束搜索算法,根据所述摘要序列预测信息确定所述摘要序列集合。


4.根据权利要求3所述的文本摘要生成方法,其特征在于,所述摘要序列预测信息包括多个预测词组以及每个所述预测词组对应的预测概率;
所述基于集束搜索算法,根据所述摘要序列预测信息确定所述摘要序列集合,包括:
确定所述集束搜索算法对应的集束宽度;
根据所述集束宽度与每个所述预测词组对应的预测概率,对每个所述预测词组进行过滤,获得过滤后的预测词组;
根据过滤后的所述预测词组以及所述预测词组对应的预测概率,确定所述摘要序列集合。


5.根据权利要求1所述的文本摘要生成方法,其特征在于,所述根据预设的条件概率表对所述摘要序列集合进行概率修正之前,还包括:
获取训练语料库,所述训练预料库包括预设数量的样本词组;
基于所述训练语料库,确定每个所述样本词组对应的至少一个条件概率,每个所述条件概率为每个所述样本词组的每个字相对于前面字的出现概率;
根据每个所述样本词组以及每个所述样本词组对应的至少一个所述条件概率,生成所述条件概率表。

【专利技术属性】
技术研发人员:陈庆伟
申请(专利权)人:平安国际智慧城市科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1