System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 文本摘要的确定方法和装置及存储介质制造方法及图纸_技高网

文本摘要的确定方法和装置及存储介质制造方法及图纸

技术编号:41472688 阅读:10 留言:0更新日期:2024-05-30 14:25
本申请公开了一种文本摘要的确定方法和装置及存储介质。涉及数据处理技术领域、人工智能领域及其他相关技术领域,该方法包括:获取初始文本数据,对初始文本数据进行预处理,得到目标文本数据;依据目标神经网络模型中的空间和通道重建卷积层对目标文本数据进行特征提取,得到目标文本数据的第一特征信息;依据目标神经网络模型中的线性层对目标文本数据的第一特征信息进行降维处理,得到目标文本数据的第二特征信息;依据目标神经网络模型中的激活函数层对目标文本数据的第二特征信息进行预测,得到目标摘要信息。通过本申请,解决了相关技术中采用文本出现频率高的句子或短语进行拼接作为文本摘要,导致文本摘要的准确性比较低的问题。

【技术实现步骤摘要】

本申请涉及数据处理、人工智能领域及其他相关,具体而言,涉及一种文本摘要的确定方法和装置及存储介质


技术介绍

1、文本摘要技术在新闻摘要、文档总结和搜索引擎结果显示等方面具有广泛的应用。现有的文本摘要确定方法主要有:抽取式摘要方法(extractive summarizationmethod)。

2、抽取式摘要方法主要利用tf-idf算法和textrank算法,从原始文本中直接选择最重要、最具代表性的句子或短语作为文本的摘要信息,该方法虽然操作简单、直接,但生成的摘要信息不够流畅和连贯。针对相关技术中采用文本出现频率高的句子或短语进行拼接作为文本摘要,导致文本摘要的准确性比较低的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种文本摘要的确定方法和装置及存储介质,以解决相关技术中采用文本出现频率高的句子或短语进行拼接作为文本摘要,导致文本摘要的准确性比较低的问题。

2、为了实现上述目的,根据本申请的一个方面,提供了一种文本摘要的确定方法。该方法包括:获取初始文本数据,对所述初始文本数据进行预处理,得到目标文本数据;依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取,得到所述目标文本数据的第一特征信息;依据所述目标神经网络模型中的线性层对所述目标文本数据的第一特征信息进行降维处理,得到所述目标文本数据的第二特征信息;依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到目标摘要信息。

3、进一步地,依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取,得到所述目标文本数据的第一特征信息包括:依据所述空间和通道重建卷积层中的空间重构单元对所述目标文本数据进行特征提取,得到第一初始特征信息;依据所述空间和通道重建卷积层中的通道重构单元对所述第一初始特征信息进行转换,得到第二初始特征信息;依据所述第二初始特征信息,得到所述目标文本数据的第一特征信息。

4、进一步地,依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到目标摘要信息包括:依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到第一预测摘要信息;依据所述第一预测摘要信息进行计算,得到质量指标值,其中,所述质量指标值至少包括:召回率、精确率和双语评估基准;判断所述质量指标值是否大于等于预设阈值,得到第一判断结果;若所述第一判断结果表征所述质量指标值大于等于所述预设阈值,则将所述第一预测摘要信息确定为所述目标摘要信息。

5、进一步地,在判断所述质量指标值是否大于等于预设阈值,得到第一判断结果之后,所述方法还包括:若所述第一判断结果表征所述质量指标值小于所述预设阈值,则重复执行依据所述目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取的步骤,直至所述质量指标值大于等于所述预设阈值。

6、进一步地,在依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取之前,所述方法还包括:获取训练数据集,其中,所述训练数据集包括多个训练文本数据和每个训练文本数据对应的真实摘要信息;获取初始神经网络模型,并对所述初始神经网络模型配置超参数以及空间和通道重建卷积算子,得到配置后的初始神经网络模型;依据所述训练数据集对所述配置后的初始神经网络模型进行训练,得到所述目标神经网络模型。

7、进一步地,依据所述训练数据集对所述配置后的初始神经网络模型进行训练,得到所述目标神经网络模型包括:通过所述配置后的初始神经网络模型对所述训练文本数据进行处理,得到第二预测摘要信息;依据所述第二预测摘要信息和所述真实摘要信息进行计算,得到目标损失值;判断所述目标损失值是否小于等于目标阈值,得到第二判断结果;若所述第二判断结果表征所述目标损失值小于等于所述目标阈值,则将所述配置后的初始神经网络模型确定为所述目标神经网络模型。

8、进一步地,在判断所述目标损失值是否小于等于目标阈值,得到第二判断结果之后,所述方法还包括:若所述第二判断结果表征所述目标损失值大于所述目标阈值,则依据所述目标损失值对所述超参数以及空间和通道重建卷积算子进行更新,得到更新后的超参数以及更新后的空间和通道重建卷积算子;依据所述更新后的超参数以及更新后的空间和通道重建卷积算子和所述配置后的初始神经网络模型,确定更新后的初始神经网络模型;重复执行依据所述更新后的初始神经网络模型对所述训练文本数据进行处理的步骤,直至所述目标损失值小于等于所述目标阈值,并将当前的初始神经网络模型确定为所述目标神经网络模型。

9、为了实现上述目的,根据本申请的另一方面,提供了一种文本摘要的确定装置。该装置包括:预处理单元,用于获取初始文本数据,对所述初始文本数据进行预处理,得到目标文本数据;第一特征提取单元,用于依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取,得到所述目标文本数据的第一特征信息;降维单元,用于依据所述目标神经网络模型中的线性层对所述目标文本数据的第一特征信息进行降维处理,得到所述目标文本数据的第二特征信息;预测单元,用于依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到目标摘要信息。

10、进一步地,第一特征提取单元包括:特征提取模块,用于依据所述空间和通道重建卷积层中的空间重构单元对所述目标文本数据进行特征提取,得到第一初始特征信息;转换模块,用于依据所述空间和通道重建卷积层中的通道重构单元对所述第一初始特征信息进行转换,得到第二初始特征信息;第一确定模块,用于依据所述第二初始特征信息,得到所述目标文本数据的第一特征信息。

11、进一步地,预测单元包括:预测模块,用于依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到第一预测摘要信息;第一计算模块,用于依据所述第一预测摘要信息进行计算,得到质量指标值,其中,所述质量指标值至少包括:召回率、精确率和双语评估基准;第一判断模块,用于判断所述质量指标值是否大于等于预设阈值,得到第一判断结果;第二确定模块,用于若所述第一判断结果表征所述质量指标值大于等于所述预设阈值,则将所述第一预测摘要信息确定为所述目标摘要信息。

12、进一步地,所述装置还包括:第二特征提取单元,用于在判断所述质量指标值是否大于等于预设阈值,得到第一判断结果之后,若所述第一判断结果表征所述质量指标值小于所述预设阈值,则重复执行依据所述目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取的步骤,直至所述质量指标值大于等于所述预设阈值。

13、进一步地,所述装置还包括:获取单元,用于在依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取之前,获取训练数据集,其中,所述训练数据集包括多个训练文本数据和每个训练文本数据对应的真实摘要信息;配置单元,本文档来自技高网...

【技术保护点】

1.一种文本摘要的确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取,得到所述目标文本数据的第一特征信息包括:

3.根据权利要求1所述的方法,其特征在于,依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到目标摘要信息包括:

4.根据权利要求3所述的方法,其特征在于,在判断所述质量指标值是否大于等于预设阈值,得到第一判断结果之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,在依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,依据所述训练数据集对所述配置后的初始神经网络模型进行训练,得到所述目标神经网络模型包括:

7.根据权利要求6所述的方法,其特征在于,在判断所述目标损失值是否小于等于目标阈值,得到第二判断结果之后,所述方法还包括:

8.一种文本摘要的确定装置,其特征在于,包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质在设备执行权利要求1至7中任意一项所述的文本摘要的确定方法。

10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的文本摘要的确定方法。

...

【技术特征摘要】

1.一种文本摘要的确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取,得到所述目标文本数据的第一特征信息包括:

3.根据权利要求1所述的方法,其特征在于,依据所述目标神经网络模型中的激活函数层对所述目标文本数据的第二特征信息进行预测,得到目标摘要信息包括:

4.根据权利要求3所述的方法,其特征在于,在判断所述质量指标值是否大于等于预设阈值,得到第一判断结果之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,在依据目标神经网络模型中的空间和通道重建卷积层对所述目标文本数据进行特征提取之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:吴志贞
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1