【技术实现步骤摘要】
本专利技术涉及一种新闻摘要生成方法及相关装置，属于自然语言处理、计算机视觉、多模态信息处理和深度学习领域。
技术介绍
1、近年来，随着大数据时代的到来，社交媒体和在线平台上的信息呈爆发性增长，呈现出多模态信息的复杂多样性。随着新闻报道的数字化和多媒体化，用户在获取新闻信息时不仅能够接触到大量的文本信息，还能够浏览大量的图像和视频内容，这使得多模态数据（包括文本、图像和视频）的处理和概括变得至关重要。
2、在这一背景下，图文多模态摘要生成技术应运而生，多模态一词指的是结合多个感知模式，而在智能新闻摘要中，主要涉及到文本、图像和视频等多种信息形式，这一技术的目标是通过整合新闻文本、图像和视频，生成一份既有核心语义又丰富多彩的摘要，以更有效地传递新闻信息。
3、在传统的多模态摘要方法中，通常仅对文本信息或图像信息进行单一模态的处理，这使得难以充分挖掘新闻文本、图像和视频之间的深层次关联，例如，在报道一场重大新闻事件时，仅通过文本信息无法完全还原事件的紧急感和现场感，而图像和视频能够更好地传达这些方面的信息。因此传统的多模态摘要方法，限制了摘要生成的全面性，影响了摘要的质量。
技术实现思路
1、本专利技术提供了一种新闻摘要生成方法及相关装置，解决了
技术介绍
中披露的问题。
2、根据本公开的一个方面，提供一种新闻摘要生成方法，包括：根据新闻文本以及与新闻文本相关的图片，分别获得新闻文本的单词编码特征和图片的视觉目标特征；对单词编码特征和视觉目标特征进行多模态
3、在本公开的一些实施例中，根据新闻文本，获得新闻文本的单词编码特征，包括：采用语言模型，将新闻文本转化为词嵌入向量，采用自注意力机制，对词嵌入向量进行编码，获得新闻文本的单词编码特征。
4、在本公开的一些实施例中，多模态编码采用多层cross-transformers，每层cross-transformers的输出通过前馈子层输入下一层cross-transformers；第 k层cross-transformers的公式为：
5、；
6、；
7、；
8、；
9、式中， selfatt l→ l为单词编码特征到单词编码特征的自注意力层函数， selfatt r→ r为视觉目标特征到视觉目标特征的自注意力层函数，为第 k-1层cross-transformers的第 i个单词特征输出，为第 k层cross-transformers的第 i个单词特征输出，为第 k层cross-transformers的第 i个单词到目标的跨模态注意力特征输出，1≤ i≤ m， m为单词编码特征数量，1≤ j≤ n， n为视觉目标特征数量， crossatt l→ r为单词编码特征到视觉目标特征的交叉注意力层函数， crossatt r→ l为视觉目标特征到单词编码特征的交叉注注意力层函数。
10、在本公开的一些实施例中，采用对抗学习构建多模态动态图，包括：根据新特征，获取多模态动态图的初始关系矩阵和对抗邻阶矩阵；根据对抗邻阶矩阵，在节点与节点之间的边以及节点中注入高斯噪声，分别获取边中注入高斯噪声的对抗关系矩阵和节点中注入高斯噪声的对抗关系矩阵；根据对抗关系矩阵和初始关系矩阵，计算kl散度损失；根据对抗关系矩阵的对数梯度和初始关系矩阵的对数梯度，计算梯度一致性损失；根据kl散度损失和梯度一致性损失进行对抗性学习，构建多模态动态图。
11、在本公开的一些实施例中，在多模态动态图中区分出消极节点和积极节点，包括：计算带高斯噪声的对抗邻阶矩阵与相似度矩阵之间的相似关系矩阵，从相似关系矩阵中选择最大的 n个边作为锚点边，将锚点边联系的节点作为积极节点，其余节点作为消极节点；其中，相似度矩阵为节点间的相似度矩阵。
12、在本公开的一些实施例中，根据新特征中的积极特征和消极特征，生成新闻摘要，包括：
13、根据新特征中的积极特征和消极特征，获取相关词表和不相关词表的概率分布；将相关词表的概率分布减去不相关词表的概率分布，获得新的概率分布，从新的概率分布中选取大于阈值的单词组成新闻摘要。
14、根据本公开的另一个方面，提供一种新闻摘要生成装置，包括：
15、特征获取模块，根据新闻文本以及与新闻文本相关的图片，分别获得新闻文本的单词编码特征和图片的视觉目标特征；
16、多模态编码模块，对单词编码特征和视觉目标特征进行多模态编码，获得新特征；其中，在多模态编码中，单词编码特征与视觉目标特征相互观察，更新各自的表示；新特征包括新的单词编码特征和新的视觉目标特征；
17、构图区分模块，将新特征作为节点，将节点之间的相似度作为边，构建多模态动态图，并在多模态动态图中区分出消极节点和积极节点；
18、多模态解码模块，对新特征、消极节点和积极节点进行多模态解码，获得新特征中的积极特征和消极特征；其中，在多模态解码中，新特征观察消极节点和积极节点，更新自身的表示；
19、摘要生成模块，根据新特征中的积极特征和消极特征，生成新闻摘要。
20、根据本公开的另一个方面，提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行新闻摘要生成方法。
21、根据本公开的另一个方面，提供一种计算机设备，包括一个或多个处理器、以及一个或多个存储器，一个或多个程序存储在一个或多个存储器中并被配置为由一本文档来自技高网...
【技术保护点】
1.一种新闻摘要生成方法，其特征在于，包括：
2.根据权利要求1所述的新闻摘要生成方法，其特征在于，根据新闻文本，获得新闻文本的单词编码特征，包括：
3.根据权利要求1所述的新闻摘要生成方法，其特征在于，多模态编码采用多层Cross-transformers，每层Cross-transformers的输出通过前馈子层输入下一层Cross-transformers；第k层Cross-transformers的公式为：
4.根据权利要求1所述的新闻摘要生成方法，其特征在于，采用对抗学习构建多模态动态图，包括：
5.根据权利要求4所述的新闻摘要生成方法，其特征在于，在多模态动态图中区分出消极节点和积极节点，包括：
6.根据权利要求1所述的新闻摘要生成方法，其特征在于，根据新特征中的积极特征和消极特征，生成新闻摘要，包括：
7.一种新闻摘要生成装置，其特征在于，包括：
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算
9.一种计算机设备，其特征在于，包括：
...【技术特征摘要】
1.一种新闻摘要生成方法，其特征在于，包括：
2.根据权利要求1所述的新闻摘要生成方法，其特征在于，根据新闻文本，获得新闻文本的单词编码特征，包括：
3.根据权利要求1所述的新闻摘要生成方法，其特征在于，多模态编码采用多层cross-transformers，每层cross-transformers的输出通过前馈子层输入下一层cross-transformers；第k层cross-transformers的公式为：
4.根据权利要求1所述的新闻摘要生成方法，其特征在于，采用对抗学习构建多模态动态图，包...
【专利技术属性】
技术研发人员：龚智恒，荣欢，马廷淮，陈中峰，杨毅，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。