基于跨模态注意力机制的谣言检测方法及模型技术

本发明专利技术公开了基于跨模态注意力机制的谣言检测方法及模型，包括：信息预处理，对包括文本信息和图像信息的信息对进行预处理；跨模态特征提取，对信息对的文本信息进行文本特征提取、对图像信息进行图像特征提取；模态的初步融合，采用跨模态注意力机制，以某一模态为基准，调整权重矩阵并从另一模态中提取二者间的关联信息，使两种模态之间的信息互相补充，实现初步融合；模态的特征融合，按多项式分布索引策略，对两种模态的特征向量进行随机采样，让二者在向量层面互补，进行特征融合并输出特征向量；谣言检测，基于特征向量进行谣言鉴别并输出鉴别结果。并输出鉴别结果。并输出鉴别结果。

【技术实现步骤摘要】
基于跨模态注意力机制的谣言检测方法及模型


[0001]本专利技术涉及跨模态信息融合分析
，具体涉及一种基于跨模态注意力机制的谣言检测方法，进一步涉及一种基于跨模态注意力机制的谣言检测模型。

技术介绍

[0002]社交网络作为数字时代信息传播的重要载体，加快了信息的传播。因社交网络具有虚拟性、开放性、易传播性等特征，且社交网络平台对信息的监管尚存某些缺失，给个别社交用户传播潜在的不实信息带来可乘之机，从而增加了甄别网络谣言的难度。为辨析社交媒体上的谣言，基于特征工程的机器学习方法受到各界的高度关注。然而，特征工程需要消耗大量的人力、物力和时间，给网络治理增添了较大的成本。近年来，递归神经网络(RNN)、长短期记忆网络(LSTM)、卷积神经网络(CNN)和图卷积神经网络(GCN)等深度学习方法，被广泛用于谣言鉴别，并取得了一定的效果。
[0003]随着新媒体技术应用的快速发展，谣言呈现出多源多态趋势，给传统的检测模型带来了挑战。多模态谣言包含两种及以上的模态信息，因此针对多模态谣言检测的首要任务是提取各个模态特征，然后进行融合。大量的相关研究工作仅通过对各个模态单独提取后直接拼接融合，这样的融合方式忽略了不同模态的数据彼此之间的互补作用，其次，某些帖子中的文字与附图可能联系并不直观，文本和视觉信息之间的融合，可能会产生冗余和噪声信息，甚至丢失重要信息。
[0004]综上可知，现急需提供一种能够更好地融合多模态谣言信息并精准鉴别的多模态谣言检测方法及模型。

技术实现思路

[0005]针对现有技术中的问题，本专利技术提供一种能够更好地融合多模态谣言信息并精准鉴别的基于跨模态注意力机制的谣言检测方法，进一步提供一种基于跨模态注意力机制的谣言检测模型。
[0006]第一方面，本专利技术公开了一种基于跨模态注意力机制的谣言检测方法，S1.信息预处理，对包括文本信息和图像信息的信息对进行预处理；S2.跨模态特征提取，对信息对的文本信息进行文本特征提取、对图像信息进行图像特征提取；S3.模态的初步融合，采用跨模态注意力机制，以某一模态为基准，调整权重矩阵并从另一模态中提取二者间的关联信息，使两种模态之间的信息互相补充，实现初步融合；S4.模态的特征融合，按多项式分布索引策略，对两种模态的特征向量进行随机采样，让二者在向量层面互补，进行特征融合并输出特征向量；S5.谣言检测，基于特征向量进行谣言鉴别并输出鉴别结果。
[0007]所述跨模态特征提取包括：S2.1文本特征提取：将文本信息的每个词通过预训练的RoBERTa模型转换为文本
嵌入特征，得到文本嵌入特征向量；S2.2图像特征提取：使用在ImageNet数据集上预训练的ResNet
‑
50模型，对于文本信息的附加图像提取初始图像嵌入特征；S2.3使用全连接层，将初始图像嵌入特征转换为具有相同词嵌入特征维度的图像嵌入特征矩阵。
[0008]模态的初步融合包括：S3.1为文本模态/图片模态的嵌入特征添加位置编码PE，使序列的每个标记都携带唯一的位置信息；S3.2 使用位置编码PE将时序信息添加到对应的图像模态/文本模态中，以利用序列的顺序；S3.3基于跨模态注意力通过H个不同的单头交叉模态注意力、可学习的线性投影，有效地利用上下文信息；将两种模态的注意力权重向量Q、K和V划分为H个不同的子空间，S3.4将时序信息从文本模态/图像模态传递到其对应的图像模态/文本模态，得到交叉模态自注意函数；S3.5将所有单头交叉模态注意力的输出拼接在一起，通过全连接层进行线性变换，形成跨模态注意力函数，得到文本模态向量/图像模态向量；S3.6对文本模态向量/图像模态向量进行归一化；S3.7计算得到模态注意力残差网络的文本模态输出向量/图像模态输出向量；S3.8：然后将文本模态输出向量与图片模态输出向量输入到EmbraceNet融合层进行最终的特征融合，最后输送至谣言检测层鉴别。
[0009]模态的特征融合包括将从不同模态中获得的模态输出向量预处理转化为相同大小；基于多项式的采样方法，对经预处理的两个模态的输出向量进行随机采样，让二者在向量层面互补，然后合并为一个最终输出向量。
[0010]在S1中，文本信息的预处理包括将文本固定长度为512个字，若超出固定长度则舍弃多余部分文本，不够补0至固定长度；图片信息预处理包括将图片调整为256大小，若不够则进行空白填充。
[0011]待检测的信息对的文本信息包括一段文字、图像信息包括一张图片；若图像信息的图片超出一张以上，则只保留第一张图片。
[0012]另一方面，本专利技术还公开了一种基于跨模态注意力机制的谣言检测模型，包括：预处理层，包括对文本信息和图像信息进行预处理的预处理模块；跨模态特征提取层，包括文本特征提取模块和图像特征提取模块；跨模态注意力残差网络层，计算文本模态和图像模态之间的关联程度，以某一模态为基准，调整权重矩阵并从另一模态中提取二者间的关联信息，使两种模态之间的信息互相补充，实现初步融合；EmbraceNet融合层，包括对接层和拥抱层，将两种模态的特征向量按多项式分布索引策略，对两种模态的特征向量进行随机采样，让二者在向量层面互补，最后进行特征融合；以及谣言检测层，对EmbraceNet融合层的输出结果进行谣言鉴别并输出鉴别结果。
[0013]使用随机梯度下降方法训练该模型并选择Adam作为学习率衰减的优化器。
[0014]与现有技术相比，本专利技术的有益效果是：本专利技术通过文本图片样本对，对文本和图片进行预处理，利用转成对应的特征向量表示，然后输入跨模态注意力机制，使文本模态与图片模态进行交互学习，通过重复强化一种模态的特征与另一种模态的特征，来潜在地将信息从一种模态适应到另一种模态；通过EmbraceNet来将两种模态向量采样，并以互补的方式融合两种模态的特征，最后进行谣言鉴别，从而缓解不同模态信息之间融合时可能带来的信息冗余和噪声；进而更好地融合多模态谣言信息并精准鉴别。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术所述的基于跨模态注意力机制的谣言检测模型示意图；图2为本专利技术所述的EmbraceNet融合层示意图。
具体实施方式
[0017]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
[0019]如图1和2所示，本实施例提供一种本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于跨模态注意力机制的谣言检测方法，其特征在于，包括：S1.信息预处理，对包括文本信息和图像信息的信息对进行预处理；S2.跨模态特征提取，对信息对的文本信息进行文本特征提取、对图像信息进行图像特征提取；S3.模态的初步融合，采用跨模态注意力机制，以某一模态为基准，调整权重矩阵并从另一模态中提取二者间的关联信息，使两种模态之间的信息互相补充，实现初步融合；S4.模态的特征融合，按多项式分布索引策略，对两种模态的特征向量进行随机采样，让二者在向量层面互补，进行特征融合并输出特征向量；S5.谣言检测，基于特征向量进行谣言鉴别并输出鉴别结果。2.根据权利要求1所述的基于跨模态注意力机制的谣言检测方法，其特征在于，所述跨模态特征提取包括：S2.1文本特征提取：将文本信息的每个词通过预训练的RoBERTa模型转换为文本嵌入特征，得到文本嵌入特征向量；S2.2图像特征提取：使用在ImageNet数据集上预训练的ResNet
‑
50模型，对于文本信息的附加图像提取初始图像嵌入特征；S2.3使用全连接层，将初始图像嵌入特征转换为具有相同词嵌入特征维度的图像嵌入特征矩阵。3.根据权利要求1所述的基于跨模态注意力机制的谣言检测方法，其特征在于，模态的初步融合包括：S3.1为文本模态/图片模态的嵌入特征添加位置编码PE，使序列的每个标记都携带唯一的位置信息；S3.2 使用位置编码PE将时序信息添加到对应的图像模态/文本模态中，以利用序列的顺序；S3.3基于跨模态注意力通过H个不同的单头交叉模态注意力、可学习的线性投影，有效地利用上下文信息；将两种模态的注意力权重向量Q、K和V，划分为H个不同的子空间，S3.4将时序信息从文本模态/图像模态传递到其对应的图像模态/文本模态，得到交叉模态自注意函数S3.5将所有单头交叉模态注意力的输出拼接在一起，通过全连接层进行线性变换，形成跨模态注意力函数，得到文本模态向量/图像模态向量；S3.6对文本模态向量...

【专利技术属性】
技术研发人员：熊曙初，张明远，孟晗，胡胡林，段金焱，方诺基，曾智勇，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：