【技术实现步骤摘要】
本专利技术涉及虚假新闻检测领域，具体涉及一种基于图文共性特征和特有特征自适应选择融合的虚假新闻检测方法。
技术介绍
1、虚假新闻检测技术是一项关键技术，旨在应对日益严重的虚假新闻传播问题。在信息爆炸的数字时代，虚假新闻检测技术的应用变得尤为重要。该技术通过利用先进的自然语言处理、图像处理和多模态学习等算法，分析和识别新闻内容的真实性，具有检测准确、适应性强和实时响应等特点。虚假新闻检测技术的应用前景广泛，涵盖了媒体、社交平台和司法等多个领域。在媒体领域，虚假新闻检测技术可以帮助新闻机构确保报道的准确性，防止虚假新闻的传播，维护新闻行业的公信力。在社交平台上，该技术能够有效过滤虚假内容，保障用户获取的信息质量。在司法领域，虚假新闻检测技术可以为法律机构提供有力的技术支持，帮助鉴定和审查证据的真实性。然而，随着技术的发展，虚假新闻的生成方式变得更加复杂和多样化，给虚假新闻检测技术带来了新的挑战。因此，持续研究和改进虚假新闻检测技术是必要的，为应对日益复杂的虚假信息生成手段，提供更可靠的信息真实性验证方案。
2、早期虚假新闻检测任务的关注点仅聚焦在新闻中的单个模态，如图像模态或文本模态。文献“j.ma,w.gao,p.mitra,s.kwon,b.j.jansen,k.f.wong,m.cha,detectingrumors frommicroblogs with recurrent neural networks,proceedings of the 25thinternational joint conference
技术实现思路
1、本专利技术提出一种基于图文共性特征和特有特征自适应选择融合的虚假新闻检测方法，实现对社交媒体上传播的新闻进行真伪识别，整体的虚假新闻检测框架包括五个结构：基于预训练模型的特征编码器，基于共同注意力机制的共性特征提取模块，基于单模态特征过滤策略的图像特有特征提取分支和文本特有特征提取分支，基于余弦相似度分数自适应调整特征使用的虚假新闻分类器。如图1所示，虚假新闻检测框架的具体流程为：将新闻的文本和图片成对送入预训练模型编码器(文本长度不超过300，图片大小为224×224)，使用bert预训练模型编码文本模态的语义特征rt，使用swin-t预训练模型编码图像模态的语义特征ri，使用clip多模态预训练模型编码文本和图像两个模态的全局特征ct和ci；语义特征rt和ri通过共性特征提取模块得到被增强后的模态之间的共性特征rm(为便于理解，下文用一致性特征替代共性特征)；同时，rt和ri分别通过文本特有特征提取分支和图像特有特征提取分支计算不一致性分数向量获取文本和图像的特有特征rt_incon和ri_incon(为便于理解，下文用不一致性特征替代特有特征)；全局特征ct和ci被用于计算余弦相似度分数，得到归一化到0和1之间的余弦相似度分数，使用余弦相似度分数分别加权rt_incon、ri_incon和rm，自适应调整各特征的使用，最终送入虚假新闻分类器进行新闻真假分类。在以往的方法中，更关注模态之间的一致性特征，且对单模态特征的针对性处理较少，而在本专利技术中，设计单模态特征过滤策略，可针对性提取各模态的不一致性特征，同时通过余弦相似度分数使各模态的不一致性特征与模态之间的一致性特征共同自适应的参与到虚假新闻检测任务中。主要包括三大内容：
2、(1)提出一个基于共同注意力机制的共性特征提取模块；
3、(2)提出一种单模态特征过滤策略；
4、(3)提出一个基于余弦相似度分数自适应调整特征使用的虚假新闻分类器。
5、具体内容如下：
6、(1)提出一个基于共同注意力机制的共性特征提取模块：构建三对基于共同注意力机制的共同注意力组件(每对组件包含两个共同注意力模块)，融合文本和图像两个模态的特征并增强多模态融合特征，捕获模态之间的一致性特征。
7、本专利技术中的共同注意力机制，一对共同注意力组件包括两个共同注意力模块，每个共同注意力模块的输入特征维度为512，每对共同注意力组件内部共享参数。如图2所示，每个共同注意力模块由一个多头注意力层、一个前馈网络层、一个平均池化层和两个归一化层组成。
8、共性特征提取模块由三对共同注意力组件以及tfn融合策略构成，如图3所示，共同注意力组件1用于融合文本和图像的语义特征r本文档来自技高网...
【技术保护点】
1.一种基于图文共性特征和特有特征自适应选择融合的虚假新闻检测方法，其特征在于，利用预训练模型获取多模态新闻图像和文本的语义特征和全局特征，构建一个基于共同注意力机制的共性特征提取模块，该模块将文本模态和图像模态的语义特征进行融合互补，提取图像和文本之间的共性特征(为便于理解，下文用一致性特征替代共性特征)，结合单模态特征过滤策略，针对单个模态计算不一致性分数向量以提取文本和图像的特有特征(为便于理解，下文用不一致性特征替代特有特征)，通过余弦相似度分数以自适应融合一致性特征和不一致性特征，将所有特征送入分类器进行虚假新闻分类，具体包括：
2.根据权利要求1所述的基于图文共性特征和特有特征自适应选择融合的虚假新闻检测方法，其特征在于，所述基于单模态特征过滤策略的图像特有特征提取分支和文本特有特征提取分支中，使用的单模态特征过滤策略是相同的，即计算对应模态的不一致性分数向量，使用不一致性分数向量加权对应模态的语义特征，通过自注意力机制过滤冗余信息和无用噪声，最后得到对应模态的不一致性特征，具体包括：
3.根据权利要求1所述的基于图文共性特征和特有特征自适应选
...【技术特征摘要】
1.一种基于图文共性特征和特有特征自适应选择融合的虚假新闻检测方法，其特征在于，利用预训练模型获取多模态新闻图像和文本的语义特征和全局特征，构建一个基于共同注意力机制的共性特征提取模块，该模块将文本模态和图像模态的语义特征进行融合互补，提取图像和文本之间的共性特征(为便于理解，下文用一致性特征替代共性特征)，结合单模态特征过滤策略，针对单个模态计算不一致性分数向量以提取文本和图像的特有特征(为便于理解，下文用不一致性特征替代特有特征)，通过余弦相似度分数以自适应融合一致性特征和不一致性特征，将所有特征送入分类器进行虚假新闻分类，具体包括：
2.根据权利要求1所述的基于图文共性特征和特有...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。