【技术实现步骤摘要】
本专利技术属于计算机科学与，具体涉及一种基于多模态证据融合和语篇关系增强的事实核查方法。
技术介绍
1、随着互联网的高速发展和社交媒体的兴起，各种信息传播的速度不断提高。由于社交媒体人人可参与传播的特点，各种信息在社交媒体中呈现出病毒式传播，速度极快。然而，由于审核机制的不完善与缺失，社交媒体成为各种虚假信息传播的温床。这种虚假信息的广泛传播使人们难以发现事件背后的真相，甚至可能严重影响社会秩序。
2、为了应对社交媒体平台中日益增长的谣言，虚假新闻检测和事实验证两个任务被提出。前者通常是针对待检测的新闻进行真实性的二分类任务，后者则要求系统在可靠的知识库中检索与声明相关的证据，并根据这些证据判断声明是真实、虚假或者是信息不足(nei)。
3、对于事实验证任务而言，部分研究人员致力于改进证据检索的过程，以提升检索到的证据与声明之间的相关性。部分研究人员致力于改进事实验证过程，使得模型能够更好地学习声明和证据的表征，从而对声明的真实性做出判断。
4、尽管如此，过去的相关研究大多仅局限于文本模态，并且仅是将声明的特征和证据的特征进行简单拼接，少部分研究虽然通过注意力机制探讨了声明和证据的交互关系，却忽视了证据与证据之间的交互关系；另一些研究将图神经网络用于事实验证任务，使用图节点的信息传递研究证据与证据之间的交互，但没有充分挖掘证据内部蕴含的语义结构信息，导致在判断声明真实性方面的准确性和可靠性较差，不能够有效对待检测的声明作出判断。
技术实现思路
1
2、本专利技术采取的技术方案具体如下：
3、一种基于多模态证据融合和语篇关系增强的事实核查方法，包括以下步骤：
4、步骤1、证据检索：针对待检测的声明，从证据库中检索相关证据；
5、步骤2、构建证据关系图：使用自然语言处理工具从相关证据中提取语篇关系，基于提取的语篇关系，构建语篇关系异构图，并通过图神经网络对语篇关系异构图的特征进行融合和提取，形成语篇关系异构图证据特征；
6、步骤3、真实性判断：采用完整的相关证据作为单位，将声明特征和证据特征进行融合，分析相关证据是否支持待判断的声明。
7、进一步地，所述步骤1中的相关证据包括文本证据和图像证据。
8、进一步地，所述步骤2包括以下步骤：
9、步骤101：对于文本证据构建相关索引形成一个新的索引库；
10、步骤102：训练用于检索相关文本证据的语义相似度模型和多模态事实核实模型；
11、步骤103：训练用于检索的声明相关图像证据的多模态事实核实模型；
12、步骤104：使用训练后的语义相似度模型提取声明的特征和证据索引的特征，并计算其余弦相似度，根据相似度进行排序，选择前5条最相关的证据作为检索到的文本证据；
13、步骤105：使用训练后的多模态事实核实模型提取声明的特征和图像证据的特征，并计算其余弦相似度，根据相似度进行排序，选择前5张最相关的图像作为检索到的图像证据。
14、进一步地，所述步骤1中的语义相似度模型和多模态事实核实模型使用对比学习方法进行训练，在训练的过程中选择与声明相关的证据作为正面样本，并在与声明无关的证据中随机抽取相关证据作为对比学习的负面样本参与训练。
15、进一步地，所述步骤2包括以下步骤：
16、步骤201：使用文本关系提取工具分析文本证据的语篇关系；
17、步骤202：基于提取的语篇关系，构建作为证据关系图的有向异构图，形成语篇关系异构图；
18、步骤203：将声明和相关图片证据连接到语篇关系异构图节点上作为节点特征，利用图神经网络的注意力机制控制消息传输，利用注意力机制对于节点特征进行加权求和，完成语篇关系异构图节点特征的融合和提取，得到最终的语篇关系异构图证据特征。
19、进一步地，所述语篇关系异构图包含声明节点、文本证据节点和图片证据节点，以及选择关系、并列关系、因果关系、逆因果关系和普通连接关系五种类型的边。
20、进一步地，所述步骤3包括以下步骤：
21、步骤301：对文本证据进行分句处理，将分句处理后的文本证据与图片证据一起输入多模态事实核实模型，使用多模态事实核实模型提取文本证据特征、图像证据特征和待检测的声明特征；
22、步骤302：通过交叉注意力机制计算声明和证据的注意力分布，其中声明特征作为query，证据特征作为key和value进行特征融合；
23、步骤303：将融合后的特征输入池化层和线性层，用于判断声明的真实性，类别包括真实、虚假和信息不足。
24、本专利技术取得的技术效果为：
25、本专利技术的一种基于多模态证据融合和语篇关系增强的事实核查方法实现了多模态证据融合和语篇关系增强的自动事实核查，解决了多模态自动事实核查的缺失，提升了多模态事实核实模型在判断声明真实性方面的准确性和可靠性，能够有效对于待检测的声明作出判断，有效应对了社交媒体中虚假信息传播的问题，对减少虚假信息的传播具有重大意义。
本文档来自技高网...【技术保护点】
1.一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤1中的相关证据包括文本证据和图像证据。
3.根据权利要求1所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤2包括以下步骤：
4.根据权利要求3所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤1中的语义相似度模型和多模态事实核实模型使用对比学习方法进行训练，在训练的过程中选择与声明相关的证据作为正面样本，并在与声明无关的证据中随机抽取相关证据作为对比学习的负面样本参与训练。
5.根据权利要求3所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤2包括以下步骤：
6.根据权利要求5所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述文本关系提取工具为Graphene。
7.根据权利要求5所述的一种基于多模态证据融合和语篇关系增强的
8.根据权利要求5所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤3包括以下步骤：
...【技术特征摘要】
1.一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤1中的相关证据包括文本证据和图像证据。
3.根据权利要求1所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤2包括以下步骤：
4.根据权利要求3所述的一种基于多模态证据融合和语篇关系增强的事实核查方法，其特征在于：所述步骤1中的语义相似度模型和多模态事实核实模型使用对比学习方法进行训练，在训练的过程中选择与声明相关的证据作为正面样本，并在与声明无关的证据中随机抽取相关证据作为对比学习的负面样本...
【专利技术属性】
技术研发人员：张小明，柳家成，路明，苗德壮，于泽龙，张力天，周子奕，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。