基于动态多跳图注意力网络的谣言检测方法及系统技术方案

本发明专利技术涉及一种基于动态多跳图注意力网络的谣言检测方法及系统，该方法包括以下步骤：步骤A：提取已知事件下的帖子的用户信息、回复信息及帖子间的转发或评论关系，并标注每个事件是否为谣言，构建训练集S；步骤B：使用训练集S训练基于动态多跳图注意力网络的深度学习网络模型G，用于分析每个事件是否为谣言；基于动态多跳图注意力网络的谣言检测模型步骤C：将提取的用户信息、回复信息和帖子间关系与帖子的文本信息一起输入到训练后的深度学习网络模型G中，得到对每个事件是否为谣言的预测。该方法及系统有利于提高谣言检测的准确性。性。性。

【技术实现步骤摘要】
基于动态多跳图注意力网络的谣言检测方法及系统


[0001]本专利技术属于自然语言处理领域，具体涉及一种基于动态多跳图注意力网络的谣言检测方法及系统。

技术介绍

[0002]随着移动互联网的发展，社交媒体在给我们带来学习、生活便利的同时，也不可避免地加速了谣言的扩散。网络谣言的泛滥不仅对人们的生产生活造成严重的干扰，也在一定程度上摧毁社会信任体系，给社会造成严重的负面影响。尽管各个媒体机构加强了对谣言的监控并且开通了辟谣平台，但这些措施需要耗费大量的人力物力来收集信息以验证消息的真实性，同时存在时间滞后、信息覆盖不全、事件反转等问题。因此有必要在谣言早期进行自动化的检测。
[0003]谣言检测任务为二分类问题，即判断某个事件或某条推文为“谣言”或者“非谣言”，现有的研究工作可分为两类方法：一种是传统机器学习方法，一种是深度学习方法。传统机器学习方法主要通过构造或选取合适的特征，如文本内容和社交网络相关的信息，然后利用朴素贝叶斯、决策树、支持向量机等浅层算法进行谣言检测。虽然特征工程提升了谣言检测的性能，但在特征选择上费时费力，且由于特征选取具有很强的主观性，很容易被谣言的制造者刻意规避。近年来，深度学习在自然语言处理、图像分类等领域表现出优越的性能，因此研究人员将深度学习模型应用到谣言检测任务中，用以自动学习谣言所隐含的深层特征。深度学习模型主要基于卷积神经网络CNN、循环神经网络 RNN与图神经网络GNN。卷积神经网络只能抽取文本的局部信息，对于长文本表现不佳。循环神经网络则存在梯度消失的问题。图神经网络优势在于建模多个帖子之间的关系，通过其邻域有效地学习每个结点的表示，从而提升模型对帖子更深层次特征的学习能力。但谣言的产生和传播是一个动态的过程，现有的图神经网络模型多为静态图神经网络模型。静态图神经网络只进行一次的构建，所有的帖子构成的结点和帖子关系构成的边都是固定的，无法应对由于帖子的增加带来交互关系的改变。同时，以往的方法对于用户信息只做简单的信息提取，而忽略了用户关系网络的结构特征，如由用户行为形成的关系网络等。由于社交媒体中用户数量较多，用户间行为生成的图容易存在边稀疏的问题，因此对用户进行建模的方法需要克服边的稀疏性来提取有效的信息。此外在社交媒体中转发帖子占据较大比例，由于转发帖子本身不携带额外的文本信息，现有的研究往往选择忽视，但对于转发帖子而言，其中的用户信息是转发帖子与源帖子的重要区别，忽视转发帖子将导致无法充分提取帖子的用户特征，同时也会造成在图神经网络中传播路径等关键信息的丢失。

技术实现思路

[0004]本专利技术的目的在于提供一种基于动态多跳图注意力网络的谣言检测方法及系统，该方法及系统有利于提高谣言检测的准确性。
[0005]为实现上述目的，本专利技术采用的技术方案是：一种基于动态多跳图注意力网络的
谣言检测方法，包括以下步骤：
[0006]步骤A：提取已知事件下的帖子的用户信息、回复信息及帖子间的转发或评论关系，并标注每个事件是否为谣言，构建训练集S；
[0007]步骤B：使用训练集S训练基于动态多跳图注意力网络的深度学习网络模型G，用于分析每个事件是否为谣言；
[0008]步骤C：将提取的用户信息、回复信息和帖子间关系与帖子的文本信息一起输入到训练后的深度学习网络模型G中，得到对每个事件是否为谣言的预测。
[0009]进一步地，所述步骤B具体包括以下步骤：
[0010]步骤B1：对训练集S中的每个帖子进行编码，得到事件下每个帖子的文本编码s、帖子间的关系矩阵R；
[0011]步骤B2：对训练集S中的用户信息进行编码，用矩阵X表示用户的基本信息特征，用邻接矩阵A表示用户的行为特征，输入到图卷积网络中，学习并提取用户间深层次关系，得到用户编码的图卷积表征向量u；
[0012]步骤B3：对训练集S中的回复信息进行编码，将每条回复表征向量xij输入到注意力网络中，使用两个额外的参数学习回复的结构信息；从帖子回复信息中学习评论树信息，得到评论树表征向量c；
[0013]步骤B4：对每个帖子的文本编码s及对应的用户编码u和评论树编码c进行融合拼接，得到该帖子的表征向量h；同时通过固定帖子数量的方式对帖子进行分组处理；
[0014]步骤B5：将每一组的帖子向量Ti输入到多跳图注意力网络中，先利用帖子间的关系计算单跳注意力得分，再利用图扩散的方式计算多跳注意力得分，更新帖子表征向量；提取每一组的源帖子的表征向量e；
[0015]步骤B6：利用dot
‑
productattention计算每组向量之间的相关度，引入掩码M，确保对组次i的预测仅依赖于组次i之前的输出，而不依赖于组次i之后的输出；使用 Softmax函数对输出向量进行归一化；根据目标损失函数loss，利用反向传播方法计算深度学习网络模型G中各参数的梯度，并利用随机梯度下降方法更新参数；
[0016]步骤B7：当深度学习网络模型G产生的损失值迭代变化小于设定阈值或者达到最大迭代次数，终止深度学习网络模型G的训练。
[0017]进一步地，所述步骤B1具体包括以下步骤：
[0018]步骤B11：遍历训练集S，S中训练样本表示为S＝(P,y)，其中P表示帖子集，y 表示谣言检测的极性，谣言检测的极性包括{非谣言、谣言、真实传闻以及未经验证的传闻}；对帖子集P中每个帖子p使用预先训练好的分布式表示的词向量；词语索引x
i
通过词表找到对应的独热编码v
i
，再通过预训练的词向量转化为w
i
，表示为：
[0019]w
i
＝Wv
i
[0020]其中，v
i
为词语索引x
i
在词表中的独热编码，W是d维的词向量矩阵；
[0021]步骤B12：将转换后的词向量作为Text
‑
CNN的输入；利用具有不同窗口的过滤器，捕捉不同粒度的特征以提取文本特征；对于帖子文本内容中的第i个词，相应的k维的词嵌入表征为因此具有n个单词的句子表征为：
[0022][0023]其中，是连接运算符，窗口大小为h卷积滤波器将句子中h个单词的连续序列作为输入并输出一个特征，对于从第i个单词开始的h个单词的连续序列，滤波器操作表示为：
[0024]s
i
＝ReLU(W
c
S
i：i+h
‑1)
[0025]其中，W
c
表示过滤器参数；然后获得该句子的特征表示：
[0026]s＝[s1,s2,...,s
n
]。
[0027]进一步地，所述步骤B2具体包括以下步骤：
[0028]步骤B21：遍历训练集S，提取训练集中每个帖子对应的用户，构造用户特征矩阵 U表示所有用户节点的特征，特征包括用户的个人信息和社交信息；其中n表示为用户的个数，m表示用户特征矩阵的维度，矩阵的每一行都表示为一个用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态多跳图注意力网络的谣言检测方法，其特征在于，包括以下步骤：步骤A：提取已知事件下的帖子的用户信息、回复信息及帖子间的转发或评论关系，并标注每个事件是否为谣言，构建训练集S；步骤B：使用训练集S训练基于动态多跳图注意力网络的深度学习网络模型G，用于分析每个事件是否为谣言；步骤C：将提取的用户信息、回复信息和帖子间关系与帖子的文本信息一起输入到训练后的深度学习网络模型G中，得到对每个事件是否为谣言的预测。2.根据权利要求1所述的动态多跳图注意力网络的谣言检测方法，其特征在于，所述步骤B具体包括以下步骤：步骤B1：对训练集S中的每个帖子进行编码，得到事件下每个帖子的文本编码s、帖子间的关系矩阵R；步骤B2：对训练集S中的用户信息进行编码，用矩阵X表示用户的基本信息特征，用邻接矩阵A表示用户的行为特征，输入到图卷积网络中，学习并提取用户间深层次关系，得到用户编码的图卷积表征向量u；步骤B3：对训练集S中的回复信息进行编码，将每条回复表征向量x
ij
输入到注意力网络中，使用两个额外的参数学习回复的结构信息；从帖子回复信息中学习评论树信息，得到评论树表征向量c；步骤B4：对每个帖子的文本编码s及对应的用户编码u和评论树编码c进行融合拼接，得到该帖子的表征向量h；同时通过固定帖子数量的方式对帖子进行分组处理；步骤B5：将每一组的帖子向量T
i
输入到多跳图注意力网络中，先利用帖子间的关系计算单跳注意力得分，再利用图扩散的方式计算多跳注意力得分，更新帖子表征向量；提取每一组的源帖子的表征向量e；步骤B6：利用dot
‑
product attention计算每组向量之间的相关度，引入掩码M，确保对组次i的预测仅依赖于组次i之前的输出，而不依赖于组次i之后的输出；使用Softmax函数对输出向量进行归一化；根据目标损失函数loss，利用反向传播方法计算深度学习网络模型G中各参数的梯度，并利用随机梯度下降方法更新参数；步骤B7：当深度学习网络模型G产生的损失值迭代变化小于设定阈值或者达到最大迭代次数，终止深度学习网络模型G的训练。3.根据权利要求2所述的动态多跳图注意力网络的谣言检测方法，其特征在于，所述步骤B1具体包括以下步骤：步骤B11：遍历训练集S，S中训练样本表示为S＝(P,y)，其中P表示帖子集，y表示谣言检测的极性，谣言检测的极性包括{非谣言、谣言、真实传闻以及未经验证的传闻}；对帖子集P中每个帖子p使用预先训练好的分布式表示的词向量；词语索引x
i
通过词表找到对应的独热编码v
i
，再通过预训练的词向量转化为w
i
，表示为：w
i
＝Wv
i
其中，v
i
为词语索引x
i
在词表中的独热编码，W是d维的词向量矩阵；步骤B12：将转换后的词向量作为Text
‑
CNN的输入；利用具有不同窗口的过滤器，捕捉不同粒度的特征以提取文本特征；对于帖子文本内容中的第i个词，相应的k维的词嵌入表
征为因此具有n个单词的句子表征为：其中，是连接运算符，窗口大小为h卷积滤波器将句子中h个单词的连续序列作为输入并输出一个特征，对于从第i个单词开始的h个单词的连续序列，滤波器操作表示为：s
i
＝ReLU(W
c
S
i:i+h
‑1)其中，W
c
表示过滤器参数；然后获得该句子的特征表示：s＝[s1,s2,...,s
n
]。4.根据权利要求2所述的基于动态多跳图注意力网络的谣言检测方法，其特征在于，所述步骤B2具体包括以下步骤：步骤B21：遍历训练集S，提取训练集中每个帖子对应的用户，构造用户特征矩阵U表示所有用户节点的特征，特征包括用户的个人信息和社交信息；其中n表示为用户的个数，m表示用户特征矩阵的维度，矩阵的每一行都表示为一个用户的特征向量；使用邻接矩阵A及其度矩阵D表示用户的边；当用户a与用户b有转发、评论关系或讨论同一帖子时A
ab
＝1，如果用户a与用户b没有任何交集时A
ab
＝0；度矩阵D由特征向量组成，有D
ij
＝∑
j
A
ij
；步骤B22：利用用户特征矩阵U和邻接矩阵A进行图卷积操作；对于单次卷积，特征矩阵有：L
(1)
＝δ(AUW0)其中L
(0)
＝X，A是邻接矩阵，W0是权重矩阵；δ是一个激活函数，对于多次卷积，节点矩阵的更新方式如下：L
(j+1)
＝δ(AL
(j)
W
j
)其中j表示卷积层的数量。5.根据权利要求2所述的基于动态多跳图注意力网络的谣言检测方法，其特征在于，所述步骤B3具体包括以下步骤：步骤B31：遍历训练集S，提取每个帖子下对应的回复，回复之间构成评论树，采用Transformer模型学习回复之间的依赖关系；Transformer的每一层都包含一个self
‑
attention子层和一个前馈子层，其中self
‑
attention层架构推导如下：其中序列中i和j元素的注意力权重通过i的query与j的key来计算得到；步骤B32：将每个位置的value聚合起来得到位置i的输出，有：步骤B33：每个评论回复使用该评论文本的词嵌入向量表示，首先对每个评论回复x
i
进行max
‑
pooling来获得其句子表示x'
i
；接着将评论句子表示序列X'＝(x'1,x'2,...,x'
m
)通过s个MHA层来建模推文之间的交互；通过这些MHA层以后得到输出U＝(u1,u2,...,u
m
)，最后通过注意力机制聚合这些输出并使用全连接层进行连接...

【专利技术属性】
技术研发人员：陈羽中，李伟豪，
申请(专利权)人：福州大学，
类型：发明
国别省市：