一种基于图注意力网络的社交媒体谣言检测方法和系统技术方案

本发明专利技术公开了一种基于图注意力网络的社交媒体谣言检测方法，其首先获取待检测的谣言事件，对待检测的谣言事件对应的文本进行预处理，以得到预处理后的文本，并使用BERT‑Large‑Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵，然后根据待检测的谣言事件对应的用户之间的转发、评论或回复关系构建用户关系结构图表示为G＝(V,E)，并根据该用户关系结构图构建邻接矩阵，最后将文本向量矩阵、以及邻接矩阵，输入预先训练好的谣言检测模型中，以得到最终的谣言检测结果。本发明专利技术能够解决现有基于深度学习的谣言检测方法由于不能高效的提取谣言传播结构特征和聚合邻接节点特征,导致影响谣言检测准确度的技术问题。

【技术实现步骤摘要】
一种基于图注意力网络的社交媒体谣言检测方法和系统
本专利技术属于人工智能中的深度学习和自然语言处理
，更具体地，涉及一种基于图注意力网络(GraphAttentionNetwork，简称GAT)的社交媒体谣言检测方法和系统。
技术介绍
如今，越来越多的人在社交平台上分享自己的意见、经验和观点；以Twitter为例，其每天发送的新推文超过5亿条，即每秒近5787条。然而，如今的许多社交平台已经逐渐成为滋生虚假消息和散布谣言的理想场所。因此，如何快速、准确的识别社交平台上的谣言是当务之急。目前的谣言检测方法主要分为基于机器学习和基于深度学习两类。针对基于机器学习的谣言检测方法而言，其集中于谣言的浅层特征，其中有三个特征效果突出，一是文本特征，如用户的评论和回复等；二是用户特征，如用户的关注数，用户的粉丝数，用户的星座，生日，兴趣等；三是传播特征，如传播的时间序列，转发的帖子数等。利用这些特征训练机器学习算法，如支持向量机、决策树、随机森林等来实现谣言检测。然而，基于机器学习的这些谣言检测方法主要依赖于特征工程，提取特征的效率较低，从而导致检测过程非常费时费力。针对基于深度学习的谣言检测方法而言，虽然通过卷积神经网络、循环神经网络、长短期记忆网络等深度学习模型，能自动化的从谣言事件中提取特征，从而解决了现有基于机器学习的谣言检测方法提取特征效率低的问题。但是，现有基于深度学习的谣言检测方法仍然存在一些不可忽略的缺陷：第一、卷积神经网络设计的初衷是用于捕获结构化数据的特征，比如图像数据等，循环神经网络，长短期记忆网络等模型主要是用于处理固定长度的数据，而在谣言事件级别检测中，每个谣言事件的帖子数不是固定的，因此该基于深度学习的谣言检测方法不能高效地提取谣言传播结构特征和聚合邻接节点特征，进而导致谣言检测准确率偏低；第二、在谣言事件中，原贴子往往包含着更多有利于谣言检测的特征，随着谣言的传播，越远离原贴子的节点包含的利于谣言检测的特征越少，这也会导致谣言检测准确率偏低；第三，基于深度学习的谣言检测方法大部分都是基于传统的词向量模型(例如one-hot、Word2Vec、Tf-idf等)来表示文本，该词向量模型表示文本的能力有限，不能根据语境动态调整词语对词向量表示，进而会导致谣言检测准确率偏低。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于图注意力网络的社交媒体谣言检测方法和系统。其目的在于，解决现有基于深度学习的谣言检测方法由于不能高效的提取谣言传播结构特征和聚合邻接节点特征,导致影响谣言检测准确度的技术问题；以及由于远离原贴子的节点包含的有利于谣言检测的特征较少，导致影响谣言检测准确度的技术问题；以及由于使用传统词向量对文本进行编码并不能根据语境动态调整词向量，导致影响谣言检测准确度的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种基于图注意力网络的社交媒体谣言检测方法，包括如下步骤：(1)获取待检测的谣言事件，对待检测的谣言事件对应的文本进行预处理，以得到预处理后的文本，并使用BERT-Large-Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵。(2)根据步骤(1)得到的待检测的谣言事件对应的用户之间的转发、评论或回复关系构建用户关系结构图表示为G＝(V,E)，并根据该用户关系结构图构建邻接矩阵，其中V表示节点集合，每个节点表示待检测的谣言事件对应的一个用户，E表示边的集合，每条边表示两个用户之间的转发、评论或回复关系。(3)将步骤(1)得到的文本向量矩阵、以及步骤(2)得到的邻接矩阵，输入预先训练好的谣言检测模型中，以得到最终的谣言检测结果。优选地，步骤(1)首先是使用正则表达式对待检测的谣言事件对应的文本进行清洗(即删除一些特殊符号以及网页链接等)，然后使用BERT-Large-Cased预训练词向量模型将清洗后的每条文本转换成1024维向量，所有文本对应的1024维向量构成文本向量矩阵。步骤(3)中，根据用户关系结构图构建邻接矩阵具体为：对谣言事件对应的节点进行编号1到N，然后对于其中任意两个节点i和j而言，如果对应的用户之间有转发、评论或回复关系，则邻接矩阵中第i行第j列的元素Aij＝1，否则为0，这样就可以得到维度为N·N的邻接矩阵A，其中N为谣言事件对应的节点总数，即谣言事件对应的用户总数，其中i和j均∈[1，N]。优选地，谣言检测模型包含依次连接的第一图注意力网络、第二图注意力网络、原帖子增强网络，以及全连接网络；第一图注意力网络包括n个单头图注意力网络，其中n的取值为大于1的自然数；对于单头图注意力网络而言，其具体结构为：第一层是特征变换层，输入N·d的文本向量矩阵，利用一个d·h的矩阵，输出一个N·h特征矩阵，其中h为隐含层向量长度，d为编码后的文本向量长度；第二层是注意力计算层，其输入为第一层得到的N·h矩阵和N·N用户行为关系的邻接矩阵，输出为N·N的注意力权值矩阵。第三层是邻接顶点特征聚合层，其将第一层N·h矩阵和第二层得到N·N的注意力权值矩阵进行矩阵乘法，以得到N·h的特征矩阵。优选地，对于第一图注意力网络而言，其通过将n个单头图注意力网络输出的N·h的特征矩阵进行拼接，就能得到一个N·(n*h)的特征矩阵；第二图注意力网络是一个单头图注意力网络，其输入为第一图注意力网络输出的N·(n*h)的特征矩阵，输出为N·h的特征矩阵。优选地，原帖子增强网络的具体结构为：第一层是拼接层，其输入为经过第二图注意力网络输出的特征矩阵，该层使用N·h的原帖子特征矩阵进行拼接，输出为经过增强后的特征矩阵，维度为N·2h；第二层是池化层，其输入为增强后的特征矩阵，输出为经过池化后的特征向量，维度为1·2h；全连接网络具体结构为：第一层是特征变换层，其输入为经过原帖子增强网络池化后的特征向量，该层使用2h·h维的权重矩阵，输出维度为h的特征向量。第二层是特征降维层，其输入为第一层输出的特征向量，该层使用h·h/2维的权重矩阵，输出为降维后的特征向量，维度为h/2。第三层是谣言检测结果层，其输入为第二层降维后的特征向量，该层使用h/2·2维权重矩阵，输出为谣言检测结果。优选地，谣言检测模型是通过以下步骤训练得到的：(3-1)获取谣言数据，按照8:2的比例将谣言数据划分为训练集和测试集，对训练集中每个谣言数据对应的文本进行预处理，以得到预处理后的文本，使用BERT-Large-Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵X，根据训练集中每个谣言数据对应的用户之间的转发、评论或回复关系构建用户关系结构图，并根据该用户关系结构图构建邻接矩阵A。(3-2)将步骤(3-1)得到的文本向量矩阵X和邻接矩阵A输入到第一图注意力网络中，以得到N·(n*h)的特征向量矩阵T；(3-3)将步骤(3-1)得到的文本向量矩阵X和邻接矩阵A输入第一图注意力网络中第一个单本文档来自技高网...

【技术保护点】
1.一种基于图注意力网络的社交媒体谣言检测方法，其特征在于，包括如下步骤：/n(1)获取待检测的谣言事件，对待检测的谣言事件对应的文本进行预处理，以得到预处理后的文本，并使用BERT-Large-Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵。/n(2)根据步骤(1)得到的待检测的谣言事件对应的用户之间的转发、评论或回复关系构建用户关系结构图表示为G＝(V,E)，并根据该用户关系结构图构建邻接矩阵，其中V表示节点集合，每个节点表示待检测的谣言事件对应的一个用户，E表示边的集合，每条边表示两个用户之间的转发、评论或回复关系。/n(3)将步骤(1)得到的文本向量矩阵、以及步骤(2)得到的邻接矩阵，输入预先训练好的谣言检测模型中，以得到最终的谣言检测结果。/n

【技术特征摘要】
1.一种基于图注意力网络的社交媒体谣言检测方法，其特征在于，包括如下步骤：
(1)获取待检测的谣言事件，对待检测的谣言事件对应的文本进行预处理，以得到预处理后的文本，并使用BERT-Large-Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵。
(2)根据步骤(1)得到的待检测的谣言事件对应的用户之间的转发、评论或回复关系构建用户关系结构图表示为G＝(V,E)，并根据该用户关系结构图构建邻接矩阵，其中V表示节点集合，每个节点表示待检测的谣言事件对应的一个用户，E表示边的集合，每条边表示两个用户之间的转发、评论或回复关系。
(3)将步骤(1)得到的文本向量矩阵、以及步骤(2)得到的邻接矩阵，输入预先训练好的谣言检测模型中，以得到最终的谣言检测结果。


2.根据权利要求1所述的基于图注意力网络的社交媒体谣言检测方法，其特征在于，
步骤(1)首先是使用正则表达式对待检测的谣言事件对应的文本进行清洗(即删除一些特殊符号以及网页链接等)，然后使用BERT-Large-Cased预训练词向量模型将清洗后的每条文本转换成1024维向量，所有文本对应的1024维向量构成文本向量矩阵。
步骤(2)中，根据用户关系结构图构建邻接矩阵具体为：对谣言事件对应的节点进行编号1到N，然后对于其中任意两个节点i和j而言，如果对应的用户之间有转发、评论或回复关系，则邻接矩阵中第i行第j列的元素Aij＝1，否则为0，这样就可以得到维度为N·N的邻接矩阵A，其中N为谣言事件对应的节点总数，即谣言事件对应的用户总数，其中i和j均∈[1，N]。


3.根据权利要求1或2所述的基于图注意力网络的社交媒体谣言检测方法，其特征在于，
谣言检测模型包含依次连接的第一图注意力网络、第二图注意力网络、原帖子增强网络，以及全连接网络；
第一图注意力网络包括n个单头图注意力网络，其中n的取值为大于1的自然数；
对于单头图注意力网络而言，其具体结构为：
第一层是特征变换层，输入N·d的文本向量矩阵，利用一个d·h的矩阵，输出一个N·h特征矩阵，其中h为隐含层向量长度，d为编码后的文本向量长度；
第二层是注意力计算层，其输入为第一层得到的N·h矩阵和N·N用户行为关系的邻接矩阵，输出为N·N的注意力权值矩阵。
第三层是邻接顶点特征聚合层，其将第一层N·h矩阵和第二层得到N·N的注意力权值矩阵进行矩阵乘法，以得到N·h的特征矩阵。


4.根据权利要求1至3中任意一项所述的基于图注意力网络的社交媒体谣言检测方法，其特征在于，
对于第一图注意力网络而言，其通过将n个单头图注意力网络输出的N·h的特征矩阵进行拼接，就能得到一个N·(n*h)的特征矩阵；
第二图注意力网络是一个单头图注意力网络，其输入为第一图注意力网络输出的N·(n*h)的特征矩阵，输出为N·h的特征矩阵。


5.根据权利要求3所述的基于图注意力网络的社交媒体谣言检测方法，其特征在于，
原帖子增强网络的具体结构为：
第一层是拼接层，其输入为经过第二图注意力网络输出的特征矩阵，该层使用N·h的原帖子特征矩阵进行拼接，输出为经过增强后的特征矩阵，维度为N·2h；
第二层是池化层，其输入为增强后的特征矩阵，输出为经过池化后的特征向量，维度为1·2h；
全连接网络具体结构为：
第一层是特征变换层，其输入为经过原帖子增强网络池化后的特征向量，该层使用2h·h维的权重矩阵，输出维度为h的特征向量。
第二层是特征降维层，其输入为第一层输出的特征向量，该层使用h·h/2维的权重矩阵，输出为降维后的特征向量，维度为h/2。
第三层是谣言检测结果层，其输入为第二层降维后的特征向量，该层使用h/2·2维权重矩阵，输出为谣言检测结果。


6.根据权利要求3所述的基于图注意力网络的社交媒体谣言检测方法，其特征在于，谣言检测模型是通过以下步骤训练得到的：
(3-1)获取谣言数据，按照8:2的比例将谣言数据划分为训练集和测试集，对训练集中每个谣言数据对应的文本进行预处理，以得到预处理后的文本，使用BERT-Large-Cased预训练词向量模型将预处理后的文本转换成文本向量矩阵X，根据训练集中每个谣言数据对应的用户之间的转发、评论或回复关系构建用户关系结构图，并根据该用户关系结构图构建邻接矩阵A。
(3-2)将步骤(3-1)得到的文本向量矩阵X和邻接矩阵A输入到第一图注意力网络中，以得到N·(n*h)的特征向量矩阵T；
(3-3)将步骤(3-1)得到的文本向量矩阵X和邻接矩阵A输入第一图注意力网络中第一个单头图注意力网络的特征变换层，以得到维度为N·h的特征矩阵H；
(3-4)将步骤(3-3)得到的特征矩阵H输入第一图注意力网络中第一个单头图注意力网络的注意力计算层，以得到每个谣言事件对应的节点之间的注意力系数；
(3-5)对步骤(3-4)得到的每个谣言事件对应的节点之间的...

【专利技术属性】
技术研发人员：陈宇，肖正，聂振宇，王梦圆，郭修远，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43