【技术实现步骤摘要】
本专利技术涉及模态数据分析，具体涉及一种深度集成社交内容和关系的情感分析方法。
技术介绍
1、多模态情感分析技术的兴起根植于对人类情感表达的多样性和多维性的深刻认识。特别是在社交媒体的兴起和普及过程中，人们更趋向于通过文本、图像、音频等多种形式来展现情绪倾向。然而，传统的情感分析技术主要集中于文本数据上，未能充分挖掘图像、音频等感知模态中蕴藏的丰富情感信息，这限制了情感分析的全面性和准确性。在此背景下，多模态情感分析技术应运而生，它代表了情感分析领域的一次重大革新，也是对人类情感理解深度与广度的重要拓展。随着计算机视觉和自然语言处理技术的迅速发展，精确、高效地获取和处理不同模态的数据成为了现实，这为多模态情感分析提供了坚实的技术基础，也为其性能提升开辟了广阔的空间。多模态情感分析技术的核心目标在于整合不同模态的数据，深入挖掘其中的情感关联，以更全面地理解人类的情感世界。在实际应用中，多模态情感分析技术正逐步展现出其独特的价值。无论是在品牌情感洞察、选情分析等领域，还是在其他各种应用场景中，它都能够帮助我们更准确地把握人们的情感需求，提供更智能化、个性化的服务。
2、虽然社交媒体上多模态社交内容的爆发性增长极大地推动了多模态情感分析技术的发展，但该领域的研究仍处于初级阶段。通常，用户上传到社交网络上的信息以多种模态的形式存在，并可能传递着丰富的情感倾向。当前的多模态情感分析方法主要关注于捕捉社交内容中不同模态之间的互补特征，以有效而全面地理解跨模态信息。尽管当前方法在建模跨模态的情感特征关联方面取得了显著的成功，但这些
技术实现思路
1、本专利技术意在提供一种深度集成社交内容和关系的情感分析方法，以解决现有多模态情感分析缺乏社交链接网络，无法在社交内容之间建立有效情感联系的问题。
2、为解决上述技术问题，本专利技术提供如下技术方案：一种深度集成社交内容和关系的情感分析方法,包括以下步骤：
3、s1、特征预处理：利用resnet残差神经网络将图片信息提取为图片特征矩阵；利用glove词嵌入编码图片对应的文本单词，并将单词序列对应的嵌入矩阵输入到双向长短期记忆网络bi-lstm中，输出文本特征矩阵；利用社交属性构建带权无向图，并利用改进的深度游走算法deepwalk计算融合拓扑结构的图节点嵌入特征；
4、s2、基于transformer的图文注意力：采用多个transformer encoder分别编码特征预处理模块得到的图片特征矩阵和文本特征矩阵，多个transformer encoder的输出矩阵进行特征拼接后输入到一个新的transformer encoder中，并将对应位置输出的新图片特征矩阵和文本特征矩阵进行特征融合，生成图片、文本联合特征矩阵；
5、s3、节点指导的图文联合注意力：将s1中得到的图节点特征和s2中得到的图片、文本联合特征作为输入，利用记忆注意力机制计算两种特征间的异构关系，通过该注意力机制融合关系图的拓扑结构和图文联合特征，生成多模态的图节点特征；
6、s4、多模态图推理：在s1中构建的带权无向图的基础上，利用s3中计算所得的多模态图节点特征对无向图上的每个节点进行表示，通过多层图卷积神经网络在无向图上执行多模态的异质图推理，推理所得的图节点嵌入作为多模态情感分类器的输入，以实现情感的极性预测。
7、进一步，所述步骤s1中描述的带权无向图是利用图片的社交属性信息构建的，其图节点对应为多模态的图片、文本信息；步骤s1为图片间不同的属性共现关系创建不同的链接，共现关系表示具有相同的标签，由同一用户上传，拍摄于同一地点等，为每一种链接关系赋予权重1，即两张图片间如果存在w种链接关系，则对应的链接权重为w。
8、进一步，所述步骤s1中描述的图节点嵌入特征向量是通过改进深度随机游走算法deepwalk，使其适用于步骤s1构建的带权无向图而计算出来的，利用deepwalk的思想，步骤s1中所述的图节点嵌入主要用于表征社交关系网络图中节点的拓扑结构信息。
9、进一步，所述步骤s2采用了两个transformer encoder分别编码图片特征矩阵和文本特征矩阵。
10、进一步，所述步骤s2将最后一个transformer encoder的输出拆分成新的图片和文本特征矩阵后，利用神经网络进行特征拼接及映射，对两种类型的特征进行深入融合，生成图片、文本联合特征。
11、进一步，所述步骤s3中采用的记忆注意力机制是通过迭代多次计算图节点特征对图片、文本联合特征的注意力，生成多模态的节点特征，以建模图节点的局部拓扑结构与图文联合信息之间的异构关系，捕捉图的拓扑结构对情感倾向的影响。
12、进一步，所述步骤s4中描述的多模态情感分类器是一个多层感知神经网络结构，它将融合了图片、文本、网络拓扑结构和邻居内容信息的多模态图节点嵌入作为输入，并输出对应的多模态情感极性，即积极、消极或中立。
13、本专利技术的有益效果：1.本专利技术在图片与文本两种模态的基础上，引入了社交网络中图片间的链接关系，深入探索社交网络图的拓扑结构以及邻居内容信息对图片和文本情感倾向的潜在影响，通过这种方式，本方法能够实现图片、文本与网络三种模态特征的深度融合，最大化地利用社交数据信息进行综合性的情感推理与分析；2.本专利技术采用了多个transformer编码器以深度学习图片、文本模态内部及模态之间的特征依赖关系，这种方法能够捕捉到更为细粒度的特征关联，有效挖掘并利用跨模态的情感互补信息，从而显著提升了多模态情感分析的准确度。
本文档来自技高网...【技术保护点】
1.一种深度集成社交内容和关系的情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤S1中描述的带权无向图是利用图片的社交属性信息构建的，其图节点对应为多模态的图片、文本信息；步骤S1为图片间不同的属性共现关系创建不同的链接，共现关系表示具有相同的标签，由同一用户上传，拍摄于同一地点等，为每一种链接关系赋予权重1，即两张图片间如果存在w种链接关系，则对应的链接权重为w。
3.根据权利要求2所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤S1中描述的图节点嵌入特征向量是通过改进深度随机游走算法DeepWalk，使其适用于步骤S1构建的带权无向图而计算出来的，利用DeepWalk的思想，步骤S1中所述的图节点嵌入主要用于表征社交关系网络图中节点的拓扑结构信息。
4.根据权利要求3所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤S2采用了两个Transformer encoder分别编码图片特征矩阵和文本特征矩阵。
5.根据
6.根据权利要求5所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤S3中采用的记忆注意力机制是通过迭代多次计算图节点特征对图片、文本联合特征的注意力，生成多模态的节点特征，以建模图节点的局部拓扑结构与图文联合信息之间的异构关系，捕捉图的拓扑结构对情感倾向的影响。
7.根据权利要求6所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤S4中描述的多模态情感分类器是一个多层感知神经网络结构，它将融合了图片、文本、网络拓扑结构和邻居内容信息的多模态图节点嵌入作为输入，并输出对应的多模态情感极性，即积极、消极或中立。
...【技术特征摘要】
1.一种深度集成社交内容和关系的情感分析方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤s1中描述的带权无向图是利用图片的社交属性信息构建的，其图节点对应为多模态的图片、文本信息；步骤s1为图片间不同的属性共现关系创建不同的链接，共现关系表示具有相同的标签，由同一用户上传，拍摄于同一地点等，为每一种链接关系赋予权重1，即两张图片间如果存在w种链接关系，则对应的链接权重为w。
3.根据权利要求2所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤s1中描述的图节点嵌入特征向量是通过改进深度随机游走算法deepwalk，使其适用于步骤s1构建的带权无向图而计算出来的，利用deepwalk的思想，步骤s1中所述的图节点嵌入主要用于表征社交关系网络图中节点的拓扑结构信息。
4.根据权利要求3所述的一种深度集成社交内容和关系的情感分析方法，其特征在于：所述步骤s2采用了两个transfo...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。