一种基于文本的消费意图分析方法技术

一种基于文本的消费意图分析方法，它属于消费意图分析技术领域。本发明专利技术解决了由于现有方法忽略了彼此相距较远的节点的结构相似性，导致对消费意图分析的准确度低的问题。本发明专利技术提出的技术将任务描述为一个异构图推理任务，以充分利用全局连接信息，使用节点聚合机制来捕获语义特征，使用元结构来显式地建模远距离节点之间的拓扑结构相似性，考虑了远距离节点之间的拓扑结构相似性后，可以大幅提高消费意图分析结果的准确度。本发明专利技术可以应用于消费意图分析。图分析。图分析。

【技术实现步骤摘要】
一种基于文本的消费意图分析方法


[0001]本专利技术属于消费意图分析
，具体涉及一种基于文本的消费意图分析方法。

技术介绍

[0002]许多人类的消费意图是由他将要做的事情所触发的。例如，如果一个人想“跑步”，他可能需要一双“跑鞋”。事实上，挖掘这样的事件与产品的关系对社交媒体平台和电子商务网站都可以起到作用，以帮助他们更好地了解客户，并修正他们对个体的广告策略。事件
‑
产品对识别(EPI)任务旨在识别事件是否能触发一个人对产品的消费意图，是目前在社交媒体平台和电子商务网站等领域非常重要的商业需求，遂此任务的目标是帮助构建和完成大规模事件
‑
产品知识库。例如，如图1和图2所示，给定事件
‑
产品对(e1，p1)，此任务的目标是确定想要“摆脱干燥皮肤”的人是否需要“面膜”。此任务具有挑战性的问题有待解决。即事件
‑
产品对的上下文信息有限，无法捕捉事件和产品之间的复杂关系。
[0003]此前所在消费意图分析领域的方法，如文献(Xinyu Fu,Jiani Zhang,Ziqiao Meng,and Irwin King.2020.MAGNN:Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding.In WWW 2020:The Web Conference.2331
–
2341.)是将节点嵌入到保留网络语义和结构信息的稠密向量中。为了处理多种类型的节点和关系，元路径被广泛用于将原始异构网络转换为多个同构网络，进而进行特征聚合，即节点从每个同构网络的拓扑邻居中聚合特征信息。这样，特征信息在网络拓扑上传播以生成节点嵌入，从而有利于下游任务。然而，现有的异构图神经网络的工作大多集中在保持“接近”(proximity)的概念，而不是局部拓扑结构的概念。在这里，“接近”是一种节点级特征，这意味着两个节点在图中空间的距离较近。而局部拓扑结构是一种立足于全局图结构上的结构特征。
[0004]近几年来，大量此任务的工作集中在神经网络的图表，如文献(PetarGuillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Li
ò
,and Yoshua Bengio.2018.Graph Attention Networks.In ICLR 2018:Interna tional Conference on Learning Representations 2018.以及Tom Young,Devamanyu Hazarika,Soujanya Poria,and Erik Cambria.2017.Recent Trends in Deep Learning Based Natural Language Processing.arXiv preprint arXiv:1708.02709(2017).)。图神经网络(GNN)的目标是将图中的每个节点h
v
嵌入到一个低维向量空间中。通过学习得到的向量可以用于许多下游任务，例如节点分类、节点聚类和链接预测。应用于此任务的GNN可分为两类：基于频谱的GNN(spectral
‑
based GNNs)和基于空间的GNN(spatial
‑
based GNNs)。
[0005]其中较早期的工作集中于基于频谱的GNN，其利用图傅里叶变换(Graph Fourier Transform)实现卷积。即利用图的拉普拉斯矩阵(Laplacian matrix)导出其频域上的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。基于频谱的GNN的主要缺点是只能执行直推学习(transductive learning)，即为图中的每个节点训练唯一嵌入，
使其无法自然地推广到看不见的节点，并且具有较差的可拓展性。
[0006]此外，相关工作提出了基于空间的GNN在图上进行归纳学习。其直接定义图域中的卷积，并通过从节点的局部邻域采样和聚合特征来获得节点嵌入。Graph
‑
SAGE(William L.Hamilton,Rex Ying,and Jure Leskovec.2017.Inductive Representation Learning on Large Graphs.In Advances in Neural Information Processing Systems.1024
–
1034.)即通过学习图的聚合函数，而不是每个节点的单个稠密向量来促进对图的未见节点的泛化。在这一想法的启发下，前人提出了许多其他基于空间的GNN变体，其中最著名的是GAT(Graph attention network)，文献(PetarGuillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Li
ò
,and Yoshua Bengio.2018.Graph Attention Networks.In ICLR 2018:International Conference on Learning Representations 2018.)将注意机制集成到聚合函数(aggregator function)中，为每个邻居节点分配相对重要性权重。
[0007]上述所有GNN都基于邻域聚合技术。然而，常见的邻域聚合只考虑节点特征，使得其只能捕获邻近相似性，但在捕获复杂邻域结构(即结构相似性)方面能力较差。最近的工作在理论上指出了传统基于聚合的GNN的这种弱点。文献(Andreas Loukas.2020.What graph neural networks cannot learn:depth vs width.In ICLR 2020:Eighth International Conference on Learning Representations.)表明，GCN应该足够具有足够的宽度和深度以检测特定的子图结构。许多其余工作也考虑了如何利用高阶局部结构模式的图，在这一系列的研究中，文献(John Boaz Lee,Ryan A.Rossi,Xiangnan Kong,Sungchul Kim,Eunyee Koh,and Anup Rao.2019.Graph Convolutional Networks with Motif
‑
based Attention.In Proceedings of the 28th ACM International Conference on Information and Knowledge Management.499
–
508.)使用indicative motifs(一种连接模式)来捕获高阶连接模式，根据加权多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于文本的消费意图分析方法，其特征在于，所述方法具体包括以下步骤：步骤一、利用基于预训练语言模型的序列标记模型构建事件消费图；步骤二、抽取事件消费图中节点的语义角度嵌入和结构角度嵌入；步骤三、将步骤二获得的语义角度嵌入和结构角度嵌入输入第一MLP进行训练，输出为同一个节点的语义角度嵌入和结构角度嵌入的融合结果，即分别输出每个节点的语义角度嵌入和结构角度嵌入的融合结果；步骤四、基于步骤三获得的融合结果，通过节点聚合获得给定事件节点e和给定产品节点p的表示形式，再将给定事件节点e的表示形式与给定产品节点p的表示形式连接，将连接结果输入第二MLP进行训练；步骤五、对于关系待预测的事件节点e
′
和产品节点p
′
，将事件节点e
′
和产品节点p
′
融入构建的事件消费图后，抽取出事件节点e
′
的语义角度嵌入和结构角度嵌入以及产品节点p
′
的语义角度嵌入和结构角度嵌入；利用训练好的第一MLP对语义角度嵌入和结构角度嵌入进行融合，得到事件节点e
′
的语义角度嵌入和结构角度嵌入的融合结果以及产品节点p
′
的语义角度嵌入和结构角度嵌入的融合结果；再通过节点聚合获得事件节点e
′
和产品节点p
′
的表示形式，将事件节点e
′
的表示形式与产品节点p
′
的表示形式连接，将连接结果输入训练好的第二MLP进行关系预测。2.根据权利要求1所述的一种基于文本的消费意图分析方法，其特征在于，所述步骤一的具体过程为：从电子商务的评论数据中标记出部分事件
‑
产品对，并利用标记出的事件
‑
产品对以及标记出的事件
‑
产品对所在的评论句子对基于预训练语言模型的序列标记模型进行训练；再利用训练好的基于预训练语言模型的序列标记模型从未标记的电子商务评论数据中提取事件
‑
产品对，将从包含噪声的评论数据中提取出的事件
‑
产品对剔除后，获得筛选后的事件
‑
产品对；通过补充事件
‑
事件关系、产品
‑
产品关系，再根据筛选所得到的事件
‑
产品关系，构建事件消费图。3.根据权利要求2所述的一种基于文本的消费意图分析方法，其特征在于，所述补充事件
‑
事件关系、产品
‑
产品关系，其具体过程为：事件
‑
事件关系的补充利用预训练语言模型分别得到每个事件的稠密表示，再根据得到的稠密表示计算两个事件的余弦相似度，若两个事件的余弦相似度大于等于设定的相似度阈值，则在两个事件之间添加一条边，否则不添加；产品
‑
产品关系的补充遵循电子商务网站的产品分类系统来判断产品是否属于同一类别，若两个产品属于同一类别，则在两个产品之间添加一条边，否则不添加。4.根据权利要求3所述的一种基于文本的消费意图分析方法，其特征在于，所述步骤二中，抽取事件消费图中节点的语义角度嵌入，其具体过程为：对于事件消费图中的任一产品节点V
p
，在事件消费图中检索到所有包含产品节点V
p
的事件
‑
产品对(V
e
，V
p
)，将检索到的每个事件
‑
产品对分别处理为([CLS]V
e
，[CLS]V
p
)，其中，V
e
为事件
‑
产品对中的事件节点，[CLS]V
e
为V
e
所在的评论句子的开头，[CLS]V
p
为V
p
所在的评论句子的开头；将([CLS]V
e
，[CLS]V
p
)输入预训练语言模型，将产品节点V
p
的[CLS]令牌的最终隐藏状态作为产品节点V
p
的表示，若检索到的事件
‑
产品对(V
e
，V
p
)的个数为K，则产品节点V
p
的语义角度嵌入为K个表示的平均；同理，获得每个产品节点的语义角度嵌入以及每个事件节点的语义角度嵌入。5.根据权利要求4所述的一种基于文本的消费意图分析方法，其特征在于，所述步骤二中，抽取事件消费图中节点的结构角度嵌入，其具体过程为：节点类型集为A＝{a1,a2}，其中，a
i
代表第i种类型的节点，i＝1,2，每种类型节点的元结构数的集合为U＝{u1,u2}，u
i
...

【专利技术属性】
技术研发人员：丁效，刘挺，秦兵，蔡碧波，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：