【技术实现步骤摘要】
本专利技术涉及计算机图学习，尤其是基于预训练语言模型和深度提示的文本图节点分类方法。
技术介绍
1、文本属性图是一种特殊的图结构，它不仅包含图的拓扑结构信息，还蕴含了节点的文本信息。节点分类作为文本属性图表示学习的关键下游任务之一，已经吸引了众多研究者的关注。
2、现有技术中，普遍利用语言模型编码文本信息，将生成的节点嵌入输入到图神经网络模型中训练，实现对节点文本信息和图拓扑结构的联合建模。尽管这些方法在某些情况下表现良好，但生成文本嵌入时忽略了相邻节点间的拓扑相关性，无法通过底层语义相互增强节点表征，并且忽略了联合训练潜在的模块间次优性能相互影响的问题。
3、因此需要一种新的文本属性图节点分类方法。
技术实现思路
1、本专利技术需要解决的技术问题是提供一种基于预训练语言模型和深度提示的文本图节点分类方法，不仅能更好地捕获图拓扑结构与文本信息，同时还规避了现有研究中潜在的负迁移风险。
2、为解决上述技术问题，本专利技术所采用的技术方案是：
3、一种基于预训练语言模型和深度提示的文本图节点分类方法，包括以下内容：
4、构建包括文本属性图序列化和深度提示调优的框架tegppt；
5、所述文本属性图序列化包括：针对文本属性图中的任意目标节点，基于其文本描述构建文本序列；采用多次随机游走策略选取目标节点的邻居节点，进一步将邻居节点文本描述作为辅助信息整合到文本序列中；利用大型语言模型对生成的文本序列进行长度优化；>
6、所述深度提示调优包括：文本序列经过预训练语言模型的词嵌入层处理，形成高维词嵌入矩阵；在此基础上，进行连续提示的随机初始化，并将词嵌入矩阵与连续提示一同输入预训练语言模型以实现参数的微调操作；定义线性分类头，引导预训练语言模型参数微调以适配文本属性图的节点分类任务；
7、采用冻结预训练语言模型参数和优化连续提示与分类头参数对框架tegppt进行优化。
8、本专利技术技术方案的进一步改进在于：所述文本属性图序列化，具体包括以下步骤：
9、步骤1.1.1，以文本属性图中的任意节点为目标，从目标节点ni的文本描述中构建初始序列
10、
11、步骤1.1.2，利用多次随机游走策略进行邻居采样，按游走经过的邻居节点频率排序，在目标节点ni的所有邻居节点集合ni中选择前k个节点，得到采样的游走路径ni′：
12、n′i＝{nj∣nj∈sort(ni,π),j＝1,2,…,k} (2)
13、其中，π＝(π1,π2,...,πn)为系统稳态向量；n为文本属性图包含节点个数；
14、基于马尔可夫链的平稳分布理论，经过多次随机游走后的系统会达到稳态分布，因此利用稳态概率πi近似描述节点ni被访问的频率；π的迭代过程描述为：
15、
16、
17、当满足∥π(k+1)-π(k)∥1<ε时，视为系统已经达到稳态分布，其中，k是迭代次数；∥·∥1表示向量的l1范数；预设阈值ε＝10-8；i表示单位向量；α＝0.85是控制随机游走的平衡参数；为转移矩阵；pi,j表示从节点ni到其邻居节点nj转移概率：
18、
19、其中，a表示文本属性图的邻接矩阵；aij＝1表示节点ni与nj之间存在边，反之则aij＝0；指示函数f(x)在x为真时取值为1，否则为0；deg(ni)是无向图中节点ni的度，相应地在有向图中，应该被出度degout(ni)所取代；
20、步骤1.1.3，将邻居节点文本描述作为辅助信息整合到文本序列中，首先对邻居节点文本序列做聚合操作，表示为：
21、
22、其中，n′i为目标节点ni的采样邻居集合；表示邻居节点nj的文本序列；∑表示聚合操作；
23、接着将聚合后的文本序列嵌入到目标节点的文本序列框架中：
24、
25、其中，φ(·)表示嵌入函数；是综合考虑拓扑结构和文本信息的节点描述；
26、步骤1.1.4，使用大型语言模型对生成的文本序列长度进行优化，以提高文本质量；
27、设lmax为预训练语言模型的最大输入序列长度，lsequence为当前序列s的长度，如果文本序列过长则需要大型语言模型进行优化缩写，反之则无需调整；优化策略表示为：
28、
29、为了保证缩写后的序列s′能最大程度保留原始文本蕴涵的语义信息，引入一种语义相似度度量方法bertscore，来指导迭代过程，进而评估和优化缩写结果。
30、本专利技术技术方案的进一步改进在于：在步骤1.1.4中，语义相似度度量方法bertscore指导迭代过程，具体包括以下内容：
31、首先利用bert模型分别生成文本序列的上下文嵌入矩阵：
32、
33、es＝[e1,e2,...,en], es′＝[e1′,e2′,...,em′] (9)
34、其中，ei和e′j分别是s和s′中第i个和第j个词的上下文嵌入；相似度矩阵m中的每个元素mij表示嵌入ei和e′j之间的余弦相似度；mij越大意味着词i和j相似度越高；mij表示为：
35、
36、接着，为了全面衡量两个文本序列之间的语义相似度，引入不同角度的匹配分数：
37、
38、
39、precision评估了缩写序列s′向原始序列s对齐匹配的准确率，表示对于s中的词i，找到s′中与之最匹配的词j；反之，recall评估的是原始序列s向缩写序列s′对齐匹配的情况；
40、最后计算两个文本序列之间的细粒度相似度分数bertscore：
41、
42、通过最大化bertscore，有效地捕捉文本序列之间的细微上下文信息和深层语义关系，确保缩写序列尽可能保留原始序列的语义内容。
43、本专利技术技术方案的进一步改进在于：所述深度提示调优，具体包括以下步骤：
44、步骤1.2.1，将构建好的文本序列s′输入到预训练语言模型的词嵌入层处理，生成高维词嵌入矩阵：
45、
46、其中，embed(·)表示嵌入函数，其中n是序列s′的长度，d是嵌入维度；
47、步骤1.2.2，初始化每层的连续提示：
48、
49、其中，d是输入连续提示的层数，l是每层中的连续提示长度；
50、步骤1.2.3，将词嵌入x和对应层的连续提示一起输入到transformer层中，连续提示可以从任意层s开始，持续d层；
51、每一层的输入传递过程表示为：
52、
53、步骤1.2.4，最后定义线性分类头来引导预训练模型参数微调，以适配文本属性图的节点分类任务；
54、在所有transfo本文档来自技高网...
【技术保护点】
1.一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，包括以下内容：
2.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，所述文本属性图序列化，具体包括以下步骤：
3.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，在步骤1.1.4中，语义相似度度量方法BERTScore指导迭代过程，具体包括以下内容：
4.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，所述深度提示调优，具体包括以下步骤：
5.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，所述采用冻结预训练语言模型参数和优化连续提示与分类头参数对框架TegPPT进行优化，具体包括以下内容：
【技术特征摘要】
1.一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，包括以下内容：
2.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，所述文本属性图序列化，具体包括以下步骤：
3.根据权利要求1所述的一种基于预训练语言模型和深度提示的文本图节点分类方法，其特征在于，在步骤1.1.4中，语义相似度度量方法bertsco...
【专利技术属性】
技术研发人员：宫继兵，杜姝颖，彭吉全，舒志敏，李林轩，臧倩，琚晶鑫，楼航宇，
申请(专利权)人：燕山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。