基于多模态超图的任务处理方法、装置、介质及程序产品制造方法及图纸

本公开提供了一种基于多模态超图的任务处理方法，其包括：获取所述多模态超图的顶点集的原始顶点特征，其中，所述多模态超图包括m个模态，m为大于1的整数，每一个模态包括至少一条超边，每一条超边描述了所述顶点集中至少两个顶点之间的连接；基于所述顶点集的原始顶点特征，利用多模态超图神经网络模型生成所述顶点集的顶点嵌入特征，所述多模态超图神经网络模型基于所述m个模态中每一个模态的模态概率转移矩阵和所述多模态超图的多模态融合概率转移矩阵来生成所述顶点嵌入特征；基于所述顶点集的顶点嵌入特征，进行目标任务的处理。本公开还涉及执行该任务处理方法的装置、设备、介质以及程序产品。介质以及程序产品。介质以及程序产品。

【技术实现步骤摘要】
基于多模态超图的任务处理方法、装置、介质及程序产品


[0001]本公开涉及计算机
，具体地，涉及一种基于多模态超图的任务处理方法，以及还涉及执行该任务处理方法的装置、设备、介质以及程序产品。

技术介绍

[0002]图是现实世界中用来描述离散数据的拓扑，其要素包括顶点、边和边的权重。现实中很多问题可以利用图或者超图结构来组织数据，如引文网络、社交网络、蛋白质分子结构网络等。随着图神经网络的发展，图结构数据的表示能力和信息汇集能力也得到快速发展。在普通图中，一条边可以连接两个顶点，并表示两个顶点间的某种关联，普通图中每条边的度为2。超图是一种表示能力更强的拓扑结构，超图中的每一条超边可以包含多个顶点。
[0003]图神经网络(Graph Neural Network，缩写为GNN)是一种直接作用于图结构上的神经网络，主要针对图结构的数据进行处理。相关技术中，将超图学习引入深度学习领域，利用超图拉普拉斯矩阵(其是超图的一种矩阵表示)导出一个超图神经网络(Hypergraph NeuralNetwork，缩写为HGNN)模型，该超图神经网络模型中的卷积层可以利用超图中“顶点
‑
超边
‑
顶点”的信息流动，来达成超图中顶点的信息汇集，以衔接下游的分类、聚类或回归任务等。
[0004]超图可以包括多种不同的模态信息，这样的超图可以被称为多模态超图。为了实现对这些不同模态的信息进行处理，相关技术中将不同模态对应的关联矩阵拼接在一起，构成一个多模态融合的关联矩阵，用于多模态信息的处理。然而，相关技术中的这种方法存在对不同模态的信息可能无法进行区分的问题。

技术实现思路

[0005]根据本公开的第一个方面，提供了一种基于多模态超图的任务处理方法，其包括：获取所述多模态超图的顶点集的原始顶点特征，其中，所述多模态超图包括m个模态，m为大于1的整数，每一个模态包括至少一条超边，所述超边描述了所述顶点集中至少两个顶点之间的连接；基于所述顶点集的原始顶点特征，利用多模态超图神经网络模型生成所述顶点集的顶点嵌入特征，所述多模态超图神经网络模型基于所述m个模态中每一个模态的模态概率转移矩阵和所述多模态超图的多模态融合概率转移矩阵来生成所述顶点嵌入特征，其中，所述模态概率转移矩阵基于对应的模态包括的超边对所述原始顶点特征进行更新，生成模态顶点特征，所述多模态融合概率转移矩阵基于所有模态包括的全部超边对所有模态的模态顶点特征的拼接结果进行更新，生成所述顶点嵌入特征；基于所述顶点集的顶点嵌入特征，进行目标任务的处理。
[0006]根据本公开的一些示例性实施例，所述多模态超图神经网络模型包括多个卷积层，所述基于所述顶点集的原始顶点特征，利用多模态超图神经网络模型生成所述顶点集的顶点嵌入特征包括：响应于接收到第k个卷积层的输入顶点特征，基于所述输入顶点特征和所述m个模态中每一个模态的模态概率转移矩阵，生成与所述m个模态一一对应的m个模
态顶点特征；对所述m个模态顶点特征进行拼接，生成多模态融合顶点特征；基于所述多模态融合顶点特征和所述多模态超图的多模态融合概率转移矩阵，生成所述第k个卷积层的输出顶点特征；将所述第k个卷积层的输出顶点特征作为第k+1个卷积层的输入顶点特征输入所述第k+1个卷积层；其中，k为大于0的整数，所述顶点集的原始顶点特征作为第1个卷积层的输入顶点特征输入第1个卷积层，并且最后一个卷积层的输出顶点特征为所述顶点集的顶点嵌入特征。
[0007]根据本公开的一些示例性实施例，所述响应于接收到第k个卷积层的输入顶点特征，基于所述输入顶点特征和所述m个模态中每一个模态的模态概率转移矩阵，生成与所述m个模态一一对应的m个模态顶点特征包括：基于第i个模态的顶点
‑
超边关联矩阵、第i个模态的点度对角矩阵、第i个模态的边权对角矩阵、第i个模态的边度对角矩阵、以及作用于所述第i个模态的边度对角矩阵的实值函数，生成第i个模态的模态概率转移矩阵；基于所述第i个模态的模态概率转移矩阵、所述第k个卷积层的输入顶点特征、第k个卷积层的第i个模态的卷积核、以及激活函数，生成对应于第i个模态的模态顶点特征；其中，i为整数且1≤i≤m。
[0008]根据本公开的一些示例性实施例，上述利用了顶点
‑
超边关联矩阵的方法中，所述作用于所述第i个模态的边度对角矩阵的实值函数是幂函数。
[0009]根据本公开的一些示例性实施例，所述基于所述多模态融合顶点特征和所述多模态超图的多模态融合概率转移矩阵，生成所述第k个卷积层的输出顶点特征包括：基于第1个模态的顶点
‑
超边关联矩阵至第m个模态的顶点
‑
超边关联矩阵进行拼接得到的多模态顶点
‑
超边关联矩阵、多模态点度对角矩阵、多模态边度对角矩阵、第1个模态的边权对角矩阵至第m个模态的边权对角矩阵进行拼接得到的多模态边权对角矩阵、作用于所述多模态边度对角矩阵的实值函数，生成所述多模态融合概率转移矩阵；基于所述多模态融合概率转移矩阵、第1个模态顶点特征至第m个模态顶点特征进行拼接得到的所述多模态融合顶点特征、第k层多模态卷积核、以及激活函数，生成所述第k个卷积层的输出顶点特征。
[0010]根据本公开的一些示例性实施例，上述利用了顶点
‑
超边关联矩阵的方法中，所述作用于所述多模态边度对角矩阵的实值函数是幂函数。
[0011]根据本公开的一些示例性实施例，所述响应于接收到第k个卷积层的输入顶点特征，基于所述输入顶点特征和所述m个模态中每一个模态的模态概率转移矩阵，生成m个模态顶点特征包括：基于第i个模态的顶点
‑
超边权重矩阵、第i个模态的点度对角矩阵、第i个模态的边权对角矩阵、第i个模态的边度对角矩阵、以及作用于所述第i个模态的边度对角矩阵的实值函数，生成第i个模态的模态概率转移矩阵；基于所述第i个模态的模态概率转移矩阵、所述第k个卷积层的输入顶点特征、第k个卷积层的第i个模态的卷积核、以及激活函数，生成第i个模态顶点特征；其中，i为整数且1≤i≤m。
[0012]根据本公开的一些示例性实施例，上述利用了顶点
‑
超边权重矩阵的方法中，所述作用于所述第i个模态的边度对角矩阵的实值函数是幂函数。
[0013]根据本公开的一些示例性实施例，所述基于所述多模态融合顶点特征和所述多模态超图的多模态融合概率转移矩阵，生成所述第k个卷积层的输出顶点特征包括：基于第1个模态的顶点
‑
超边权重矩阵至第m个模态的顶点
‑
超边权重矩阵进行拼接得到的多模态顶点
‑
超边权重矩阵、多模态点度对角矩阵、多模态边度对角矩阵、第1个模态的边权对角矩阵
至第m个模态的边权对角矩阵进行拼接得到的多模态边权对角矩阵、作用于所述多模态边度对角矩阵的实值函数，生成所述多模态融合概率转移矩阵；基于所述多模态融合概率转移矩阵、第1个模态顶点特征至第m个模态顶点特征进行拼接得到的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态超图的任务处理方法，其包括：获取所述多模态超图的顶点集的原始顶点特征，其中，所述多模态超图包括m个模态，m为大于1的整数，每一个模态包括至少一条超边，每一条超边描述了所述顶点集中至少两个顶点之间的连接；基于所述顶点集的原始顶点特征，利用多模态超图神经网络模型生成所述顶点集的顶点嵌入特征，所述多模态超图神经网络模型基于所述m个模态中每一个模态的模态概率转移矩阵和所述多模态超图的多模态融合概率转移矩阵来生成所述顶点嵌入特征，其中，所述模态概率转移矩阵基于对应的模态包括的超边对所述原始顶点特征进行更新，生成模态顶点特征，所述多模态融合概率转移矩阵基于所有模态包括的全部超边对所有模态的模态顶点特征的拼接结果进行更新，生成所述顶点嵌入特征；基于所述顶点集的顶点嵌入特征，进行目标任务的处理。2.根据权利要求1所述的任务处理方法，其中，所述多模态超图神经网络模型包括多个卷积层，所述基于所述顶点集的原始顶点特征，利用多模态超图神经网络模型生成所述顶点集的顶点嵌入特征包括：响应于接收到第k个卷积层的输入顶点特征，基于所述输入顶点特征和所述m个模态中每一个模态的模态概率转移矩阵，生成与所述m个模态一一对应的m个模态顶点特征；对所述m个模态顶点特征进行拼接，生成多模态融合顶点特征；基于所述多模态融合顶点特征和所述多模态超图的多模态融合概率转移矩阵，生成所述第k个卷积层的输出顶点特征；将所述第k个卷积层的输出顶点特征作为第k+1个卷积层的输入顶点特征输入所述第k+1个卷积层；其中，k为大于0的整数，所述顶点集的原始顶点特征作为第1个卷积层的输入顶点特征输入第1个卷积层，并且最后一个卷积层的输出顶点特征为所述顶点集的顶点嵌入特征。3.根据权利要求2所述的任务处理方法，其中，所述响应于接收到第k个卷积层的输入顶点特征，基于所述输入顶点特征和所述m个模态中每一个模态的模态概率转移矩阵，生成与所述m个模态一一对应的m个模态顶点特征包括：基于第i个模态的顶点
‑
超边关联矩阵、第i个模态的点度对角矩阵、第i个模态的边权对角矩阵、第i个模态的边度对角矩阵、以及作用于所述第i个模态的边度对角矩阵的实值函数，生成第i个模态的模态概率转移矩阵；基于所述第i个模态的模态概率转移矩阵、所述第k个卷积层的输入顶点特征、第k个卷积层的第i个模态的卷积核、以及激活函数，生成对应于第i个模态的模态顶点特征；其中，i为整数且1≤i≤m。4.根据权利要求3所述的任务处理方法，其中，所述作用于所述第i个模态的边度对角矩阵的实值函数是幂函数。5.根据权利要求3所述的任务处理方法，其中，所述基于所述多模态融合顶点特征和所述多模态超图的多模态融合概率转移矩阵，生成所述第k个卷积层的输出顶点特征包括：基于第1个模态的顶点
‑
超边关联矩阵至第m个模态的顶点
‑
超边关联矩阵进行拼接得到的多模态顶点
‑
超边关联矩阵、多模态点度对角矩阵、多模态边度对角矩阵、第1个模态的边权对角矩阵至第m个模态的边权对角矩阵进行拼接得到的多模态边权对角矩阵、作用于
所述多模态边度对角矩阵的实值函数，生成所述多模态融合概率转移矩阵；基于所述多模态融合概率转移矩阵、第1个模态顶点特征至第m个模态顶点特征进行拼接得到的所述多模态融合顶点特征、第k层多模态卷积核、以及激活函数，生成所述第k个卷积层的输出顶点特征。6.根据...

【专利技术属性】
技术研发人员：张吉应，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：