基于异构图神经网络的跨模态问题Q矩阵自动构建方法技术

本发明专利技术公开了一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，构建了一个同时包含跨模态问题和知识点的异构图，根据相似度建立问题之间与知识点之间的连接，并提出了一个用于学习此异构图节点表示的异构图神经网络，对异构图中的节点特征表示和问题节点和知识点节点间的链接预测进行学习，找出问题和知识点之间的对应关系，以此达到Q矩阵自动构建的目的。本发明专利技术通过图神经网络中的链接预测在异构图中直接寻找问题与知识点的关联，减少了计算机的运算负担。此外，将问题间的相似度信息引入到知识点的预测过程中，增加问题节点之间的联系，以此提高后续知识点预测的准确性。性。性。

【技术实现步骤摘要】
基于异构图神经网络的跨模态问题Q矩阵自动构建方法


[0001]本专利技术属于专家系统
，具体涉及一种跨模态问题Q矩阵自动构建方法。

技术介绍

[0002]认知诊断是在线教育系统的重要功能，可以通过学生的答题得分，自动评估学生在相关知识点上的掌握情况，帮助教师更好地分析出学生学习的不足与缺陷，使教师了解到教学的不足之处并加以改进，更好地实现教学与评价相结合，促进学生更有效地成长。Q矩阵由问题和知识点的关联关系构成，它是认知诊断模型进行参数估计和结果预测的一个重要依据。
[0003]现有的Q矩阵往往由专家根据问题本身人工构建而成，这需要耗费大量的人工成本，难以在大规模数据集上实现。因此，研究Q矩阵的自动构建方法，是认知诊断模型应用于大规模问题数据集的前提和基础。目前已有的Q矩阵自动构建方法通常针对仅包含文字描述的单模态问题，它们存在如下缺陷：
①
不适用于跨模态问题。在图文混合的跨模态问题中，只利用问题中的文本描述往往难以无法全面地找出问题考察的所有知识点，必须结合文本和图片信息，所以这些方法难以直接应用于跨模态问题。
②
忽视问题与问题之间的联系。相似的问题往往会考察类似的知识点，而考察相同知识点的两个问题之间往往比较相似。
③
依赖于数据量。不少方法在构建Q矩阵时基于学生的作答成绩，当学生的作答成绩数据较少时，现有的许多方法会失去其准确性。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供了一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，构建了一个同时包含跨模态问题和知识点的异构图，根据相似度建立问题之间与知识点之间的连接，并提出了一个用于学习此异构图节点表示的异构图神经网络，对异构图中的节点特征表示和问题节点和知识点节点间的链接预测进行学习，找出问题和知识点之间的对应关系，以此达到Q矩阵自动构建的目的。本专利技术通过图神经网络中的链接预测在异构图中直接寻找问题与知识点的关联，减少了计算机的运算负担。此外，将问题间的相似度信息引入到知识点的预测过程中，增加问题节点之间的联系，以此提高后续知识点预测的准确性。
[0005]本专利技术解决其技术问题所采用的技术方案包括如下步骤：
[0006]步骤1：构建异构图；
[0007]步骤1
‑
1：设置节点；
[0008]将每个跨模态问题分别对应一个跨模态问题节点，将每个知识点分别对应一个知识点节点，得到两种节点，它们分别为总数为N的跨模态问题节点和总数为M的知识点节点；
[0009]步骤1
‑
2：构建问题
‑
问题边；
[0010]使用BERT和感知哈希算法分别计算跨模态问题间的文本相似度和图片相似度，将文本相似度大于y1，且图片相似度大于y2的跨模态问题对应的节点连接起来，得到问题
‑
问
题边；
[0011]步骤1
‑
3：构建问题
‑
知识点边；
[0012]根据数据集中对跨模态问题所考察知识点的标注信息判断跨模态问题是否考察了知识点，如果已考察，则将跨模态问题对应的节点与被考察的知识点所对应的节点连接起来，得到问题
‑
知识点边；
[0013]步骤1
‑
4：构建知识点
‑
知识点边；
[0014]使用BERT计算得出知识点间的文本相似度，将文本相似度大于y1的知识点对应的节点连接起来，得到知识点
‑
知识点边；
[0015]步骤2：构建基于异构图神经网络的Q矩阵；
[0016]步骤2
‑
1：构建基于不同类型邻居的节点特征；
[0017]在步骤2得到的异构图中，通过对节点的邻居特征进行综合，得到特征矩阵Z1；
[0018]步骤2
‑
2：构建基于元路径的节点特征；
[0019]以Z1为输入，通过对异构图中的问题
‑
知识点
‑
问题元路径和知识点
‑
问题
‑
知识点元路径的特征进行综合，得到节点嵌入Z2；
[0020]步骤2
‑
3：构建基于环的节点特征；
[0021]以Z2为输入，通过对异构图中的环结构的特征进行综合，得到最终的节点嵌入Z；
[0022]步骤2
‑
4：基于节点特征的链接预测；
[0023]使用节点特征向量的点积作为边的得分，计算过程如下：
[0024]score＝h
u
·
h
v
[0025]其中score表示边的得分，h
u
、h
v
分别表示边连接的两个节点的特征向量；
[0026]使用间隔损失作为损失函数，其计算过程如下：
[0027]loss＝mean(1
‑
score
pos
+score
neg
)
[0028]其中score
pos
表示测试集中的边的得分，score
neg
表示不存在的边的得分；边的得分与两个节点之间存在边的概率成正比，得分越高，两个节点之间存在边的概率越大；当跨模态问题节点和知识点节点之间存在边时，则判定该跨模态问题考察了该知识点；
[0029]进一步地，所述文本相似度的计算方法如下：
[0030]步骤1
‑2‑
1：使用BERT为每个文本生成向量表示；
[0031]步骤1
‑2‑
2：使用余弦相似度计算每个分组中的两个文本间的相似度，具体方法如下：
[0032][0033]其中X,Y表示两个不同的文本，分别表示X和Y的向量表示，‖x‖,‖y‖分别表示的模长；最终得到的相似度值在0和1之间，得到的结果越接近1，说明它们的相似度越高；
[0034]步骤1
‑2‑
3：筛选并保留文本相似度大于y1的分组，若该分组是知识点，则将它们对应的知识点节点连接，得到知识点
‑
知识点边；若该分组是跨模态问题，则将其列入文本相似的跨模态问题列表中，等待下一步处理；
[0035]步骤1
‑2‑
4：得到M个知识点两两之间，共个分组的文本相似度；以及N个跨模态问题两两之间，共个分组的文本相似度。
[0036]进一步地，所述图片相似度的计算方法如下：
[0037]假设在N个跨模态问题中，有S个跨模态问题在文本相似的跨模态问题列表中，将S个跨模态问题两两配对，得到共个分组；将两个跨模态问题中包含的图片两两组合，然后用感知哈希算法计算得出图片间的相似度，再通过贪心算法得到两个跨模态问题间的图片相似度；
[0038]使用贪心算法获得问题间的图片相似度的具体步骤如下：
[0039]步骤1
‑2‑...

【技术保护点】

【技术特征摘要】
1.一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，其特征在于，包括以下步骤：步骤1：构建异构图；步骤1
‑
1：设置节点；将每个跨模态问题分别对应一个跨模态问题节点，将每个知识点分别对应一个知识点节点，得到两种节点，它们分别为总数为N的跨模态问题节点和总数为M的知识点节点；步骤1
‑
2：构建问题
‑
问题边；使用BERT和感知哈希算法分别计算跨模态问题间的文本相似度和图片相似度，将文本相似度大于y1，且图片相似度大于y2的跨模态问题对应的节点连接起来，得到问题
‑
问题边；步骤1
‑
3：构建问题
‑
知识点边；根据数据集中对跨模态问题所考察知识点的标注信息判断跨模态问题是否考察了知识点，如果已考察，则将跨模态问题对应的节点与被考察的知识点所对应的节点连接起来，得到问题
‑
知识点边；步骤1
‑
4：构建知识点
‑
知识点边；使用BERT计算得出知识点间的文本相似度，将文本相似度大于y1的知识点对应的节点连接起来，得到知识点
‑
知识点边；步骤2：构建基于异构图神经网络的Q矩阵；步骤2
‑
1：构建基于不同类型邻居的节点特征；在步骤2得到的异构图中，通过对节点的邻居特征进行综合，得到特征矩阵Z1；步骤2
‑
2：构建基于元路径的节点特征；以Z1为输入，通过对异构图中的问题
‑
知识点
‑
问题元路径和知识点
‑
问题
‑
知识点元路径的特征进行综合，得到节点嵌入Z2；步骤2
‑
3：构建基于环的节点特征；以Z2为输入，通过对异构图中的环结构的特征进行综合，得到最终的节点嵌入Z；步骤2
‑
4：基于节点特征的链接预测；使用节点特征向量的点积作为边的得分，计算过程如下：score＝h
u
·
h
v
其中score表示边的得分，h
u
、h
v
分别表示边连接的两个节点的特征向量；使用间隔损失作为损失函数，其计算过程如下：loss＝mean(1
‑
score
pos
+score
neg
)其中score
pos
表示测试集中的边的得分，score
neg
表示不存在的边的得分；边的得分与两个节点之间存在边的概率成正比，得分越高，两个节点之间存在边的概率越大；当跨模态问题节点和知识点节点之间存在边时，则判定该跨模态问题考察了该知识点。2.根据权利要求1所述的一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，其特征在于，所述文本相似度的计算方法如下：步骤1
‑2‑
1：使用BERT为每个文本生成向量表示；步骤1
‑2‑
2：使用余弦相似度计算每个分组中的两个文本间的相似度，具体方法如下：
其中X，Y表示两个不同的文本，分别表示X和Y的向量表示，‖x‖，‖y‖分别表示的模长；最终得到的相似度值在0和1之间，得到的结果越接近1，说明它们的相似度越高；步骤1
‑2‑
3：筛选并保留文本相似度大于y1的分组，若该分组是知识点，则将它们对应的知识点节点连接，得到知识点
‑
知识点边；若该分组是跨模态问题，则将其列入文本相似的跨模态问题列表中，等待下一步处理；步骤1
‑2‑
4：得到M个知识点两两之间，共个分组的文本相似度；以及N个跨模态问题两两之间，共个分组的文本相似度。3.根据权利要求1所述的一种基于异构图神经网络的跨模态问题Q矩阵自动构建方法，其特征在于，所述图片相似度的计算方法如下：假设在N个跨模态问题中，有S个跨模态问题在文本相似的跨模态问题列表中，将S个跨模态问题两两配对，得到共个分组；将两个跨模态问题中包含的图片两两组合，然后用感知哈希算法计算得出图片间的相似度，再通过贪心算法得到两个跨模态问题间的图片相似度；使用贪心算法获得问题间的图片相似度的具体步骤如下：步骤1
‑2‑
5：根据两个问题间的图片相似度，得到两个...

【专利技术属性】
技术研发人员：宋凌云，刘至臻，尚学群，张颖，李战怀，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：