一种基于图注意力网络的知识追踪方法技术

本发明专利技术提供一种基于图注意力网络的知识追踪方法，属于知识追踪技术领域。该基于图注意力网络的知识追踪方法包括如下步骤：S1：构建知识图；S2；获取模型的输入；S3：得到习题的嵌入表示；S4：获得最终的节点表示；S5：获取学生t时刻的知识状态；S6：获取对学生的预测概率；S7：构建了联合训练目标。本发明专利技术针对现有知识追踪方法的不足，研究了如何有效挖掘知识图中的深层次关系信息，构建了基于习题及其包含的知识点的知识图，创造性地将图注意力网络应用到知识追踪领域，为不同的邻接节点分配不同的权重并从深层次特征中学习到习题的嵌入表示，接着使用LSTM捕获学生在答题过程中的知识状态变化，进而精确地预测学生的未来答题表现。现。现。

【技术实现步骤摘要】
一种基于图注意力网络的知识追踪方法


[0001]本专利技术涉及知识追踪
，具体涉及一种基于图注意力网络的知识追踪方法。

技术介绍

[0002]在MOOC、Udemy、Lynda等智能教学系统和大规模在线开放课程平台中，知识追踪是一项不可或缺的任务，旨在捕获学生在答题过程中知识状态的变化并对学生的未来答题表现做出预测。知识追踪的研究对实现智能教育、完成个性化导学任务具有重要意义。具体来说，在线平台的学习者学习知识点之后，平台会有相对应的习题来检验学习者是否完全掌握该知识点。知识追踪任务将学习者在平台已回答过的习题序列放入模型中训练，模型能捕获序列中该学习者对知识的掌握程度的变化，当新的习题来到时，模型根据学习者对该习题相关知识的掌握程度来预测学习者是否能够回答正确。
[0003]现有的KT方法通常基于习题或者知识点的one
‑
hot编码格式作为输入来构建预测模型。项目反应理论(item response theory，IRT)是认知与心理学领域研究学生成绩的方法集成，也是知识追踪的一种传统方法。深度知识追踪模型(Deep Knowledge Tracing，DKT)将深度学习被引入到知识追踪领域，并在性能上相对于传统方法有较大的提升。后续的学者也基于深度学习方法提出了多种新颖的框架。DKVMN使用一个静态矩阵key存储知识点的嵌入和一个动态的矩阵value存储并更新学习者对知识点的掌握程度。卷积知识跟踪模型(CKT)考虑学生的先验知识与学习率的不同，引入卷积神经网络对学生的个性化进行建模。除此之外，近年来基于深度学习的知识追踪模型成为学者们研究的热点，例如EERNN、EKT、SKVMN等。深度模型以其强大的特征提取能力显示出强大的性能，特别是在时序任务中，对于每个简单的输入模型可以通过复杂的变化得到知识状态进行预测。但现有的知识追踪方法存在以下不足：
[0004](1)现有的知识追踪研究方法往往不能对习题及知识点中的深层次信息进行有效挖掘，即不能挖掘习题与习题、习题与知识点以及知识点与知识点之间的联系，这导致基于习题或知识点的模型在知识追踪任务中难以发挥其优势。
[0005](2)现有的知识追踪方法能够捕获学生的知识状态，但在预测学生未来答题表现过程中无法充分利用其深层次信息，导致模型无法在知识追踪任务中取得良好的效果。

技术实现思路

[0006]本专利技术的目的在于，针对上述现有技术的不足，提出一种基于图注意力网络的知识追踪方法。
[0007]本专利技术提出一种基于图注意力网络的知识追踪方法，包括如下步骤：
[0008]S1：基于习题集合知识点集合构建知识图G＝{t
i
，t
j
，b
ij
}
[0009]，其中b
ij
∈{0，1}，t
i
∈{q
j
，c
m
}，j∈|Q|，m∈|C|；
[0010]S2；基于习题集合获取模型的输入x
t
；
[0011]S3：对每个习题的one
‑
hot编码通过矩阵相乘的方式得到习题的嵌入表示
[0012]S4：使用自注意力机制作用于所有图节点，基于知识图G＝{t
i
，t
j
，b
ij
}获得节点之间的关系系数v
ij
，GAT使用多头注意力层作用于每个中心节点的权重计算，基于关系系数v
ij
获得最终的节点表示
[0013]S5：采用LSTM获取学生的知识状态随时间的变化情况，基于输入x
t
获取学生t时刻的知识状态h
t
；
[0014]S6：基于习题的嵌入表示通过难度分析层获得难度的表示向量d
t
，在IRT模型中基于学生t时刻的知识状态h
t
获取项目区分度系数α、基于输入x
t
获取学生的能力θ、基于难度的表示向量d
t
获取最终的习题难度β，基于项目区分度系数α、学生的能力θ、最终的习题难度β获取学生回答当前习题的预测概率p
t
；
[0015]S7：基于知识图使用内积的方式评估图节点之间的关系通过图节点的局部接近度来对图节点的嵌入表示进行评价，则基于图节点之间的关系和b
ij
获取第一损失函数使用学生回答当前习题的预测概率p
t
与真实的结果r
t
之间的交叉熵损失函数作为目标函数，则基于预测概率p
t
与真实的结果r
t
获取第二损失函数构建联合训练目标L＝λ1L1+λ2L2，其中λ1，λ2表示控制图中节点局部接近度损失与学生表现预测损失的权衡系数。
[0016]进一步地，将习题集合知识点集合合并得到集合其中j∈|Q|，m∈|C|，|T|＝|Q|+|C|，基于集合构建知识图G＝{t
i
，t
j
，b
ij
}，其中b
ij
∈{0，1}，当b
ij
＝1时表示节点i与节点j之间存在边，反之不存在。
[0017]进一步地，步骤S2中具体包括：在t时刻，模型的输入x
t
由两部分组成：第一部分为维度为N的习题q
t
，第二部分是r
t
；如果学生能正确回答q
t
，则r
t
＝1，否则r
t
＝0，如果学生回答正确该习题则在q
t
后面再拼接r
t，l
，如果回答错误则在q
t
后面再拼接r
t，0
，其中r
t，1
、r
t，0
都是维度为N的向量，r
t，1
表示在对应题号位置为1、其余置0，r
t，0
则为全零向量x
t
为一个维度为2N的向量。
[0018]进一步地，步骤S3中包括：习题的嵌入表示其中
均是可训练的参数，N表示嵌入的维度。
[0019]进一步地，步骤S4中包括：使用自注意力机制作用于所有图节点，然后使用共享的权重矩阵W
t
作用于邻接节点，接着使用非线性激活函数LeakyReLU获得节点之间的关系系数v
ij
，v
ij
＝LeakyReLU(W
·
[W
t
·
t
i
||W
t
·
t
j
])，其中||表示连接操作，
·
表示内积操作。
[0020]进一步地，步骤S4中还包括：对v
ij
进行归一化操作获得节点的注意力权重值其中softmax表示激活函数，N
i
表示节点t<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图注意力网络的知识追踪方法，其特征在于，包括如下步骤：S1：基于习题集合知识点集合构建知识图G＝{t
i
，t
j
，b
ij
}，其中b
ij
∈{0，1}，t
i
∈{q
j
，c
m
}，j∈|Q|，m∈|C|；S2；基于习题集合获取模型的输入x
t
；S3：对每个习题的one
‑
hot编码通过矩阵相乘的方式得到习题的嵌入表示S4：使用自注意力机制作用于所有图节点，基于知识图G＝{t
i
，t
j
，b
ij
}获得节点之间的关系系数v
ij
，GAT使用多头注意力层作用于每个中心节点的权重计算，基于关系系数v
ij
获得最终的节点表示S5：采用LSTM获取学生的知识状态随时间的变化情况，基于输入x
t
获取学生t时刻的知识状态h
t
；S6：基于习题的嵌入表示通过难度分析层获得难度的表示向量d
t
，在IRT模型中基于学生t时刻的知识状态h
t
获取项目区分度系数α、基于输入x
t
获取学生的能力θ、基于难度的表示向量d
t
获取最终的习题难度β，基于项目区分度系数α、学生的能力θ、最终的习题难度β获取学生回答当前习题的预测概率p
t
；S7：基于知识图使用内积的方式评估图节点之间的关系通过图节点的局部接近度来对图节点的嵌入表示进行评价，则基于图节点之间的关系和b
ij
获取第一损失函数使用学生回答当前习题的预测概率p
t
与真实的结果r
t
之间的交叉熵损失函数作为目标函数，则基于预测概率p
t
与真实的结果r
t
获取第二损失函数构建联合训练目标L＝λ1L1+λ2L2，其中λ1，λ2表示控制图中节点局部接近度损失与学生表现预测损失的权衡系数。2.如权利要求1所述的一种基于图注意力网络的知识追踪方法，其特征在于，步骤S1中具体包括：将习题集合知识点集合合并得到集合t
i
∈{q
j
，c
m
}，其中j∈|Q|，m∈|C|，|T|＝|Q|+|C|，基于集合构建知识图G＝{t
i
，t
j
，b
ij
}，其中b
ij
∈{0，1}，当b
ij
＝1时表示节点i与节点j之间存在边，反之不存在。3.如权利要求2所述的一种基于图注意力网络的知识追踪方法，其特征在于，步骤S2中具体包括：在t时刻，模型的输入x
t
由两部分组成：第一部分为维度为N的习题q
t
，第二部分是r
t
；如果学生能正确回答q
t
，则r
t
＝1，否则r
t
＝0，如果学生回答正确该习题则在q
t
后面再拼接r
t，1
，如果回答错误则在q
t
后面再拼接r
t，0
，其中r
t，1
、r
t，0
都是维度为N的向量，r
t，1
表示在对应题号位置为1、其余置0，r
t，0
则为全零向量x
t
为一个维度为
2N的向量。4.如权利要求2或3所述的一种基于图注意力网络的知识追踪方法，其特征在于，步骤S3中包括：习题的嵌入表示其中均是可训练的参数，N表示嵌入的维度。5.如权利要求2或3所述的一种基于图注意力网络的知识追踪方法，其特征在于，步骤S4中包括：使用自注意力机制作用于所有图节点，然后使用共享的权重矩阵W
t
作用于邻接节点，接着使用非线性激活函数LeakyReLU获得节点之间的关系系数v
ij
，v
ij
＝LeakyReLU(W
·
[W
t
·
t
i
...

【专利技术属性】
技术研发人员：张井合，李林昊，李英双，
申请(专利权)人：金华航大北斗应用技术有限公司，
类型：发明
国别省市：