一种集成动态与静态关系的工作记忆知识追踪方法技术

本发明专利技术属于知识追踪技术领域，提供一种集成动态与静态关系的工作记忆知识追踪方法，包括以下步骤：(1)试题与概念之间静态关系构建与向量表示；(2)交互之间的动态关系表示；(3)记忆过程追踪；(4)模型预测；(5)模型训练。本发明专利技术集成动态与静态关系的工作记忆知识追踪方法，能够有效提升知识追踪的预测精确度。能够有效提升知识追踪的预测精确度。能够有效提升知识追踪的预测精确度。

【技术实现步骤摘要】
一种集成动态与静态关系的工作记忆知识追踪方法


[0001]本专利技术属于知识追踪
，更具体地，涉及一种集成动态与静态关系的工作记忆知识追踪方法。

技术介绍

[0002]知识追踪技术被广泛地应用在在线教育系统之中。目前已经存在的知识追踪方法主要聚焦于以深度学习为代表的深度知识追踪方法。而由于深度学习方法大多以数据驱动，因此在深度知识追踪发展的早期存在缺乏可解释性问题，也没有很好地与教育领域的相关理论结合起来。后来有很多学者逐渐开始将学习者学习过程或者学习规律与知识追踪方法结合起来，如融入学习者遗忘过程的知识追踪方法DKT+Forgetting(Augmenting Knowledge Tracing by Considering Forgetting Behavior)，但由于底层模型依赖于DKT(Deep Knowledge Tracing)，使得其无法捕捉更长期的记忆信息，使得其在公开数据集ASSISTments预测性能AUC仅为0.73；也有模拟人类记忆机制的知识追踪方法HMN(A Hierarchical Memory Network for Knowledge Tracing)，其表现优于DKT+Forgetting，AUC为0.8273，但是其却忽略了工作记忆容量在不同的学习者之间的差异性。
[0003]此外，这些方法也没有考虑知识点和试题之间存在的复杂关系。知识追踪领域的学者经常采用图这种数据结构来表示这种来建模知识点和试题间的复杂关系。比如，PEBG(Improving Knowledge Tracing via Pre
‑
training Question Embeddings)使用一种二部图来定义知识点
‑
试题之间相关性定义为显式关系，通过共享顶点集合是否为空集来确定潜在的知识点之间的关系和试题之间的相关性。但是这些方法主要集中在知识点
‑
试题之间的关系，忽略了学生与试题的动态交互过程，其在预测性能提升并不明显，AUC仅为0.8299。由试题、概念、学生可组成多种关系，如果只考虑其中的部分关系可能会导致关系的发现不全面，影响模型性能。

技术实现思路

[0004]针对现有技术的至少一个缺陷或改进需求，本专利技术提供一种集成动态与静态关系的工作记忆知识追踪方法，能够有效提升知识追踪的预测精确度。
[0005]为实现上述目的，本专利技术采用以下技术方案。
[0006]一种集成动态与静态关系的工作记忆知识追踪方法，包括以下步骤：
[0007](1)试题与概念之间静态关系构建与向量表示；
[0008]从历史答题数据集提取每个试题和概念的对应关系，构建试题和概念的静态关系及其向量表示；
[0009](1
‑
1)构建试题与概念之间的邻接矩阵。令为所有不重复的试题集合，为所有不重复的概念集合，定义试题
‑
概念的关系图为：G＝(E,C,R)，G表示为概念和试题组成的基于关系的图，每个概念和试题组成图G中的节点，R表示概念节点和试题
节点之间存在的关系，用一个二元邻接矩阵表示，即：R＝[r
ij
]∈{0,1}
|E|
×
|C|
；
[0010]当一个试题i和一个概念j存在关系时，有r
ij
＝1，否则r
ij
＝0，为表示概念节点和试节点的邻接矩阵，N
c
＝|C|,N
e
＝|E|，令试题i的向量表示为概念j的向量表示为d
x
为向量的维度大小，则试题和概念在向量空间的相关性大小在的计算方式为：其中，σ为sigmoid函数，
⊙
表示向量内积，i∈[1,
…
,|E|],j∈[1,
…
,|C|]；
[0011](1
‑
2)构建概念与概念关系的邻接矩阵，令Ω
E
(i)＝{c
j
|r
ij
}为试题e
i
所有邻居概念节点的集合，令Ω
C
(j)＝{e
i
|r
ij
}为概念c
j
所有的邻居试题节点的集合，在已知图G的前提下，定义概念与概念之间的关系下，定义概念与概念之间的关系为概念
‑
概念关系的邻接矩阵，的计算为：
[0012][0013]概念
‑
概念在向量空间的相关性可由如下计算：概念在向量空间的相关性可由如下计算：
[0014](1
‑
3)构建试题与试题关系的邻接矩阵，当两个不同的试题具有相同的邻居节点时，这两个试题之间亦存在潜在的关系，将其定义为试题之间的关系这两个试题之间亦存在潜在的关系，将其定义为试题之间的关系为试题
‑
试题关系的邻接矩阵，则的计算由如下公式计算得到：
[0015][0016]试题
‑
试题在向量空间的相关性可由如下计算：试题在向量空间的相关性可由如下计算：
[0017](1
‑
4)试题向量表示预训练，使用交叉熵(cross
‑
entropy)损失函数将概念和试题在向量空间计算得到的关系与真实关系逼近：
[0018][0019]同理，可得概念
‑
概念关系学习的目标函数以及试题
‑
试题关系学习的目标函数：
[0020][0021][0022]在预训练过程中，联合以上损失函数优化器使用Adam。
[0023](2)交互之间的动态关系表示；
[0024]基于试题和概念的向量表示并结合答题结果信息，对交互之间的动态关系进行向
量表示；
[0025](2
‑
1)试题与概念特征融合，取试题e
i
所包含的所有概念的向量{c
j
}，j∈|C|平均值c
j
’
，则线性特征Z为：
[0026][0027][0028]a为属性信息的向量表示，包括试题的正确率，试题的类别。定义各个特征间的交叉特征P＝[p
ij
]∈R3×3，p
ij
表示每两个特征的向量进行内积计算之后得到的值，定义和分别为：
[0029][0030][0031]其中，和均是标量，n＝[1,
…
,d],d为向量,d],d为向量和的维度大小，和为神经网络参数，融合后的试题编码由以下公式计算得到：
[0032]l1＝relu(l
z
+l
p
+b1)
[0033]x＝relu(W1l1+b2)
[0034]其中，为神经网络的权重值，b1∈R
d
和为神经网络的偏置参数，relu为RELU激活函数；
[0035](2
‑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集成动态与静态关系的工作记忆知识追踪方法，其特征在于该方法包括以下步骤：(1)试题与概念之间静态关系构建与向量表示；从历史答题数据集提取每个试题和概念的对应关系，构建试题和概念的静态关系及其向量表示；(2)交互之间的动态关系表示；基于试题和概念的向量表示并结合答题结果信息，对交互之间的动态关系进行向量表示；(3)记忆过程追踪；基于卷积神经网络技术，通过模拟工作记忆模型，对学生记忆过程进行追踪；(4)模型预测；基于查询
‑
键
‑
值的缩放点积自注意力机制，将记忆知识追踪模型长期记忆作为Value的输入，将待预测的试题e
t
的向量e
t
表示作为Query和Key的输入，即数学表示为：(5)模型训练；在模型训练过程中，将目标函数设置为：在模型训练过程中，将目标函数设置为：其中，y
t
表示答题试题e
t
的答题结果，0表示答错，1表示答对；模型使用Adam优化器进行训练，学习率选择0.001，通过Adam优化器不断的训练优化损失函数的值，最终得到最优的结果。2.根据权利要求1所述的集成动态与静态关系的工作记忆知识追踪方法，其特征在于步骤(1)所述的试题与概念之间静态关系构建与向量表示具体为：(1
‑
1)构建试题与概念之间的邻接矩阵，令为所有不重复的试题集合，为所有不重复的概念集合，定义试题
‑
概念的关系图为：G＝(E，C，R)，G表示为概念和试题组成的基于关系的图，每个概念和试题组成图G中的节点，R表示概念节点和试题节点之间存在的关系，用一个二元邻接矩阵表示，即：R＝[r
ij
]∈{0，1}
|E|
×
|C|
；当一个试题i和一个概念j存在关系时，有r
ij
＝1，否则r
ij
＝0，为表示概念节点和试节点的邻接矩阵，N
c
＝|C|，N
e
＝|E|，令试题i的向量表示为概念j的向量表示为d
x
为向量的维度大小，则试题和概念在向量空间的相关性大小在的计算方式为：其中，σ为sigmoid函数，
⊙
表示向量内积，i∈[1，
…
，|E|]，j∈[1，
…
，|C|]；(1
‑
2)构建概念与概念关系的邻接矩阵，令Ω
E
(i)＝{c
j
|r
ij
}为试题e
i
所有邻居概念节点的集合，令Ω
C
(j)＝{e
i
|r
ij
}为概念c
j
所有的邻居试题节点的集合，在已知图G的前提下，
定义概念与概念之间的关系为概念
‑
概念关系的邻接矩阵，的计算为：概念
‑
概念在向量空间的相关性可由如下计算：概念在向量空间的相关性可由如下计算：(1
‑
3)构建试题与试题关系的邻接矩阵，当两个不同的试题具有相同的邻居节点时，这两个试题之间亦存在潜在的关系，将其定义为试题之间的关系为试题
‑
试题关系的邻接矩阵，则的计算由如下公式计算得到：试题
‑
试题在向量空间的相关性可由如下计算：试题在向量空间的相关性可由如下计算：(1
‑
4)试题向量表示预训练，使用交叉熵损失函数将概念和试题在向量空间计算得到的关系与真实关系逼近：同理，可得概念
‑
概念关系学习的目标函数以及...

【专利技术属性】
技术研发人员：杨宗凯，黄涛，杨华利，胡盛泽，陈彬，耿晶，张浩，刘三女牙，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：