【技术实现步骤摘要】
本专利技术属于数据处理，尤其涉及一种应用于智慧教育的提示学习知识追踪方法及系统。
技术介绍
1、知识追踪是智慧教育的一项重要应用，旨在对学生的学习行为进行建模分析，准确地跟踪学生知识状态的变化情况；以及预测学生在未来习题中的表现情况。由于深度学习的发展，其高效的训练以及更好的性能已经几乎完全代替较早的基于统计学习甚至传统机器学习的方法。到目前为止，对于深度知识追踪的研究从模型设计、建模优化、训练技巧到数据集分析，已经形成了一个完善的研究体系，然而，仍存在一些重大缺陷和漏洞，还可以进行进一步优化。
2、早期的一些深度学习方法使用简单的神经网络层来完成知任务，现有技术提供一些方法尝试通过加入教育理论、遗忘理论等考虑一些显式的行为特征，但上述这些方法面临着长序列建模的难题，其使用的rnn等简单网络难以准确跟踪学生的知识变化。在现有技术中，自注意力机制被提出，并在transformer模型中发挥了关键的作用。注意力机制可以很好地处理变长序列，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。一些方法如sakt（2019年）、akt（2020年）等利用了注意力机制的序列建模思想。然而，由于教育数据固有的稀疏性，每个学生的学习交互仅仅涉及到一小部分的练习，这导致数据稀疏性问题。因此，以上方法难以充分利用学生交互数据来获取足够的特征信息。随着大语言模型（llm）的提出，如bert（2018年）、gpt（2018年）等，预训练机制被广泛应用于各种自然语言（nlp）任务。相应地，很多新的知识追踪研究考虑引入预训练的策略。典型的
3、预训练策略的加入，的确可以有效缓解数据稀疏性导致的性能瓶颈问题，在提升预测性能方面显示出了很大的优势。然而，目前的知识追踪方案基于预训练+微调这种两阶段的训练范式，要求更多的数据投入、更复杂的模型结构和训练代价。具体来说，上游模型首先由全新的目标函数在大量数据样本上被预训练，目的是学习知识的通用表征。该阶段的目标函数与下游特定任务的不同，因此需要额外的训练代价。预训练完成后，上游模型的输出将被输送到用于完成知识追踪预测任务的下游模型，即相当于拼接两个模型。随后，整个模型在下游任务的目标函数下被重新训练，这意味着预训练模型也要随着一起被微调。如此一来，无论从训练样本、模型复杂程度还是训练代价等方面来看，都要比以往的方法需要更多投入。因此，在资源和时间有限的场景，这种部署方案往往难以满足要求。目前性能最好的知识追踪方法已经可以在现有公开的数据集上实现80%的预测准确性，完全可以满足智慧教育系统中用于个性化推荐等任务的性能要求。如果一味地追求更优的预测性能，往往需要更高的部署时间和成本。
4、为了解决传统预训练代价过高的问题，最新的大语言模型，如gpt-3（2020年）等，采用了提示学习的技巧，力求在小样本数据上媲美、甚至超越传统微调在大量训练数据上的拟合表现。提示学习是指在模型输入中加入特定的提示（如任务描述、示例等），引导模型理解并执行特定任务，而不直接修改模型的参数，从而避免重新训练整个模型。提示学习尤其适用于数据稀缺的情况，即在数据量较少的情况下，提示学习往往能够更好地利用预训练模型所学习到的“知识”，表现出更好的性能。目前，已经有很多nlp领域的方案采用提示学习来解决诸如文本分类等问题，包括pet（2021年）、kpt（2022年）、ciplud（2023年）等。
5、通过上述分析，现有技术存在的问题及缺陷为：现有技术在知识追踪上，不能有效地平衡训练样本性能和训练代价，训练成本高。同时，当需要减少训练代价而选择在小样本数据量上部署模型时，现有的基于传统微调的方案难以实现预期的预测性能。
技术实现思路
1、为克服相关技术中存在的问题，本专利技术公开实施例提供了一种应用于智慧教育的提示学习知识追踪方法及系统。
2、所述技术方案如下：应用于智慧教育的提示学习知识追踪方法，包括：
3、s1，基于bert的框架设计适用于学生练习序列语义理解的预训练任务，得到学生学习行为的丰富语义表示；
4、s2，设计提示模板，将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述；
5、s3，在预训练模型的基础上进行提示调优，执行相同的掩码任务，在小样本数据量的场景下，实现知识追踪。
6、在步骤s1前，还需进行数据构建，具体包括：
7、在预训练阶段，lkm模型以学生复合学习序列为输入；学生复合学习序列由四种数据构成：练习序列、概念序列、回答序列和练习难度序列；
8、lkm模块模型接受嵌入输入，先将序列转化为嵌入表示，对于第个元素，复合嵌入表示为练习嵌入、概念嵌入、回答嵌入、难度嵌入以及位置嵌入的向量和；概念嵌入为练习嵌入涉及到的所有概念的平均嵌入，令表示模型维度，则按照transformer中正余弦位置编码的计算公式得到，表达式为：
9、；
10、式中，为时刻对应的位置嵌入的第个元素，为当前时刻，为用于索引嵌入向量的元素，为模型维度；
11、lkm模型则输出位于[cls]和所有[mask]位的隐藏层向量，用于计算损失函数优化预训练；
12、在提示调优阶段，lkm模型预训练后，用于处理学生序列；pe模型用于对提示序列进行编码，与提示模板的嵌入表示拼接后，输入到lkm模型中的隐藏层，仅输出所有[mask]位置的隐藏层向量，完成kt预测以及提示调优。
13、在步骤s1中，基于bert的框架设计适用于学生练习序列语义理解的预训练任务，包括：
14、首先构建一个由8层transformer encoder构成的大知识模型lkm，根据学生序列的时序性特点和依赖关系，设计前后顺序预测fbo和随机词元掩码rtm两个训练任务；在多任务联合训练下，lkm充分学习到学生学习序列的语义表示，同时在粗粒度和细粒度两个层面挖掘学生练习行为的内在模式和特征；
15、随机词元掩码rtm用于结合学生前后交互行为，判断出某个时刻学生的交互行为，即细粒度特征；对于fbo任务，将每个原始学习序列从中间划分为两个段，称作segment-a和segment-b；对所有的段重新组合成新的序列，若重组后的序列能还原到某个原始序列，则标记这个新序列为正样本；否则，标记为负样本；
16、对于fbo任务，引入本文档来自技高网...
【技术保护点】
1.一种应用于智慧教育的提示学习知识追踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤S1前，还需进行数据构建，具体包括：
3.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤S1中，基于BERT的框架设计适用于学生练习序列语义理解的预训练任务，包括：
4.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，所述15%的词元，包括：
5.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，步骤（a）用于FBO任务，判断所代表的序列是正样本还是负样本，计算FBO损失，即二元交叉熵损失，表达式为：
6.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤S2中，设计提示模板，将预测问题描述为与预训练阶段的掩码训练任务相同的序列表述，包括：
7.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤S2中，设计提示模板还包括：
8
9.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤S3后，进行参数配置完成知识追踪目标，平衡预测性能和训练代价。
10.一种应用于智慧教育的提示学习知识追踪系统，其特征在于，该系统实施如权利要求1-9任意一项所述应用于智慧教育的提示学习知识追踪方法，该系统包括：
...【技术特征摘要】
1.一种应用于智慧教育的提示学习知识追踪方法，其特征在于，该方法包括：
2.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤s1前，还需进行数据构建，具体包括：
3.根据权利要求1所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，在步骤s1中，基于bert的框架设计适用于学生练习序列语义理解的预训练任务，包括：
4.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，所述15%的词元，包括：
5.根据权利要求3所述的应用于智慧教育的提示学习知识追踪方法，其特征在于，步骤（a）用于fbo任务，判断所代表的序列是正样本还是负样本，计算fbo损失，即二元交叉熵损失，表达式为：
6.根据权利要求1所述的应用于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。