一种基于语言模型的习题生成方法、设备及介质技术

本申请涉及电数字数据处理领域，具体公开了一种基于语言模型的习题生成方法、设备及介质，其中方法包括：对初始通用语言模型进行修改，以得到改进通用语言模型，改进通用语言模型中，原始的预训练语言表征模型采用Post

【技术实现步骤摘要】
一种基于语言模型的习题生成方法、设备及介质


[0001]本申请涉及电数字数据处理领域，具体涉及一种基于语言模型的习题生成方法。

技术介绍

[0002]教育过程中，教师会在讲解知识点之后布置习题，以加深学生对知识点的理解和掌握，并通过习题的完成情况，确定学生对知识点的掌握程度。
[0003]传统的习题智能推荐模型，是基于相关的标签进行相似匹配而计算出的符合要求的题目，推荐模式相对机械化，并且大多不支持在推荐基础上的二次推荐，对于用户的问题与意图识别存在沟壑，智能性和用户的适应性不足，无法通过与用户的直接多次沟通与训练结合上下文深度挖掘用户真实需求。

技术实现思路

[0004]为了解决上述问题，本申请提出了一种基于语言模型的习题生成方法、设备及介质，其中方法包括：对初始通用语言模型进行修改，以得到改进通用语言模型，所述改进通用语言模型中，原始的预训练语言表征模型采用Post
‑
LN架构；采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练；通过训练后的所述改进通用语言模型，生成目标用户的第一习题；获取所述目标用户对于所述第一习题的答复结果，并根据所述答复结果以及目标用户反馈，基于目标数据集进行定向训练，并生成所述目标用户的第二习题。
[0005]在一个示例中，所述对初始通用语言模型进行修改，以得到改进通用语言模型，具体包括：采用Post
‑
LN架构，构建所述初始通用语言模型的预训练语言表征模型；在所述初始通用语言模型中的每个残差分支结尾添加层归一化；使用预设标准化方程代替所述初始通用语言模型中每层的post
‑
LN结构；使用RoPE作为所述初始通用语言模型的相对位置编码，以得到所述改进通用语言模型。
[0006]在一个示例中，采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练，具体包括：采用零冗余优化策略，在优化器状态划分阶段，根据显卡数量，将优化器状态划分为预设数量份，且每个显卡仅更新自身的部分优化器及部分参数；在优化器状态划分阶段末尾，使用all
‑
gather算法获得整个参数的更新；在梯度划分阶段，使每个显卡仅更新自身梯度对应的梯度参数；在模型参数划分阶段，在向前传播和反向传播过程中，判断是否需要其他显卡对应的参数，若需要，则通过broadcast算法从对应显卡中获取。
[0007]在一个示例中，采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练，具体包括：使用FP16半精度格式进行前向传播，并确定模型梯度；根据所述模型梯度值大小，在反向传播前，将损失值与所述模型梯度相乘，以将所述模型梯度放大；在参数更新过程中，使用32位存储优化器状态，并存储32位的模型参数拷贝；将32位的模型参数拷贝进一步回传给16位模型参数，以进行下一次的更新。
[0008]在一个示例中，通过训练后的所述改进通用语言模型，生成目标用户的第一习题，具体包括：接收来自于出题用户的习题布置要求，并采集所述出题用户的历史出题数据；所述历史出题数据至少包括习题量以及组卷习惯；根据所述习题布置要求，确定第一习题对应的目标章节以及试卷难度；在所述目标章节中，随机推荐预设数量个待选习题；根据所述习题量以及所述试卷难度，在所述预设数量个待选习题中确定第一习题组；根据所述组卷习惯，对所述第一习题组进行排序，以得到所述第一习题。
[0009]在一个示例中，根据所述答复结果以及目标用户反馈，基于目标数据集进行定向训练，具体包括：获取所述目标用户的答复结果，根据答复结果确定目标用户的错题集；根据所述错题集中的题目类型以及对应知识点，确定所述目标用户的智能讲解；根据目标用户反馈，确定所述第一习题中的争议题目；确定所述争议题目对应的争议类型，所述争议类型至少包括语义争议以及题目争议；根据所述语义争议，确定所述争议题目对应的目标数据集；对所述训练数据集进行修正，并通过修正后的目标数据集，对所述改进通用语言模型进行训练；根据所述题目争议，在数据库中修改所述目标争议题目。
[0010]在一个示例中，所述生成所述目标用户的第二习题，具体包括：根据所述错题集，确定各第一习题的平均正确率；确定所述平均正确率低于预设阈值的目标习题，获取所述目标习题对应的目标知识点、能力项以及难度等级；根据预设难度等级，以及所述目标知识点，生成第二习题。
[0011]在一个示例中，通过训练后的所述改进通用语言模型，生成目标用户的第一习题之前，所述方法还包括：获取目标教材，并根据所述目标教材的教材目录作为数据集单位；根据所述数据集单位，确定所述目标教材的知识点信息；根据所述知识点信息收集习题，以使各数据集单位下的习题数目高于预设阈值；生成各习题的习题标签，所述习题标签至少包括题干、答案、题解、知识点、难度、能力项。
[0012]本申请还提供了一种基于语言模型的习题生成设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：对初始通用语言模型进行修改，以得到改进通用语言模型，所述改进通用语言模型中，原始的预训练语言表征模型采用Post
‑
LN架构；采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练；通过训练后的所述改进通用语言模型，生成目标用户的第一习题；获取所述目标用户对于所述第一习题的答复结果，并根据所述答复结果以及目标用户反馈，基于目标数据集进行定向训练，并生成所述目标用户的第二习题。
[0013]本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：对初始通用语言模型进行修改，以得到改进通用语言模型，所述改进通用语言模型中，原始的预训练语言表征模型采用Post
‑
LN架构；采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练；通过训练后的所述改进通用语言模型，生成目标用户的第一习题；获取所述目标用户对于所述第一习题的答复结果，并根据所述答复结果以及目标用户反馈，基于目标数据集进行定向训练，并生成所述目标用户的第二习题。
[0014]通过本申请提出的方法能够带来如下有益效果：通过训练后的改进语言模型对习题进行推荐，具有更强的灵活性和泛化能力。改进语言模型可以理解自然语言中的复杂语
义结构和上下文信息，因此可以很好地应对不同领域和知识点的习题推导。
附图说明
[0015]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例中一种基于语言模型的习题生成方法的流程示意图；图2为本申请实施例中Post
‑
LN架构和Pre
‑
LN架构对比示意图；图3为本申请实施例中残差分支结束时添加层归一化后的结构示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语言模型的习题生成方法，其特征在于，包括：对初始通用语言模型进行修改，以得到改进通用语言模型，所述改进通用语言模型中，原始的预训练语言表征模型采用Post
‑
LN架构；采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练；通过训练后的所述改进通用语言模型，生成目标用户的第一习题；获取所述目标用户对于所述第一习题的答复结果，并根据所述答复结果以及目标用户反馈，基于目标数据集进行定向训练，并生成所述目标用户的第二习题。2.根据权利要求1所述的方法，其特征在于，所述对初始通用语言模型进行修改，以得到改进通用语言模型，具体包括：采用Post
‑
LN架构，构建所述初始通用语言模型的预训练语言表征模型；在所述初始通用语言模型中的每个残差分支结尾添加层归一化；使用预设标准化方程代替所述初始通用语言模型中每层的post
‑
LN结构；使用RoPE作为所述初始通用语言模型的相对位置编码，以得到所述改进通用语言模型。3.根据权利要求1所述的方法，其特征在于，采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练，具体包括：采用零冗余优化策略，在优化器状态划分阶段，根据显卡数量，将优化器状态划分为预设数量份，且每个显卡仅更新自身的部分优化器及部分参数；在优化器状态划分阶段末尾，使用all
‑
gather算法获得整个参数的更新；在梯度划分阶段，使每个显卡仅更新自身梯度对应的梯度参数；在模型参数划分阶段，在向前传播和反向传播过程中，判断是否需要其他显卡对应的参数，若需要，则通过broadcast算法从对应显卡中获取。4.根据权利要求1所述的方法，其特征在于，采用DeepSpeed框架的优化策略，对所述改进通用语言模型进行训练，具体包括：使用FP16半精度格式进行前向传播，并确定模型梯度；根据所述模型梯度值大小，在反向传播前，将损失值与所述模型梯度相乘，以将所述模型梯度放大；在参数更新过程中，使用32位存储优化器状态，并存储32位的模型参数拷贝；将32位的模型参数拷贝进一步回传给16位模型参数，以进行下一次的更新。5.根据权利要求1所述的方法，其特征在于，通过训练后的所述改进通用语言模型，生成目标用户的第一习题，具体包括：接收来自于出题用户的习题布置要求，并采集所述出题用户的历史出题数据；所述历史出题数据至少包括习题量以及组卷习惯；根据所述习题布置要求，确定第一习题对应的目标章节以及试卷难度；在所述目标章节中，随机推荐预设数量个待选习题；根据所述习题量以及所述试卷难度，在所述预设数量个待选习题中确定第一习题组；根据所述组卷习惯，对所述第一习题组进行排序，以得到所述第一习题。6.根据权利要求1所述的方法，其特征在于...

【专利技术属性】
技术研发人员：唐学武，刘吉源，邵雅清，李海洋，
申请(专利权)人：北京十六进制科技有限公司，
类型：发明
国别省市：