【技术实现步骤摘要】
本申请涉及知识点分类领域，特别是涉及一种多模态融合的数学试题多知识点分类方法。
技术介绍
1、当前，利用人工智能技术深入理解多元化的在线学习资源成为智能教育中的一个重点研究课题。数学试题作为大量学习资源中最为基础的数据单元之一，是评估数学教学效果的关键因素。由于在线的数学试题数据存在语义与结构复杂的特性，传统的nlp分类方法变得不再适用。
2、数学试题具备独特的概念性和逻辑性，不仅在文本模态上包含大量的专业术语和数学符号，在图像模态上更展现出直观的数量、几何等数学语义，这两种信息均为理解数学概念和知识点提供了重要的线索。因此，在数学试题多知识点分类的研究中，数学文本和图像信息的融合是理解数学试题概念性和逻辑性的关键。数学试题中的逻辑结构和符号系统，以及其与知识点标签的紧密关联，都是其他学科所不具备的。当前，大量的研究忽略了包含数学图像的试题语义信息提取，而这些图像信息对于理解试题内容同样至关重要。因此，若仅将数学试题数据分类视为多标签文本分类任务，其分类结果在有效性上仍有提升的空间。除了数学试题在语义提取方面的不足，知识点的层次性也是不可忽视的因素。试题通常是根据教材内容编制的，而教材内容则按照章节等层次组织，因此知识点也呈现出从初级到高级的明确层次结构，按层级进行细化之后，知识点的数量也越来越丰富。随着层次的提升，知识点数量的增加对分类算法的性能提出了更高的要求，也带来了新的挑战。
技术实现思路
1、本申请的目的是提供一种多模态融合的数学试题多知识点分类方法，有效融合
2、为实现上述目的，本申请提供了如下方案：
3、本申请提供了一种多模态融合的数学试题多知识点分类方法，包括：
4、提取数学试题的公式特征；
5、提取数学试题的文本特征；
6、提取数学试题的图像特征；
7、获取所述数学试题的文本特征引导的图像特征表示；
8、获取所述数学试题的图像特征引导的文本特征表示；
9、基于多模态门控机制融合所述数学试题的文本特征引导的图像特征表示和数学试题的图像特征引导的文本特征表示，得到融合后的特征；
10、对所述融合后的特征进行过滤，得到过滤后的特征；
11、基于所述过滤后的特征，得到知识点分类结果。
12、可选地，所述提取数学试题的公式特征具体包括以下步骤：
13、将数学公式转换为符号外观树和操作符树；所述符号外观树表示数学公式的布局结构，所述操作符树表示数学公式的运算关系；
14、深度优先遍历所述符号外观树和操作符树，生成元组(n1，n2，e，erp)；其中，n1表示祖先节点、n2表示子孙节点，e表示从n1到n2的边序列，frp表示完整的相对祖先节点的路径；
15、将所述元组输入至训练好的fasttext模型中，得到公式向量。
16、可选地，所述提取数学试题的文本特征具体包括以下步骤：
17、对数学试题文本进行分词，得到分词后的序列；
18、将分词后的序列输入至训练好的roberta模型中，得到数学试题文本的词向量；
19、将所述公式向量和词向量输入至sa-tcnn模块，生成试题文本特征图；
20、将所述试题文本特征图进行拼接，得到试题文本特征向量表示。
21、可选地，将所述试题文本特征图进行拼接，得到试题文本特征向量表示具体采用以下公式：
22、
23、其中，表示不同卷积核窗口对应的试题文本特征向量。
24、可选地，所述提取数学试题的图像特征具体采用以下公式：
25、
26、
27、其中，vi表示图像特征向量，wi表示线性层变换的权重矩阵，表示图像向量输入，bi表示偏置向量。
28、可选地，所述获取所述数学试题的文本特征引导的图像特征表示具体采用以下公式：
29、
30、其中，zj表示第j个试题样本的输出，表示权重矩阵，表示原始文本特征，表示偏置向量，表示向量拼接，表示权重矩阵，vi表示文本特征引导下的图像特征向量，αj为注意力分布，表示每个图像特征vi对应于文本特征的重要程度，表示zj的权重矩阵，表示偏置向量，为文本特征引导下的图像特征表示，αj,i表示第j个试题图像的第i个注意力分布系数。
31、可选地，所述获取所述数学试题的图像特征引导的文本特征表示具体采用以下公式：
32、
33、其中，zj′表示第j个试题样本的输出，表示权重矩阵，表示偏置向量，wt表示权重矩阵，ht表示试题文本特征向量，βj表示注意力分布，表示权重矩阵，表示偏置向量，表示图像特征引导下的文本特征向量输出，βj,k表示第j个试题文本的第k个注意力分布系数，表示权重矩阵作用后的试题文本特征向量。
34、可选地，基于多模态门控机制融合所述数学试题的文本特征引导的图像特征表示和数学试题的图像特征引导的文本特征表示，得到融合后的特征，具体采用以下公式：
35、
36、其中，表示文本特征和图像特征，表示对文本特征进行线性变换的权重矩阵，表示偏置向量，表示线性变换后的图像特征，表示对图像特征进行线性变换的权重矩阵，表示文本特征向量输入，表示偏置向量，gj表示门控信号，σ表示激活函数，wgj表示权重矩阵，表示线性变换后的文本特征，mj表示融合后的特征。
37、可选地，对所述融合后的特征进行过滤，得到过滤后的特征具体采用以下公式：
38、
39、其中，sj表示门控信号，表示权重矩阵，表示权重矩阵，表示偏置向量，rj表示过滤后的多模态特征，表示权重矩阵，表示偏置向量，表示过滤后的特征，表示线性变换得到融合特征的权重矩阵。
40、可选地，基于所述过滤后的特征，得到知识点分类结果具体采用以下公式：
41、
42、其中，是预测知识点标签的最终结果，λ是两种预测标签方式的混合分布比例因子，表示knn输出的预测标签，表示全连接层输出的预测标签。
43、根据本申请提供的具体实施例，本申请公开了以下技术效果：
44、本申请提供了一种多模态融合的数学试题多知识点分类方法，首先，有效融合数学试题局部信息和上下文逻辑，为带有公式的文本进行向量表示，从而更准确地捕捉数学试题所考查的知识点；其次，考虑数学试题中图像与文本及知识点存在内在关联，综合提取并融合文本与图像特征，增强了模型的多模态信息处理能力；最后，利用样本间及知识点标签间的相似性来优化多标签分类性能，并在不同层级的知识点分类问题中，设计更加精准的模型和选择策略，有效提升了数学试题分类的准确性和普适性，从而为智能教育领域的智能组卷、个性化试题推荐等任务提供有效的技术解决方案。
本文档来自技高网...【技术保护点】
1.一种多模态融合的数学试题多知识点分类方法，其特征在于，所述多模态融合的数学试题多知识点分类方法包括：
2.根据权利要求1所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的公式特征具体包括以下步骤：
3.根据权利要求2所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的文本特征具体包括以下步骤：
4.根据权利要求3所述的多模态融合的数学试题多知识点分类方法，其特征在于，将所述试题文本特征图进行拼接，得到试题文本特征向量表示具体采用以下公式：
5.根据权利要求1所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的图像特征具体采用以下公式：
6.根据权利要求5所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述获取所述数学试题的文本特征引导的图像特征表示具体采用以下公式：
7.根据权利要求6所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述获取所述数学试题的图像特征引导的文本特征表示具体采用以下公式：
8.根据权利
9.根据权利要求8所述的多模态融合的数学试题多知识点分类方法，其特征在于，对所述融合后的特征进行过滤，得到过滤后的特征具体采用以下公式：
10.根据权利要求1所述的多模态融合的数学试题多知识点分类方法，其特征在于，基于所述过滤后的特征，得到知识点分类结果具体采用以下公式：
...【技术特征摘要】
1.一种多模态融合的数学试题多知识点分类方法，其特征在于，所述多模态融合的数学试题多知识点分类方法包括：
2.根据权利要求1所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的公式特征具体包括以下步骤：
3.根据权利要求2所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的文本特征具体包括以下步骤：
4.根据权利要求3所述的多模态融合的数学试题多知识点分类方法，其特征在于，将所述试题文本特征图进行拼接，得到试题文本特征向量表示具体采用以下公式：
5.根据权利要求1所述的多模态融合的数学试题多知识点分类方法，其特征在于，所述提取数学试题的图像特征具体采用以下公式：
6.根据权利要求5所述的多模态融合的数学试题多知识点分类方法，其特征在于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。