【技术实现步骤摘要】
本专利技术涉及计算机应用，尤其是涉及一种基于特征分类器的思维链推理数学问题求解方法及系统。
技术介绍
1、近年来，深度学习的人工智能技术主要经历了如下的研究范式转变：从早期的“标注数据监督学习”的任务特定模型，到“无标注数据预训练+标注数据微调”的预训练模型，再到如今的“大规模无标注数据预训练+指令微调+人类对齐”的大模型，人工智能技术正逐步进入大模型时代。与此同时，随着模型参数规模和预训练数据规模的不断增加并且达到千亿量级，大型语言模涌现出了强大的上下文学习能力，即从模型输入上下文的示例中学习，进而能够执行一系列复杂任务，成为帮助人类处理一系列自动化复杂任务的强大工具。作为上下文学习的具体应用，思维链技术通过让大语言模型逐步参与将一个复杂问题分解为一步一步的子问题并依次进行求解，完成从输入到思维链再到输出的映射，能够显著提升大模型在复杂推理任务场景下的性能。
2、数学推理对人工智能至关重要，推动了自主解决数学问题的持续探索。这一过程要求增强模型的推理能力，深入研究文本理解、图像识别、表格分析、符号运算、逻辑操作以及对世界知识的深入掌握。全面提升大语言模型在各类数学领域的理解能力，不仅能够体现技术实力，也是迈向通用人工智能的重要一步。现有的研究可以证明，大语言模型是帮助解决数学问题的有效工具，其语言能力促使我们探索如何利用它们进行数学推理，揭示了语言与逻辑之间协同作用的新见解。
3、如公开号为cn116595159a的中国专利文献公开了一种数学题解答模型训练方法及装置，先通过冻结参数的预训练语言模型对数学
4、公开号为cn118113444a的中国专利文献公开了一种任务处理方法、装置及电子设备和存储介质。该方法通过预训练语言模型，根据目标任务的输入内容和输出描述，对目标任务进行步骤分解，从而生成对应的思维树。思维树的节点表示步骤分解得到的各个步骤，使模型具备在多条推理链间进行搜索的能力。基于预设的搜索算法，在思维树中寻找执行目标任务的最佳步骤路径；然后，基于该最佳步骤路径，根据输入内容执行目标任务，并输出其执行结果。
5、然而，目前预训练语言模型思维链推理相关的后续工作包括自一致性以及思维树等提升复杂数学问题推理的方法关注的均为是序列级别的推理路径，对于推理结果的准确性的提升作用有限，受到数学问题类型的约束。此外，自一致性会有可能生成不正确或者无意义的推理路径，思维树的推理链搜索方法相对于采样也需要更多的计算资源，类似工作均受到计算成本和性能的限制。
技术实现思路
1、本专利技术提供了一种基于特征分类器的思维链推理数学问题求解方法及系统，可以提得到质量和准确性较高的问题求解过程和答案。
2、一种基于特征分类器的思维链推理数学问题求解方法，包括以下步骤：
3、(1)获取数学问题集q＝{q1,q2…qn}，对于每个元素qi，使用思维链提示生成方法找到对应的两个示例和使得得到正确答案，得到错误答案，组成新集合q′＝{q1′,q′2…q′n}，其中
4、(2)基于组成的新集合q′，使用思维链提示方法输入预训练语言模型，构建单词级别的推理路径生成树，每个节点ni保存平均池化以及差值操作后的注意力权重矩阵ai；
5、(3)遍历步骤(2)中生成的所有推理路径生成树，筛选符合要求的节点构建特征分类器训练集；以节点的注意力权重矩阵ai作为特征，推理路径结果为标签，构建训练数据样本对集合d；
6、(4)根据步骤(3)生成的训练集，使用支持向量机算法训练特征分类器c；
7、(5)预训练语言模型推理阶段，针对待解答的目标数学题q，在数据集中随机选取两个示例da与db下同时进行推理，推理路径相同则继续预测生成直至结束，若推理路径不同则使步骤(4)训练好的特征分类器c选择正确概率更高的单词继续推理；最终得到完整推理过程，提取相应答案。
8、本专利技术首先基于数学问题数据集，选取部分问题使用思维链方法构造单词颗粒度级别推理路径生成树，然后筛选训练样本数据对训练特征选择器。预训练预言模型推理时，使用思维链提示方法处理待解答的目标数学题，在推理时通过特征分类器干预推理路径的选择生成，从而得到质量和准确性较高的问题求解过程和答案。
9、步骤(1)中，使用思维链提示生成方法找到对应的两个示例和具体过程为：
10、使用pθ表示具有参数θ的预训练大语言模型所拟合的概率分布，用
11、表示nd个思维链提示，其中，di＝(qi,ri,ai)为第i个示例，qi,ri,ai分别表示问题、推理步骤和答案；如果用q表示待推理问题，那么少样本思维链fs-cot被定义为：
12、
13、式中，y＝{r,a}为生成的推理步骤r和推理结果a；仅考虑nd值为1的情况，针对每个问题qi，遍历数学问题集找到对应的示例和使得概率最大的情况下得到的答案正确，与此同时概率最大的情况下得到的答案错误，如未找到对应的示例则排除该问题；最终，组合问题以及对应的两个示例得到新的集合q′＝{q1′,q′2…q′m},m≤n其中
14、步骤(2)的具体过程为：
15、对于新集合q′内的所有元素，对于通过拼接得到预训练语言模型的输入文本冻结模型的所有参数，将其作为预训练语言模型的输入进行正向推理；
16、推理过程中，qi′对应生成推理路径树gi，每个节点nj包含三类属性(f(aj,l),xj,rj)，其中xj表示当前节点的文本，rj表示的是经过节点nj的所有推理路径的正确率，aj表示预测生成xj时模型的注意力权重矩阵；由于预训练语言模型使用的是多头掩码自注意力机制，其输入模型的序列长度不同，使用f(·)函数对多头注意力权重矩阵进行维度变换和处理；
17、构建推理路径树的过程如下：首先构造一个空节点nroot，作为推理路径树的根节点，标注为非叶子结点；在构建树时，在树的各条路径的末端节点中，找到其中一个的非叶子节点，设该节点为ni；从根节点nroot到节点ni的路径都可以表示一条推理路径然后确定节点ni的子节点情况；具体而言，将与分别输入预训练语言模型，当输入前i个文本序列时，语言模型根据以下概率进行预测：
18、
19、xi+1存在以下两种情况：
20、第一种：对于两个prompt本轮预测生成的文本相同，即那么节点ni将新增一个子节点ni+1，文本属性设置为如果是句子终止符，则标记该子节点为叶子节点；
21、第二种：对于两个prompt本轮预测生成的文本不同，即那么为节点ni分别插入左右两个子节点文本属性分别设置为以及如果是句子终止符，则标记子节点为叶子节点；如果是句子终止符，则标记子节点为叶子节点；...
【技术保护点】
1.一种基于特征分类器的思维链推理数学问题求解方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(1)中，使用思维链提示生成方法找到对应的两个示例和具体过程为：
3.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(2)的具体过程为：
4.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(3)中，筛选符合要求的节点构建特征分类器训练集，具体过程为：
5.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(4)的具体过程为：
6.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(5)中，若推理路径不同则使步骤(4)训练好的特征分类器C选择正确概率更高的单词继续推理，具体包括：
7.一种基于特征分类器的思维链推理数学问题求解系统，其特征在于，包括：
8.一种基于特征分类器的思维链推理数学问题求解系统，其特征在于
...【技术特征摘要】
1.一种基于特征分类器的思维链推理数学问题求解方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(1)中，使用思维链提示生成方法找到对应的两个示例和具体过程为：
3.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(2)的具体过程为：
4.根据权利要求1所述的基于特征分类器的思维链推理数学问题求解方法，其特征在于，步骤(3)中，筛选符合要求的节点构建特征分类器训练集，具体过程为：
5.根据权利要求1所述的基于特征分类器的思维链推理...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。