【技术实现步骤摘要】
本申请涉及大模型领域，更具体的说，是涉及一种基于circuit和embedding的大模型推理过程可解释性方法、装置及相关设备。
技术介绍
1、大模型在自然语言处理领域取得了显著的进展，但其内部运作机制的不透明性，即所谓的“黑盒”特性，一直是其广泛应用的一大障碍。难以理解大模型是如何得出特定结论或生成特定文本的，这直接影响了大模型的可解释性，尤其在涉及关键决策的场景中，例如医疗诊断、法律咨询等。这种缺乏透明度也使得大模型调试和改进变得更加困难，难以定位模型错误或偏差的根源，从而阻碍了模型性能的进一步提升。
2、现有的可解释性方法主要关注大模型的整体行为，例如输入输出之间的关系，或输入特征的重要性，忽略了大模型的复杂交互，未能充分捕捉到模型在处理信息时的变化和深层次逻辑，仅仅停留在表面现象的描述，无法深入模型的“黑盒”内部去探究其运作的本质。因此，迫切需要一种能够有效地解释模型的推理过程的方法，以增强大模型的可解释性，促进模型的改进和发展。
技术实现思路
1、鉴于上述问题，提出了本申请以便提供一种基于circuit和embedding的大模型推理过程可解释性方法、装置及相关设备，以提升大模型推理过程的可解释性。具体方案如下：
2、第一方面，提供了一种基于circuit和embedding的大模型推理过程可解释性方法，包括：
3、运行大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，所述中间状态为大模型在推理过程中的各隐藏层中输出
4、基于所述中间状态构建信息流向图，所述信息流向图包含节点和边，所述节点表示每一隐藏层的token的嵌入表示，所述边表示相关联的两个节点所表示的隐藏层间的计算操作；
5、通过归因算法计算所述信息流向图中的边对所述输出结果的贡献度，根据所述贡献度筛选所述信息流向图中的关键边；
6、在所述信息流向图中各节点的token的嵌入表示中，筛选所述关键边所关联的关键节点的token的嵌入表示；
7、通过提示指令prompt，以指示所述大模型对所述关键节点的token的嵌入表示进行解释，得到大模型输出的解释结果。
8、优选地，所述运行大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，包括：
9、运行添加设定代码的大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，所述设定代码用于记录大模型在推理过程中的各隐藏层中输出的令牌token的嵌入表示。
10、优选地，在所述运行添加设定代码的大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态之前，还包括：
11、拷贝大模型源码至当前项目目录；
12、在所述大模型源码中添加所述设定代码。
13、优选地，所述通过提示指令prompt，以指示所述大模型对所述关键节点的token的嵌入表示进行解释，得到大模型输出的解释结果，包括：
14、构建包含占位符的解释提示词，所述解释提示词用于指示大模型对占位符对应的token的嵌入表示进行解释；
15、将所述解释提示词送入大模型，并在大模型的浅层位置将所述解释提示词中的所述占位符替换为所述关键节点的token的嵌入表示，并得到大模型最终输出的解释结果。
16、优选地，根据所述贡献度筛选所述信息流向图中的关键边的过程，包括：
17、判断所述贡献度是否大于预设阈值，若是，则将所述贡献度对应的所述信息流向图中的边作为关键边。
18、优选地，所述通过归因算法计算所述信息流向图中的边对所述输出结果的贡献度，根据所述贡献度筛选所述信息流向图中的关键边，包括：
19、对于所述信息流向图中的每条边，计算所述边所指向的节点的token的嵌入表示与所述输出结果对应的向量表示之间的相似度；
20、基于所述相似度，计算每条边对所述输出结果的贡献度；
21、将所有边的贡献度进行归一化处理；
22、筛选所述贡献度大于预设阈值的边，将其确定为信息流向图中的关键边。
23、第二方面，提供了一种基于circuit和embedding的大模型推理过程可解释性装置，包括：
24、大模型推理单元，用于运行大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，所述中间状态为大模型在推理过程中的各隐藏层中输出的令牌token的嵌入表示；
25、流向图构建单元，用于基于所述中间状态构建信息流向图，所述信息流向图包含节点和边，所述节点表示每一隐藏层的token的嵌入表示，所述边表示相关联的两个节点所表示的隐藏层间的计算操作；
26、关键边筛选单元，用于通过归因算法计算所述信息流向图中的边对所述输出结果的贡献度，根据所述贡献度筛选所述信息流向图中的关键边；
27、关键嵌入表示筛选单元，用于在所述信息流向图中各节点的token的嵌入表示中，筛选所述关键边所关联的关键节点的token的嵌入表示；
28、解释结果生成单元，用于通过提示指令prompt，以指示所述大模型对所述关键节点的token的嵌入表示进行解释，得到大模型输出的解释结果。
29、第三方面，提供了一种电子设备，包括：存储器和处理器；
30、所述存储器，用于存储程序；
31、所述处理器，用于执行所述程序，实现本申请前述第一方面中任一项所描述的基于circuit和embedding的大模型推理过程可解释性方法的各个步骤。
32、第四方面，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现本申请前述第一方面中任一项所描述的基于circuit和embedding的大模型推理过程可解释性方法的各个步骤。
33、第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现本申请前述第一方面中任一项所描述的基于circuit和embedding的大模型推理过程可解释性方法的各个步骤。
34、借由上述技术方案，本申请通过记录大模型推理过程中的各隐藏层输出的令牌token的嵌入表示，并基于这些中间状态构建信息流向图，可以展现模型内部的计算过程。大模型的中间状态蕴含着丰富的关于大模型推理过程的信息，揭示了大模型是如何逐步处理信息并最终得出输出结果的，通过归因算法计算信息流向图中各边对输出结果的贡献度，并筛选关键边，可以有效地定位大模型在生成最终输出结果时所依赖的关键计算路径，避免了传统方法对大模型内部机制的“黑盒”式理解，从而提高了大模型的透明度。通过提示指令prompt指示大模型对关键节点的token的嵌入表示进行解释生成解释结果，将抽象的大模型中间状态转化为自然语言描述，进一步提升了可解释性的易理解性，能够更直观地理解大模型的决策过程，即模型是如何得出输出结本文档来自技高网...
【技术保护点】
1.一种基于Circuit和Embedding的大模型推理过程可解释性方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述运行大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，包括：
3.根据权利要求2所述的方法，其特征在于，在所述运行添加设定代码的大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述通过提示指令Prompt，以指示所述大模型对所述关键节点的Token的嵌入表示进行解释，得到大模型输出的解释结果，包括：
5.根据权利要求1所述的方法，其特征在于，根据所述贡献度筛选所述信息流向图中的关键边的过程，包括：
6.根据权利要求1所述的方法，其特征在于，所述通过归因算法计算所述信息流向图中的边对所述输出结果的贡献度，根据所述贡献度筛选所述信息流向图中的关键边，包括：
7.一种基于Circuit和Embedding的大模型推理过程可解释性装置，其特征在于，包括：
8.一种电子设
9.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1~6中任一项所述的基于Circuit和Embedding的大模型推理过程可解释性方法的各个步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1~6中任一项所述的基于Circuit和Embedding的大模型推理过程可解释性方法的各个步骤。
...【技术特征摘要】
1.一种基于circuit和embedding的大模型推理过程可解释性方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述运行大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态，包括：
3.根据权利要求2所述的方法，其特征在于，在所述运行添加设定代码的大模型进行推理，得到输出结果和所述大模型推理过程中各隐藏层的中间状态之前，还包括：
4.根据权利要求1所述的方法，其特征在于，所述通过提示指令prompt，以指示所述大模型对所述关键节点的token的嵌入表示进行解释，得到大模型输出的解释结果，包括：
5.根据权利要求1所述的方法，其特征在于，根据所述贡献度筛选所述信息流向图中的关键边的过程，包括：
6.根据权利要求1所述的...
【专利技术属性】
技术研发人员：鲁昊纯，张旻政，武磾，李孟真，范宸尧，曹佳倩，陈皓炜，耿浩杰，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。