【技术实现步骤摘要】
本专利技术涉及自然语言处理 ，尤其涉及一种任务性能控制方法、装置、设备、存储介质及程序产品。
技术介绍
1、随着大型语言模型技术的迅猛发展，各种自然语言处理任务展现了大型语言模型的显著能力。这些大语言模型在翻译、文本生成、问答系统等诸多领域都取得了令人瞩目的成就。
2、现有技术中，大语言模型在面对不同任务时所需的知识和能力之间存在着巨大差异，为了优化和提升模型在多任务环境下的表现，实现对同一模型在处理不同任务时的处理性能的控制显得尤为重要。
技术实现思路
1、本专利技术提供一种任务性能控制方法、装置、设备、存储介质及程序产品，用以实现对同一模型在处理不同任务时的处理性能的控制。
2、本专利技术提供一种任务性能控制方法，包括：基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词；确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化；将梯度变化最大的预设数量的位置上的神经元确定为重点神经元；通过调整所述重点神经元的激活水平控制所述目标模型的任务性能。
3、根据本专利技术提供的一种任务性能控制方法，所述基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词，包括：在前馈神经网络层的每个输入词上添加噪声，得到荧光向量；确定所述荧光向量在执行上下文学习任务中对应的正确标签的预测概率，得到扰动矩阵；根据所述扰动矩阵确定所述重点输入词。
4、根据本专利技术提供的一种任务性能控制方法，所述确定所述目标模型在执行推理过程中在所
5、根据本专利技术提供的一种任务性能控制方法，所述通过调整所述重点神经元的激活水平控制所述目标模型的任务性能，包括：通过增加激活水平来放大所述重点神经元的激活值；或者，通过降低激活水平来抑制所述重点神经元的激活值。
6、根据本专利技术提供的一种任务性能控制方法，所述上下文学习任务包括以下至少一项：问答任务、情感分析任务、问题理解任务、文本分类任务、法律文本分类任务、因果关系分类任务、情感分类任务以及文本匹配任务。
7、本专利技术还提供一种任务性能控制装置，包括如下模块：确定模块和调整模块；所述确定模块，用于基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词；确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化；将梯度变化最大的预设数量的位置上的神经元确定为重点神经元；所述调整模块，用于通过调整所述重点神经元的激活水平控制所述目标模型的任务性能。
8、根据本专利技术提供的一种任务性能控制装置，所述确定模块，用于在前馈神经网络层的每个输入词上添加噪声，得到荧光向量；确定所述荧光向量在执行上下文学习任务中对应的正确标签的预测概率，得到扰动矩阵；根据所述扰动矩阵确定所述重点输入词。
9、根据本专利技术提供的一种任务性能控制装置，所述确定模块，用于计算所述重点输入词被预测时的损失函数，并根据所述损失函数确定梯度变化。
10、根据本专利技术提供的一种任务性能控制装置，所述调整模块，用于通过增加激活水平来放大所述重点神经元的激活值；或者，通过降低激活水平来抑制所述重点神经元的激活值。
11、根据本专利技术提供的一种任务性能控制装置，所述上下文学习任务包括以下至少一项：问答任务、情感分析任务、问题理解任务、文本分类任务、法律文本分类任务、因果关系分类任务、情感分类任务以及文本匹配任务。
12、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述任务性能控制方法。
13、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述任务性能控制方法。
14、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述任务性能控制方法。
15、本专利技术提供的任务性能控制方法、装置、设备、存储介质及程序产品，可以基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词；确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化；将梯度变化最大的预设数量的位置上的神经元确定为重点神经元；通过调整所述重点神经元的激活水平控制所述目标模型的任务性能。通过该方案，由于可以将梯度变化最大的预设数量的位置上的神经元确定为重点神经元，并通过调整重点神经元的激活水平控制目标模型的任务性能，因此可以确定目标模型在处理不同任务时的重要神经元，从而实现对目标模型的任务性能的控制。
本文档来自技高网...【技术保护点】
1.一种任务性能控制方法，其特征在于，包括：
2.根据权利要求1所述的任务性能控制方法，其特征在于，所述基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词，包括：
3.根据权利要求1所述的任务性能控制方法，其特征在于，所述确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化，包括：
4.根据权利要求1所述的任务性能控制方法，其特征在于，所述通过调整所述重点神经元的激活水平控制所述目标模型的任务性能，包括：
5.根据权利要求1-4任一项所述的任务性能控制方法，其特征在于，所述上下文学习任务包括以下至少一项：问答任务、情感分析任务、问题理解任务、文本分类任务、法律文本分类任务、因果关系分类任务、情感分类任务以及文本匹配任务。
6.一种任务性能控制装置，其特征在于，包括：确定模块和调整模块；
7.根据权利要求6所述的任务性能控制装置，其特征在于，所述确定模块，用于在前馈神经网络层的每个输入词上添加噪声，得到荧光向量；确定所述荧光向量在执行上下文学习任务中对应的正确标签的预测概率，得到扰动矩阵；根
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述任务性能控制方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述任务性能控制方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述任务性能控制方法。
...【技术特征摘要】
1.一种任务性能控制方法，其特征在于，包括：
2.根据权利要求1所述的任务性能控制方法，其特征在于，所述基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词，包括：
3.根据权利要求1所述的任务性能控制方法，其特征在于，所述确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化，包括：
4.根据权利要求1所述的任务性能控制方法，其特征在于，所述通过调整所述重点神经元的激活水平控制所述目标模型的任务性能，包括：
5.根据权利要求1-4任一项所述的任务性能控制方法，其特征在于，所述上下文学习任务包括以下至少一项：问答任务、情感分析任务、问题理解任务、文本分类任务、法律文本分类任务、因果关系分类任务、情感分类任务以及文本匹配任务。
6.一种任务性能控制装置，其特征在于，包括：确定模块和...
【专利技术属性】
技术研发人员：何世柱，刘康，赵军，宋燃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。