【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种微调大语言模型的方法及电子设备。
技术介绍
1、大语言模型（large language model，llm），指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。在预训练的大语言模型的基础上，对模型参数进行微小调整，以适应特定任务的需求。在大语言模型的预训练过程，通常使用大规模的无标注文本数据集进行训练，学习语言的内在结构和规律；而微调过程则使用有标注的特定任务的数据集，使大语言模型在特定任务上达到更优的性能。
2、基于特定任务对大语言模型的微调过程，会涉及到隐私或敏感的训练数据，攻击者可能通过模型反演攻击或梯度推理攻击，推测出微调时使用的训练数据。为了防止数据泄露，并不侵犯数据隐私，目前使用差分隐私技术在梯度中注入噪声，对llm/进行微调训练。然而，随着llm的规模不断增大，微调llm的过程产生巨大的资源消耗和时间开销，过量的噪声注入降低模型性能。
技术实现思路
1、根据本申请的各种实施例，提供一种微调大语言模型的方法及电子设备，可以降低微调模型的资源消耗，有效保护数据隐私的同时保证模型性能。
2、第一方面，本申请提供了一种微调大语言模型的方法，该方法包括：
3、在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量；基于模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度；阶段损失函数为大语言模型的损失函数更新得到；基于差分隐私零阶梯度与学习率，按预设的迭代轮次
4、通过上述方式，划分多个微调阶段对大语言模型进行微调，并按微调阶段调整更新损失函数和零阶规模参数，使得大语言模型的微调过程更加平滑、快速地收敛，降低微调大语言模型的资源消耗与时间开销；通过采样不同维度的模型参数向量，并计算阶段损失函数的差分隐私零阶梯度，降低差分噪声注入对模型性能的影响，在确保数据隐私的同时，极大限度的保留了模型的性能；具有较强的易用性与实用性。
5、在第一方面的一种可能的实现方式中，在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量，包括：
6、在第i个微调阶段，基于固定剪枝率、动态剪枝率或增量式剪枝率，对语言模型的参数空间进行采样，得到所述模型参数向量。
7、在第一方面的一种可能的实现方式中，基于所述模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度，包括：
8、基于模型参数向量与零阶规模参数，通过插入噪声项的零阶梯度估计算法，计算阶段损失函数的差分隐私零阶梯度。
9、在第一方面的一种可能的实现方式中，插入噪声项的零阶梯度估计算法的表达式为：
10、
11、其中，为差分隐私零阶梯度函数，为阶段损失函数，θ为模型参数，β为零阶规模参数，v为模型参数向量，noise为符合高斯分布的噪声项。
12、在第一方面的一种可能的实现方式中，在计算阶段损失函数的差分隐私零阶梯度之前，该方法还包括：
13、在第i个微调阶段，基于正则项更新大语言模型的损失函数，得到阶段损失函数；
14、其中，基于正则项更新所述大语言模型的损失函数的表达式为：
15、
16、为阶段损失函数，为损失函数，为在第i个微调阶段进行微调之前的模型参数，为正则项，λ为正则化常数。
17、在第一方面的一种可能的实现方式中，在计算阶段损失函数的差分隐私零阶梯度之前，该方法还包括：
18、基于微调阶段的变化，更新零阶规模参数；
19、其中，更新零阶规模参数的表达式为：
20、
21、为第i+1个微调阶段的零阶规模参数；为第i个微调阶段的零阶规模参数；k为更新系数，取值大于1。
22、在第一方面的一种可能的实现方式中，在计算阶段损失函数的差分隐私零阶梯度之前，该方法还包括：
23、基于微调阶段的变化，更新学习率；
24、其中，更新学习率的表达式为：
25、
26、为第i+1个微调阶段的学习率；为第i个微调阶段的学习率。
27、在第一方面的一种可能的实现方式中，基于差分隐私零阶梯度与学习率，按预设的迭代轮次对大语言模型的模型参数进行迭代处理，得到第i个微调阶段的目标模型参数，包括：
28、按预设的迭代轮次，计算阶段损失函数的差分隐私零阶梯度；
29、基于每个迭代轮次计算的差分隐私零阶梯度以及第i个微调阶段的学习率，更新大语言模型的模型参数，得到第i个微调阶段的目标模型参数。
30、在第一方面的一种可能的实现方式中，基于每个迭代轮次计算的差分隐私零阶梯度以及第i个微调阶段的学习率，更新大语言模型的模型参数的表达式为：
31、
32、其中，为第i微调阶段的第t迭代轮次的模型参数，为第i微调阶段的第t-1迭代轮次的模型参数，为第i微调阶段的学习率，为第t-1迭代轮次的阶段损失函数对应的差分隐私零阶梯度，t为大于1的整数。
33、第二方面，本申请提供了一种微调大语言模型的装置，包括：
34、获取单元，用于在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量；
35、计算单元，用于基于所述模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度；所述阶段损失函数为所述大语言模型的损失函数更新得到；
36、迭代单元，用于基于所述差分隐私零阶梯度与学习率，按预设的迭代轮次对所述大语言模型的模型参数进行迭代处理，得到所述第i个微调阶段的目标模型参数；其中，所述第i个微调阶段的目标模型参数用于构建第i+1个微调阶段的参数空间，所述第i+1个微调阶段的迭代轮次大于所述第i个微调阶段的迭代轮次，所述第i个微调阶段的零阶规模参数小于所述第i+1个微调阶段的零阶规模参数，所述第i个微调阶段的学习率大于所述第i+1个微调阶段的学习率，i为大于或等于1的整数。
37、第三方面，本申请提供一种电子设备，所述电子设备包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。
38、第四方面，本申请提供一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述一个或多个处理器用于调用计算机指令以使得所述电子设备执行如第一方面本文档来自技高网...
【技术保护点】
1.一种微调大语言模型的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度，包括：
4.根据权利要求3所述的方法，其特征在于，所述插入噪声项的零阶梯度估计算法的表达式为：
5.根据权利要求1所述的方法，其特征在于，在所述计算阶段损失函数的差分隐私零阶梯度之前，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，在所述计算阶段损失函数的差分隐私零阶梯度之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，在所述计算阶段损失函数的差分隐私零阶梯度之前，所述方法还包括：
8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述差分隐私零阶梯度与学习率，按预设的迭代轮次对所述大语言模型的模型参数进行迭代处理，得到所述第i个微调阶段的目标模型参数，包括：
...【技术特征摘要】
1.一种微调大语言模型的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述在第i个微调阶段，对大语言模型的参数空间进行采样，得到模型参数向量，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述模型参数向量与零阶规模参数，计算阶段损失函数的差分隐私零阶梯度，包括：
4.根据权利要求3所述的方法，其特征在于，所述插入噪声项的零阶梯度估计算法的表达式为：
5.根据权利要求1所述的方法，其特征在于，在所述计算阶段损失函数的差分隐私零阶梯度之前，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，在所述计算阶段损失函数的差分隐私零阶梯度之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于...
【专利技术属性】
技术研发人员：王旸，刘至昊，秦湛，任奎，
申请(专利权)人：杭州高新区滨江区块链与数据安全研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。