【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及分布式大语言模型量化部署方法、装置、设备和存储介质。
技术介绍
1、联邦学习是一种分布式机器学习方法。联邦学习的场景中，客户端设备各自拥有本地数据，用于本地模型的训练。客户端上传本地模型的参数更新到服务器，服务器对这些更新参数进行聚合，从而生成全局模型的更新，聚合后的全局模型更新会被发送回客户端，客户端再基于新的全局模型进行下一轮的本地训练。这种迭代过程持续进行，直到全局模型收敛或达到预定的性能指标。
2、相关技术中大语言模型如果需要通过联邦学习机制部署在不同的客户端中，通常会遇到以下问题：大语言模型通常具有数亿的参数，在客户端进行训练时，对客户端设备的计算能力要求较高。另外，客户端向服务器发送参数时也会出现传输数据量过大，导致通信开销高，能耗高的问题。
技术实现思路
1、本申请实施例的主要目的在于提出分布式大语言模型量化部署方法、装置、设备和存储介质，减少大语言模型在客户端中训练的算力开销，降低客户端向服务器的传输数据量，减少通信开销，降低传输能耗。
2、为实现上述目的，本申请实施例的第一方面提出了一种分布式大语言模型量化部署方法，包括：
3、对客户端中部署的大语言模型的初始权重进行量化，得到量化权重，并获取与所述量化权重的权重更新相关的、经过低秩分解得到的第一低秩矩阵和第二低秩矩阵；
4、基于所述第一低秩矩阵、所述第二低秩矩阵和所述量化权重得到第一权重矩阵，对所述第一权重矩阵进行量化过程得到第二权重矩阵
5、对所述优化目标进行求解，得到使得所述优化目标最小的所述第一微调矩阵的第一解矩阵和所述第二微调矩阵的第二解矩阵；
6、获取服务器对每个所述客户端的所述第一解矩阵和所述第二解矩阵进行聚合后，更新的所述第一低秩矩阵和所述第二低秩矩阵，根据更新后的所述第一低秩矩阵和所述第二低秩矩阵更新所述优化目标，迭代更新所述第一解矩阵和所述第二解矩阵，直至达到迭代终止条件，根据所述第一权重矩阵得到训练后的所述大语言模型，在每个所述客户端中更新训练后的所述大语言模型。
7、在一些实施例，所述获取与所述量化权重的权重更新相关的、经过低秩分解得到的第一低秩矩阵和第二低秩矩阵，包括：
8、获取所述客户端对应的本地数据集，利用所述本地数据集对量化后的所述大语言模型进行训练，得到所述量化权重对应的更新权重；
9、对所述更新权重进行低秩分解，得到所述第一低秩矩阵和所述第二低秩矩阵，所述第一低秩矩阵和所述第二低秩矩阵的秩小于所述更新权重的秩。
10、在一些实施例，所述基于所述第一低秩矩阵、所述第二低秩矩阵和所述量化权重得到第一权重矩阵，包括：
11、获取所述第一低秩矩阵和所述第二低秩矩阵的乘积矩阵；
12、根据所述量化权重和所述乘积矩阵的和，得到所述第一权重矩阵。
13、在一些实施例，所述对所述第一权重矩阵进行量化过程得到第二权重矩阵，包括：
14、获取第一量化常数和第二量化常数，利用所述第一量化常数对所述第二量化常数进行解量化，得到量化中间值；
15、基于所述量化中间值对所述第一权重矩阵进行解量化，得到所述第二权重矩阵。
16、在一些实施例，所述根据所述第一权重矩阵、所述第二权重矩阵、第一微调矩阵和第二微调矩阵得到优化目标，包括：
17、获取所述第一微调矩阵和所述第二微调矩阵的矩阵乘积，得到优化目标矩阵；
18、根据所述优化目标矩阵和所述第二权重矩阵的和得到量化差值矩阵；
19、将所述第一权重矩阵减去所述量化差值矩阵得到所述优化目标。
20、在一些实施例，所述对所述优化目标进行求解，得到使得所述优化目标最小的所述第一微调矩阵的第一解矩阵和所述第二微调矩阵的第二解矩阵，包括：
21、获取前一迭代步数下所述第一微调矩阵的第一估计值和所述第二微调矩阵的第二估计值；
22、将所述第一估计值和所述第二估计值代入所述量化差值矩阵，得到当前迭代步数的量化估计矩阵；
23、根据所述第一权重矩阵和所述量化估计矩阵的差值得到残差矩阵，对所述残差矩阵进行奇异值分解，得到奇异值以及所述奇异值对应的左奇异向量和右奇异向量；
24、根据所述奇异值、所述左奇异向量和所述右奇异向量得到当前迭代步数所述第一估计值和所述第二估计值；
25、重复迭代过程，直至达到预设迭代步数，获取所述第一估计值作为所述第一解矩阵，以及获取所述第二估计值作为所述第二解矩阵。
26、在一些实施例，所述获取服务器对每个所述客户端的所述第一解矩阵和所述第二解矩阵进行聚合后更新的所述第一低秩矩阵和所述第二低秩矩阵之前，所述方法还包括：
27、将所述第一权重矩阵进行量化，得到更新量化权重；
28、获取所述客户端对应的本地数据集，利用所述本地数据集对所述更新量化权重对应的所述大语言模型进行训练，得到所述更新量化权重对应的微调更新权重；
29、对所述微调更新权重进行低秩分解，得到更新后的所述第一低秩矩阵和所述第二低秩矩阵，更新后的所述第一低秩矩阵和所述第二低秩矩阵的秩小于所述更新量化权重的秩。
30、在一些实施例，所述得到更新后的所述第一低秩矩阵和所述第二低秩矩阵之后，所述方法还包括：
31、将更新后的所述第一低秩矩阵和所述第二低秩矩阵发送至服务器；
32、接收服务器对至少一个所述客户端的所述第一低秩矩阵和所述第二低秩矩阵进行全局平均得到的第一平均低秩矩阵和第二平均低秩矩阵；
33、将所述第一平均低秩矩阵作为所述第一低秩矩阵，以及将所述第二平均低秩矩阵作为所述第二低秩矩阵。
34、在一些实施例，服务器对每个所述客户端的所述第一解矩阵和所述第二解矩阵进行聚合，更新所述第一低秩矩阵和所述第二低秩矩阵的过程包括：
35、获取每个所述客户端的所述第一解矩阵和所述第二解矩阵；
36、如果至少一个所述第一解矩阵的维度与其他的第一解矩阵不同，进行数据填充，对齐每个所述第一解矩阵的数据维度；
37、如果至少一个所述第二解矩阵的维度与其他的第二解矩阵不同，进行数据填充，对齐每个所述第二解矩阵的数据维度；
38、对所述第一解矩阵计算平均，得到更新后的所述第一低秩矩阵，以及对所述第二解矩阵计算平均，得到更新后的所述第二低秩矩阵。
39、为实现上述目的，本申请实施例的第二方面提出了一种分布式大语言模型量化部署装置，包括：
40、第一处理模块：用于对客户端中部署的大语言模型的初始权重进行量化，得到量化权重，并获取与所述量化权重的权重更新相关的、经过低秩分解得到的第一低秩矩阵和第二低秩矩阵；
41、第二处理模块：用于基于所述第一低秩矩阵、所述本文档来自技高网...
【技术保护点】
1.一种分布式大语言模型量化部署方法，其特征在于，包括：
2.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述获取与所述量化权重的权重更新相关的、经过低秩分解得到的第一低秩矩阵和第二低秩矩阵，包括：
3.根据权利要求2所述的分布式大语言模型量化部署方法，其特征在于，所述基于所述第一低秩矩阵、所述第二低秩矩阵和所述量化权重得到第一权重矩阵，包括：
4.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述对所述第一权重矩阵进行量化过程得到第二权重矩阵，包括：
5.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述根据所述第一权重矩阵、所述第二权重矩阵、第一微调矩阵和第二微调矩阵得到优化目标，包括：
6.根据权利要求5所述的分布式大语言模型量化部署方法，其特征在于，所述对所述优化目标进行求解，得到使得所述优化目标最小的所述第一微调矩阵的第一解矩阵和所述第二微调矩阵的第二解矩阵，包括：
7.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述获取服务器对每
8.根据权利要求7所述的分布式大语言模型量化部署方法，其特征在于，所述得到更新后的所述第一低秩矩阵和所述第二低秩矩阵之后，所述方法还包括：
9.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，服务器对每个所述客户端的所述第一解矩阵和所述第二解矩阵进行聚合，更新所述第一低秩矩阵和所述第二低秩矩阵的过程包括：
10.一种分布式大语言模型量化部署装置，其特征在于，包括：
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的分布式大语言模型量化部署方法。
12.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的分布式大语言模型量化部署方法。
...【技术特征摘要】
1.一种分布式大语言模型量化部署方法，其特征在于，包括：
2.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述获取与所述量化权重的权重更新相关的、经过低秩分解得到的第一低秩矩阵和第二低秩矩阵，包括：
3.根据权利要求2所述的分布式大语言模型量化部署方法，其特征在于，所述基于所述第一低秩矩阵、所述第二低秩矩阵和所述量化权重得到第一权重矩阵，包括：
4.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述对所述第一权重矩阵进行量化过程得到第二权重矩阵，包括：
5.根据权利要求1所述的分布式大语言模型量化部署方法，其特征在于，所述根据所述第一权重矩阵、所述第二权重矩阵、第一微调矩阵和第二微调矩阵得到优化目标，包括：
6.根据权利要求5所述的分布式大语言模型量化部署方法，其特征在于，所述对所述优化目标进行求解，得到使得所述优化目标最小的所述第一微调矩阵的第一解矩阵和所述第二微调矩阵的第二解矩阵，包括：
7.根据权利要求1所述的分布式大语言...
【专利技术属性】
技术研发人员：张亮，胡志威，李航，朱光旭，史清江，
申请(专利权)人：深圳市大数据研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。