【技术实现步骤摘要】
本专利技术属于数据安全领域，具体涉及一种基于自适应topk的通信联邦学习方法及系统。
技术介绍
1、在联邦学习的实践中，通信效率问题是一大挑战，这主要源于众多客户端与中央服务器之间通过网络连接频繁交换高维数据(如模型参数等)的行为。特别是在全局模型规模较大的情况下，网络带宽的局限以及工作节点数量的急剧增加，往往会导致通信拥堵现象进一步加剧，进而形成联邦学习中的通信瓶颈。这种拥堵不仅阻碍了通信效率的提升，还可能引发客户端设备的掉队或退出，对整体学习效果产生负面影响。
2、针对通信效率问题，模型压缩方法可在模型上传阶段仅传输部分模型信息，以减轻通信负担。然而，目前大多数压缩通信方法都采用了固定的压缩率，这在缺乏先验知识的情况下存在明显的局限性。若压缩程度不足，则通信开销的降低效果并不显著；而过度压缩虽能大幅减少通信开销，却可能因模型信息的过度损失而损害最终模型的精度。因此，如何在训练过程中自适应地确定合适的压缩程度，以在模型精度与通信开销之间达到最佳平衡，成为了当前亟待解决的问题。
技术实现思路
1、本专利技术旨在解决现有技术中联邦学习在通信效率方面所面临的挑战，提出了一种基于自适应topk的通信联邦学习方法及系统。本专利技术的核心在于实现基于改进ucb算法的自适应模型压缩率选择机制，从而在上行通信过程中上传自适应压缩模型，有效减少通信量。为了实现模型精度与通信压缩之间的权衡，本专利技术巧妙地设计了奖励机制，该机制将模型损失变化信息与通信量信息紧密耦合。通过这种方式，算法能
2、本专利技术采用如下技术方案：
3、一种基于自适应topk的通信联邦学习方法，包括以下步骤：
4、步骤1、参数初始化；联邦学习发起方初始化预测模型，并定义联邦学习相关参数，包括最大迭代次数t，学习率α，学习终止条件，以及横向联邦学习模型的初始全局模型参数w，发起方将初始化的相关参数上传至服务器，服务器广播所有参与者本次联邦模型训练；
5、步骤2、训练模型；联邦学习的所有参与方从服务器下载全局模型参数w，并使用随机梯度下降方法在本地数据上进行模型训练得到更新后的模型参数
6、步骤3、压缩模型；参与方根据模型参数和全局模型参数计算模型变化量，在上行通信时对模型变化量进行top-k压缩，获得压缩后的稀疏模型并将其上传到服务器；
7、步骤4、保留残差；参与方在进行模型压缩的同时在本地进行模型残差累积这些残差由本轮及之前的小梯度累积而成；
8、步骤5、模型聚合；服务器聚合本轮参与方上传的模型参数，并更新下一轮需要的全局模型参数wt+1；
9、步骤6、自适应k值计算；服务器根据参与方上传的模型信息基于改进后的ucb算法进行自适应k值的选择。
10、本专利技术进一步的改进在于，在步骤1中，发起方依据具体的应用需求，灵活设定模型的最大迭代次数t和学习率α，并将这些参数作为超参数输入至预测模型中。
11、本专利技术进一步的改进在于，在步骤2中，参与方从服务器下载全局模型w，并使用随机梯度下降方法在本地数据上进行模型训练得到更新后的模型参数如下：
12、
13、式中：表示参与方i在第t轮时的模型训练变化量。
14、本专利技术进一步的改进在于，在步骤3中，参与方在上行通信时要对模型变化量进行top-k压缩，获得压缩后的稀疏模型并将其上传到服务器，如下：
15、
16、式中：为参与方i在第t轮生成的本地残差，由本轮及之前的“小梯度”累积而成。
17、本专利技术进一步的改进在于，步骤4中，参与方在进行模型压缩的同时要在本地进行模型残差累积这些残差由本轮及之前的小梯度累积而成，如下：
18、
19、本专利技术进一步的改进在于，步骤5中，模型聚合；服务器对于参与方上传的模型参数进行聚合并更新下一轮需要的全局模型参数wt+1，如下：
20、
21、本专利技术进一步的改进在于，步骤6中，服务器根据参与方上传的模型信息基于改进后的ucb算法进行自适应k值的选择，包括：
22、步骤6.1、服务器根据参与方的损失变化和通信时间计算摇臂奖励
23、步骤6.2、参与方计算置信区间上界；
24、利用项：令为前t-1轮中被选中的次数，那么在第t轮时，的“利用”项，即历史平均奖励就是
25、
26、探索项：探索意味着选择那些历史被选中较少的摇臂，探索他们以增加置信度；令表示历史选择次数，则探索项为
27、
28、则由ucb算法确定的置信上界为
29、
30、步骤6.3、计算跳过机制的概率，设计摇臂在本轮被跳过选择的概率为
31、
32、一种基于自适应topk的通信联邦学习系统，包括：
33、参数初始化模块，联邦学习发起方初始化预测模型，并定义联邦学习相关参数，包括最大迭代次数t，学习率α，学习终止条件，以及横向联邦学习模型的初始全局模型参数w，发起方将初始化的相关参数上传至服务器，服务器广播所有参与者本次联邦模型训练；
34、训练模型模块，联邦学习的所有参与方从服务器下载全局模型参数w，并使用随机梯度下降方法在本地数据上进行模型训练得到更新后的模型参数
35、压缩模型模块，参与方根据模型参数和全局模型参数计算模型变化量，在上行通信时对模型变化量进行top-k压缩，获得压缩后的稀疏模型并将其上传到服务器；
36、保留残差模块，参与方在进行模型压缩的同时在本地进行模型残差累积这些残差由本轮及之前的小梯度累积而成；
37、模型聚合模块，服务器聚合本轮参与方上传的模型参数，并更新下一轮需要的全局模型参数wt+1；
38、自适应k值计算模块，服务器根据参与方上传的模型信息基于改进后的ucb算法进行自适应k值的选择。
39、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现所述的一种基于自适应topk的通信联邦学习方法的步骤。
40、与现有技术相比，本专利技术至少具有以下有益的技术效果：
41、本专利技术提供的一种基于自适应topk的通信联邦学习方法及系统，通过巧妙地将模型损失变化信息与通信量信息相结合，设计出一种独特的奖励机制，从而在模型精度与通信压缩之间达到精细的权衡。具体而言，这一机制能够确保在尽可能减少模型压缩对精度影响的前提下，实现通信效率本文档来自技高网...
【技术保护点】
1.一种基于自适应TopK的通信联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，在步骤1中，发起方依据具体的应用需求，灵活设定模型的最大迭代次数T和学习率α，并将这些参数作为超参数输入至预测模型中。
3.根据权利要求1所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，在步骤2中，参与方从服务器下载全局模型w，并使用随机梯度下降方法在本地数据上进行模型训练得到更新后的模型参数如下：
4.根据权利要求1所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，在步骤3中，参与方在上行通信时要对模型变化量进行Top-K压缩，获得压缩后的稀疏模型并将其上传到服务器，如下：
5.根据权利要求4所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，步骤4中，参与方在进行模型压缩的同时要在本地进行模型残差累积这些残差由本轮及之前的小梯度累积而成，如下：
6.根据权利要求1所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，步骤5中，模型聚
7.根据权利要求1所述的一种基于自适应TopK的通信联邦学习方法，其特征在于，步骤6中，服务器根据参与方上传的模型信息基于改进后的UCB算法进行自适应k值的选择，包括：
8.一种基于自适应TopK的通信联邦学习系统，其特征在于，包括：
9.根据权利要求8所述的一种基于自适应TopK的通信联邦学习系统，其特征在于，参数初始化模块中，发起方依据具体的应用需求，灵活设定模型的最大迭代次数T和学习率α，并将这些参数作为超参数输入至预测模型中。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现权利要求1-6中任一项所述的一种基于自适应TopK的通信联邦学习方法的步骤。
...【技术特征摘要】
1.一种基于自适应topk的通信联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于自适应topk的通信联邦学习方法，其特征在于，在步骤1中，发起方依据具体的应用需求，灵活设定模型的最大迭代次数t和学习率α，并将这些参数作为超参数输入至预测模型中。
3.根据权利要求1所述的一种基于自适应topk的通信联邦学习方法，其特征在于，在步骤2中，参与方从服务器下载全局模型w，并使用随机梯度下降方法在本地数据上进行模型训练得到更新后的模型参数如下：
4.根据权利要求1所述的一种基于自适应topk的通信联邦学习方法，其特征在于，在步骤3中，参与方在上行通信时要对模型变化量进行top-k压缩，获得压缩后的稀疏模型并将其上传到服务器，如下：
5.根据权利要求4所述的一种基于自适应topk的通信联邦学习方法，其特征在于，步骤4中，参与方在进行模型压缩的同时要在本地进行模型残差累积这些残差由本轮及之前的小梯度累积而成，如...
【专利技术属性】
技术研发人员：董贇，艾徐华，任雪斌，银源，李增浩，雷凯嘉，黄依婷，杨树森，蒙琦，陈昭利，
申请(专利权)人：广西电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。