System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及联邦学习,尤其涉及一种基于raft选举策略的稳定联邦学习方法及相关设备。
技术介绍
1、从智能手机到工业传感器,各种终端设备(客户端)不断产生大量数据。这些数据包含用户行为、设备状态和环境条件等丰富信息,已成为推动技术创新和业务发展的关键资源。然而,随着数据价值的日益突出,数据安全和隐私问题也引起了关注。近年来,数据泄露事件频繁发生,不仅损害了用户的隐私,还对企业的声誉和运营造成了重大影响。如何保护数据的安全和隐私已成为一个迫切需要立即解决的问题。
2、联邦学习(federated learning,fl)作为一种新兴的分布式机器学习范式,为这个问题提供了一种可能的解决方案。具体而言,联邦学习允许多个设备共同训练一个模型,无需将数据集中到一个服务器上。这意味着每个设备的数据都可以留在本地,不需要与其他设备共享,从而降低了数据泄露的风险。尽管联邦学习在数据隐私保护上具有巨大的潜力,但实现一个既高效又鲁棒的fl系统仍然面临着重大挑战。首先,参与训练的设备可能具有不同的计算能力。其次,网络环境和设备状态是动态变化的。上述因素会导致参与训练的设备不稳定,进而影响fl训练的稳定性和效率。
3、目前提高联邦学习中的训练效率和稳定性已有很多研究。例如,xiong等人在论文“feddm:iterative distribution matching for communication-efficient federatedlearning”中提出了一种方法,通过在客户端本地构建合成数据集来进行分布匹配。这种
技术实现思路
1、针对联邦学习中存在的稳定性较差的问题,本专利技术提供一种基于raft选举策略的稳定联邦学习方法,以适应动态设备网络环境,并在确保数据隐私的同时提高联邦训练的效率和可靠性。
2、第一方面,本专利技术提供一种基于raft选举策略的稳定联邦学习方法,包括:
3、步骤1:将所有参与联邦学习的设备分为多个集群,基于raft算法选举出每个集群中的代理设备;
4、步骤2:判断代理设备是否在线,若在线,则继续训练,若离线,则重新基于raft算法选举代理设备;
5、步骤3:服务器将上一轮聚合得到的全局模型下发至代理设备;
6、步骤4:代理设备将接收到的全局模型分发至集群内各设备,集群内的各设备进行本地训练,并将本地训练结果上传至代理设备;
7、步骤5:代理设备聚合集群内的本地训练结果,并将聚合得到的集群模型上传至服务器;
8、步骤6:服务器聚合各集群的集群模型,生成全局模型;
9、步骤7:判断是否达到停止条件,若是,则输出全局模型,反之,则重复步骤2至步骤6以进行下一轮训练。
10、进一步地,步骤1中,基于raft算法选举出每个集群中的代理设备,具体包括:
11、根据集群中设备的计算能力和闲置时长,利用马氏距离按照下式计算设备ui的性能权重wi;
12、
13、其中,vj表示集群中的其他设备,ms表示马氏距离函数,k表示集群中参与训练的设备数;
14、按照性能权重值的大小依次发起投票,利用raft算法选举出代理设备。
15、进一步地,步骤5中,代理设备聚合集群内的本地训练结果,具体包括:
16、
17、其中,ωs表示聚合得到的集群模型,ωi表示代理设备接收到的第i个本地训练结果,n表示代理设备接收到的本地训练结果的数量。
18、进一步地,步骤6具体包括:
19、
20、其中,ωt表示生成的全局模型,ωj表示服务器接收到的第j个集群模型,m表示服务器接收到的集群模型的数量。
21、第二方面,本专利技术提供一种基于raft选举策略的稳定联邦学习系统,包括:
22、分组模块,用于将所有参与联邦学习的设备分为多个集群,并选举出每个集群中的代理设备;
23、第一判断模块,用于判断代理设备是否在线,若在线,则继续训练,若离线,则重新选举代理设备;
24、通信模块,用于供服务器将上一轮聚合得到的全局模型下发至代理设备;供代理设备将接收到的全局模型分发至集群内各设备,供集群内的各设备将本地训练结果上传至代理设备;供代理设备将聚合得到的集群模型上传至服务器;
25、训练模块,用于使集群内的各设备进行本地训练;
26、第一聚合模块,用于供代理设备聚合集群内的本地训练结果;
27、第二聚合模块,用于供服务器聚合各集群的集群模型,生成全局模型;
28、第二判断模块,用于判断是否达到训练停止条件。
29、第三方面,本专利技术提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。
30、第四方面,本专利技术提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
31、本专利技术的有益效果:
32、(1)本专利技术提供的一种基于raft选举策略的稳定联邦学习方法,通过引入raft算法选举代理设备,并对代理设备的网络状态进行检测,基于代理设备对其所在集群内的本地训练结果进行初步聚合,再由代理设备将聚合的集群模型上传至服务器,由服务器对集群模型进行再次聚合,既可以避免离线的代理设备对整个联邦学习过程的稳定性带来影响,又可以减少通信轮数,从而显著提高联邦训练的稳定性和效率。
33、(2)本专利技术引入了马氏距离函数计算参与训练的设备的性能权重值,并基于设备的性能权重值对传统的raft算法进行改进,从而确保选举出的代理设备具有较高的计算能力,进一步提高联邦学习的效率。
34、(3)通过在公开数据集上的模拟实验,证明了本专利技术方案能有效减少通信轮数,加速模型收敛,同时提高整个系统的稳定性,使得本专利技术方案可以为在复杂动态场景中进行高效、可靠的联邦学习。
本文档来自技高网...【技术保护点】
1.一种基于Raft选举策略的稳定联邦学习方法,其特征在于,包括:
2.根据权利要求1所述的一种基于Raft选举策略的稳定联邦学习方法,其特征在于,步骤1中,基于Raft算法选举出每个集群中的代理设备,具体包括:
3.根据权利要求1所述的一种基于Raft选举策略的稳定联邦学习方法,其特征在于,步骤5中,代理设备聚合集群内的本地训练结果,具体包括:
4.根据权利要求1所述的一种基于Raft选举策略的稳定联邦学习方法,其特征在于,步骤6具体包括:
5.一种基于Raft选举策略的稳定联邦学习系统,其特征在于,包括:
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述的方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的方法。
【技术特征摘要】
1.一种基于raft选举策略的稳定联邦学习方法,其特征在于,包括:
2.根据权利要求1所述的一种基于raft选举策略的稳定联邦学习方法,其特征在于,步骤1中,基于raft算法选举出每个集群中的代理设备,具体包括:
3.根据权利要求1所述的一种基于raft选举策略的稳定联邦学习方法,其特征在于,步骤5中,代理设备聚合集群内的本地训练结果,具体包括:
4.根据权利要求1所述的一种基于raft选举策略的稳定联邦学...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。