【技术实现步骤摘要】
本专利技术涉及一种在边缘计算下的具有新旧感知的多层异步联邦学习方案。
技术介绍
1、传统的由服务器集中训练的机器学习模型存在安全性和隐私方面的不足，联邦学习(federated learning)作为一种高效的隐私保护手段应运而生。联邦学习利用去中心化的数据源进行训练，避免因中心化带来的隐私问题；以不访问参与者私有数据为前提，在一定程度上保证了原始数据的隐私安全。具体来说，联邦学习过程就是参与者在本地对数据进行训练，再将训练后得到的参数上传到服务器，最后由云聚合得到整体参数。通过这种方式，可以在客户端和服务器之间共享信息，且在训练过程中有效的保护了用户的数据隐私。但联邦学习在模型的本地训练、参数传递等过程仍存在巨大的安全隐患。例如，设备异构导致客户端之间计算能力，通信，存储效率不平衡；数据异构引起的数据类型，数据量不平衡问题等。
2、边缘计算(edge computing)也被称为边缘处理，是一种将服务器放置在设备附近的网络技术。有助于减少系统处理负载和解决数据传输延迟。这些过程在传感器或设备生成数据的位置执行，也被称为边缘。
3、联邦学习的发展主要依赖以下技术：
4、联邦平均(fedavg)算法将每个客户端的局部随机梯度下降(sgd)与执行模型平均的服务器相结合。在客户端进行多轮局部模型的更新，在服务器将局部模型上传，只进行一个平均算法进行聚合，即，该算法将计算量放在了本地客户端，而服务器只用于聚合平均。
5、fedprox算法在fedavg算法的基础上对客户端的损失函数加了修正
6、fedsso算法是利用用分层抽样优化的联邦学习算法，使用了基于密度的聚类方法将总体客户端划入不同的聚类中，使得每个聚类中的客户端具有较高的相似度，再按样本权重从不同聚类中抽取可用客户端参与训练，因此所有种类的数据都会按样本权重参与每轮训练，使模型加速收敛到全局最优解解；同时，设定了学习率递减和本地迭代轮次选择机制，以保证模型的收敛性。
技术实现思路
1、为解决上述技术问题，本专利技术提供一种提高系统收敛速度，减少通信开销的多层联邦学习方案。
2、本专利技术解决上述技术问题的技术方案的技术方案是：一种在边缘计算下的具有新旧感知的多层异步联邦学习方案，包括以下步骤：
3、(1)初始化：云服务器初始化全局模型；
4、(2)全局广播：云服务器向边缘服务器广播全局模型；
5、(3)边缘广播：边缘服务器向客户端广播簇模型；
6、(4)本地训练及上传：客户端利用本地数据进行训练，并将更新的模型与新旧程度值上传给边缘服务器；
7、(5)边缘聚合：边缘服务器接收到所有在线参与训练的客户端上传的模型与新旧程度值后进行聚合更新；
8、(6)全局聚合：服务器一旦收到簇模型立刻进行聚合更新。
9、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(1)中，初始化阶段主要是云服务器初始化全局模型。其具体过程为：
10、云服务器：
11、1-1)第一轮，云服务器cs初始化全局模型φ0。
12、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(2)中，全局广播阶段主要是云服务器向边缘服务器广播全局模型。其具体过程为：
13、云服务器：
14、2-1)第t轮，云服务器cs向参与全局聚合的边缘服务器esk(k∈[k])广播全局模型φt。
15、边缘服务器：
16、2-2)第t轮，参与全局聚合的边缘服务器esk(k∈[k])接收云服务器cs广播的全局模型φt。
17、2-3)第t轮，参与全局聚合的边缘服务器esk(k∈[k])更新簇模型
18、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(3)中，边缘广播阶段主要是边缘服务器向客户端广播簇模型。其具体过程为：
19、边缘服务器：
20、3-1)第t轮，边缘服务器esk(k∈[k])向所属客户端广播簇模型
21、客户端：
22、3-2)第t轮，所属客户端i(i∈pk)接收簇模型
23、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(4)中，本地训练及上传阶段主要是客户端利用本地数据进行训练，并将更新的模型与新旧程度值上传给边缘服务器。其具体过程为：
24、客户端：
25、4-1)第t轮，所属客户端i(i∈pk)随机采样ξi～bernoulli(pi)来决定客户端是否在线，其中pi∈[0,1]。当ξi＝1时，即发生概率为pi时，客户端在线。当ξi＝0时，即发生概率为1-pi时，客户端掉线。
26、4-2)第t轮，所属客户端i(i∈pk)利用本地数据本地模型其中η为学习率，fi为客户端i的损失函数，di为客户端i的数据样本。
27、4-3)第t轮，所属客户端i(i∈pk)更新新旧程度值其中，a>0，b≥0，α∈(0,1)，α为初始模型权重。
28、4-4)第t轮，ξi＝1的所属客户端i(i∈pk)将更新的模型与新旧程度值上传给对应的边缘服务器esk。
29、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(5)中，边缘聚合过程主要是边缘服务器接收到所有在线参与训练的客户端上传的模型与新旧程度值后进行聚合更新。其具体过程为：
30、客户端：
31、5-1)第t-1轮，在线参与训练的客户端i(i∈pk)将更新的模型与新旧程度值上传给对应的边缘服务器esk。
32、边缘服务器：
33、5-2)第t轮，边缘服务器esk(k∈[k])接收到上一轮在线参与训练的客户端i(i∈pk)上传的训练更新的模型与新旧程度值
34、5-3)边缘服务器esk(k∈[k])对接收到的模型结果进行聚合：其中di是客户端i的数据量。
35、上述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(6)中，全局聚合过程主要是服务器一旦收到簇模型立刻进行聚合更新。其具体过程为：
36、边缘服务器：
37、6-1)第t轮，边缘服务器esk(k∈[k])上传簇模型
38、云服务器：
39、6-2)第t轮，云服务器cs接收边缘服务器esk(k∈[k])上传的簇模型
40、6-1)第t轮，云服务器cs进行聚合φt：
41、本专利技术的有益效果在于：
42、1、本专利技术提出一种在边缘计算下的具有新旧感知的多层异步联邦学习方案。通过进行边缘聚合，减少了云聚合轮次，降低通信开销。
43、2、本专利技术利用伯努利分布描述客户端本文档来自技高网...
【技术保护点】
1.一种在边缘计算下的具有新旧感知的多层异步联邦学习方案，其特征在于，包括以下步骤：
2.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(1)中，初始化阶段主要是云服务器初始化全局模型。其具体过程为：
3.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(2)中，全局广播阶段主要是云服务器向边缘服务器广播全局模型。其具体过程为：
4.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(3)中，边缘广播阶段主要是边缘服务器向客户端广播簇模型。其具体过程为：
5.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(4)中，本地训练及上传阶段主要是客户端利用本地数据进行训练，并将更新的模型与新旧程度值上传给边缘服务器。其具体过程为：
6.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(5)中，边缘聚合过程主要是边缘服务器接收到所有在线参与训练的客户端上传的模型与新旧程度值后进行聚合更新。其
7.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(6)中，全局聚合过程主要是服务器一旦收到簇模型立刻进行聚合更新。其具体过程为：
...【技术特征摘要】
1.一种在边缘计算下的具有新旧感知的多层异步联邦学习方案，其特征在于，包括以下步骤：
2.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(1)中，初始化阶段主要是云服务器初始化全局模型。其具体过程为：
3.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(2)中，全局广播阶段主要是云服务器向边缘服务器广播全局模型。其具体过程为：
4.根据权利要求1所述的在边缘计算下的多层异步联邦学习方案，其特征在于，所述步骤(3)中，边缘广播阶段主要是边缘服务器向客户端广播簇模型。其具体过程为：
【专利技术属性】
技术研发人员：张世文，陈双，张雨佳，张志，梁伟，
申请(专利权)人：湖南科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。