基于三维网格的联邦学习客户端优化调度方法技术

本发明专利技术提供了一种基于三维网格的联邦学习客户端优化调度方法，包括如下步骤：

【技术实现步骤摘要】
基于三维网格的联邦学习客户端优化调度方法


[0001]本专利技术涉及边缘计算和分布式机器学习领域，尤其涉及一种基于三维网格的联邦学习客户端优化调度方法
。

技术介绍

[0002]随着物联网和移动边缘计算技术的快速发展，越来越多的智能设备
(
如高性能传感器
、
智能移动终端等
)
得以联网，这些设备每天都会生成大量数据，这对训练机器学习模型具有重要意义
。
在传统的机器学习模式中，所有数据都被收集到一个中央服务器进行集中训练
。
然而，由于网络带宽有限和隐私保护问题，从智能设备收集本地数据并集中训练并不可行
。
为此，一种新的分布式机器学习框架
——
联邦学习
(Federated Learning)
应运而生
。
在联邦学习中，中央服务器协调多个设备
(
客户端
)
使用自己的本地数据集训练并共享模型，中央服务器通过聚合来自客户端的本地模型来实现全局模型的训练，从而避免了上传本地数据所带来隐私风险和数据泄露问题
。
[0003]但与集中式训练相比，联邦学习仍需面对许多新的挑战
。
由于参与训练的客户端在系统资源
、
数据分布和数据量方面存在显著差异，使得整个联邦学习系统存在着异构性，这将影响联邦学习的训练性能
。
一般而论，联邦学习的异构性可分为资源异构性和数据异构性，而数据异构性又可进一步分为数据分布异构性和数据量异构性
。
首先，资源异构性是指不同的客户端拥有不同的计算和通信资源，从而导致不同的本地训练速度和通信延迟
。
而在联邦学习中，每轮训练时间是由最慢客户端决定的，这也称为“掉队者问题”；此外，数据分布异构性是指每个客户端的本地数据遵循不同的分布，而产生的数据非独立和同分布
(Non Independent Identically Distributed
，
Non
‑
IID)
问题，这会导致联邦学习模型训练的轮次增加且精度降低；最后，由不同客户端本地数据量的不同所造成的数据量异构的情况，也会显著影响模型的训练时间和精度
。Chai
等人提出了一种基于时间分层的联合学习方法，该方法根据每轮训练的时间将所有客户划分为多个层级，并在每轮训练中选择同一层内的客户，以缓解“掉队者问题”。
同时，该方法还根据模型的训练精度来调整各层客户的选择，以缓解数据分布异构性问题
。
然而，该方法没有将上述三种异构性作为一个整体来考虑，特别是没有独立地考虑数据量异构性问题
。
[0004]有鉴于此，有必要设计一种基于三维网格的联邦学习客户端优化调度方法，以解决上述问题
。

技术实现思路

[0005]本专利技术的目的在于提供一种基于三维网格的联邦学习客户端优化调度方法，全面考虑联邦学习中异构性，提高联邦学习的训练性能
。
[0006]为实现上述专利技术目的，本专利技术提供了一种基于三维网格的联邦学习客户端优化调度方法，包括如下步骤：
[0007]S1
，以客户端
i
的训练速度
、
训练数据量和训练数据均方差定义三维坐标，并将空
间划分为三维网格单元；
[0008]S2
，根据所述客户端
i
的三维属性将其分配到相应的网格单元中；
[0009]S3
，在每轮训练时，中央服务器根据设定的三维下标概率确定所述网格单元并从中选择相应的所述客户端
i
直到所述客户端
i
数量达到每轮训练的要求；
[0010]S4
，所述中央服务器将全局模型参数分发给选定的所述客户端
i
进行本地训练；
[0011]S5
，训练后的所述模型参数和模型精度数据由所述中央服务器聚合更新全局模型；
[0012]S6
，重复
S1
‑
S5
，直到所述模型达到训练精度
。
[0013]作为本专利技术的进一步改进，所述
S1
包括如下步骤：
[0014]S11
，设整个联邦学习框架由一个所述中央服务器和
N
个所述客户端组成，
N
的范围属于
100
至
9999999
；由所述中央服务器调度所述客户端，采用分布式方式训练某一神经网络模型，设
c
为每一轮训练需要选择的客户端的比例；其中，所述
c
用于表示训练需要选择的客户端的比例；
[0015]S12
，定义三维坐标
x
，
y
，
z
，设最大训练速度
、
训练数据量和训练数据均方差分别为
x
max
，
y
max
和
z
max
；分别以间隔将
x
，
y
，
z
空间划分成
L
x
×
L
y
×
L
z
个三维网格单元，每个网格单元用
Cell(l
x
,l
y
,l
z
)
表示，其中，
l
x
∈[1,L
x
]，
l
y
∈[1,L
y
]，
l
z
∈[1,L
z
]；
[0016]其中，所述
x
，
y
，
z
分别表示所述客户端
i
的训练速度
、
训练数据量
、
训练数据均方差；所述训练速度是所述客户端
i
完成一轮本地模型训练并上传模型参数到中央服务器所需时间的倒数；所述训练数据量是所述客户端
i
本地数据集中的样本个数；所述训练数据方差是指所述客户端
i
本地数据集中样本类别分布的均方差；所述
Δ
x
用于表示训练速度的间隔，所述
Δ
y
用于表示训练数据量的间隔，所述
Δ
z
用于表示训练数据均方差的间隔，所述
Cell(l
x
,l
y
,l
z
)
用于表示网格单元；所述
L
x
、
所述
L
y
、
所述
L
z
分别用于表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于三维网格的联邦学习客户端优化调度方法，其特征在于：包括如下步骤：
S1
，以客户端
i
的训练速度
、
训练数据量和训练数据均方差定义三维坐标，并将空间划分为三维网格单元；
S2
，根据所述客户端
i
的三维属性将其分配到相应的网格单元中；
S3
，在每轮训练时，中央服务器根据设定的三维下标概率确定所述网格单元并从中选择相应的所述客户端
i
直到所述客户端
i
数量达到每轮训练的要求；
S4
，所述中央服务器将全局模型参数分发给选定的所述客户端
i
进行本地训练；
S5
，训练后的所述模型参数和模型精度数据由所述中央服务器聚合更新全局模型；
S6
，重复
S1
‑
S5
，直到所述模型达到训练精度
。2.
根据权利要求1所述的基于三维网格的联邦学习客户端优化调度方法，其特征在于：所述
S1
包括如下步骤：
S11
，设整个联邦学习框架由一个所述中央服务器和
N
个所述客户端组成，
N
的范围属于
100
至
9999999
；由所述中央服务器调度所述客户端，采用分布式方式训练某一神经网络模型，设
c
为每一轮训练需要选择的客户端的比例；其中，所述
c
用于表示训练需要选择的客户端的比例；
S12
，定义三维坐标
x
，
y
，
z
，设最大训练速度
、
训练数据量和训练数据均方差分别为
x
max
，
y
max
和
z
max
；分别以间隔将
x
，
y
，
z
空间划分成
L
x
×
L
y
×
L
z
个三维网格单元，每个网格单元用
Cell(l
x
,l
y
,l
z
)
表示，其中，
l
x
∈[1,L
x
]
，
l
y
∈[1,L
y
]
，
l
z
∈[1,L
z
]
；其中，所述
x
，
y
，
z
分别表示所述客户端
i
的训练速度
、
训练数据量
、
训练数据均方差；所述训练速度是所述客户端
i
完成一轮本地模型训练并上传模型参数到中央服务器所需时间的倒数；所述训练数据量是所述客户端
i
本地数据集中的样本个数；所述训练数据方差是指所述客户端
i
本地数据集中样本类别分布的均方差；所述
Δ
x
用于表示训练速度的间隔，所述
Δ
y
用于表示训练数据量的间隔，所述
Δ
z
用于表示训练数据均方差的间隔，所述
Cell(l
x
,l
y
,l
z
)
用于表示网格单元；所述
L
x
、
所述
L
y
、
所述
L
z
分别用于表示
x
，
y
，
z
维度上的网格划分数量；所述...

【专利技术属性】
技术研发人员：吴家皋，蒋宇栋，易婧，刘林峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：