一种异构网络中基于计算卸载的联邦学习调度方法技术

本发明专利技术公开了一种异构网络中基于计算卸载的联邦学习调度方法，首先宏基站利用用户本地的数据训练机器学习模型，用户可以将这些数据卸载到小基站附近的边缘服务器进行计算；然后综合考虑了联邦学习的精度，以及运算和通信中产生的能耗和时延，建立了优化问题，并分成了对本地学习精度和卸载决策，用户计算频率，用户资源块分配进行优化这三个子问题。通过仿真，本发明专利技术分析了在不同参数条件下所取得的效果。仿真结果表明，本发明专利技术提出的方法可以有效降低训练过程中的开销。降低训练过程中的开销。降低训练过程中的开销。

【技术实现步骤摘要】
一种异构网络中基于计算卸载的联邦学习调度方法


[0001]本专利技术属于无线通信
，尤其涉及一种异构网络中基于计算卸载的联邦学习调度方法。

技术介绍

[0002]随着用户终端的数量不断增加，大量的个人数据将会随之产生，这些大数据为人工智能的飞速发展提供了坚实的物质基础。然而，机器学习中所需的数据都涉及多种类型，归属不同的个人和部门，数据是以孤岛的形式存在，将这些大量的数据传输到统一的平台需要消耗大量的通信资源，另外考虑到用户隐私和数据安全问题，收集和融合这些数据将面临许多挑战。联邦学习能够在满足用户隐私保护和数据安全前提下，在用户本地进行分布式的数据使用和机器学习建模，有效降低了通信资源的开销，解决了数据孤岛问题，实现AI协作。
[0003]联邦学习技术刚刚兴起，还存在许多问题需要研究，例如如何调度训练任务、分配计算资源和通信资源，以达到训练速度与精度的平衡。然而，现有的专利技术没有考虑用户设备资源受限的问题，比如用户设备的电池电量有限，终端设备的计算资源较少，处理速度较慢，本地训练会占用大量处理器资源，很容易影响用户的体验等。最近边缘计算技术迅猛发展，边缘计算可以给联邦学习用户训练带来的便利，出现了基于边缘计算实现分层联邦学习的架构方案。作为分布式机器学习的一种实现，联邦学习与边缘计算相互之间有许多交点，目前的许多专利技术只考虑了单个边缘服务器和客户端本身的训练能力，并未考虑异构网络场景下多边缘服务器和通信资源分配的影响。

技术实现思路

[0004]解决的技术问题：目前的许多专利技术只考虑了单个边缘服务器和客户端本身的训练能力，并未考虑异构网络场景下多边缘服务器和通信资源分配的影响。
[0005]技术方案：。
[0006]一种异构网络中基于计算卸载的联邦学习调度方法，所述联邦学习调度方法包括以下步骤：
[0007]S1，获取异构网络中联邦学习系统的环境参数和用户参数；在异构网络多MEC系统中，用户利用本地数据训练得到子模型，并将子模型发送给宏基站上的中央服务器，在中央服务器上聚合用户子模型以获得全局模型；对于资源较少无法及时完成本地训练的用户，将本地数据卸载到小基站上的边缘服务器进行计算；
[0008]S2，构建通信和计算模型，该通信和计算模型综合考虑计算和通信产生的能耗、时延以及联邦学习精度，建立用户开销最小化的优化问题，将其分成为信道分配、用户计算资源分配及本地学习精度和卸载决策三个子问题，通过对三个子问题进行求解，得到最优资源分配方案和卸载决策，使所有用户移动设备整体能耗和时延最小。
[0009]进一步地，步骤S1中，异构网络由宏基站与小基站组成，在宏基站的覆盖r
mbs
范围
内，随机分布了N个拥有边缘服务器的小基站和I个用户设备；定义所有用户设备的集合为小基站的集合为每个用户设备i本地存储有大小为o
i
的训练数据集其中s
i
为数据数量，x
ik
为模型输入变量，y
ik
为模型输出变量；当用户设备在小基站的覆盖范围r
sbs
内时，允许选择将这一轮的联邦学习训练任务卸载至小基站上的边缘服务器训练，再将训练好的模型参数上传至宏基站进行合并。
[0010]进一步地，当用户的损失函数采用l
i
(w，x
ik
，y
ik
)时，将局部损失函数定义为：
[0011][0012]全局损失函数定义为各用户局部损失函数的加权，表示为：
[0013][0014]其中q
i
为用户i的加权因子，即为各个用户占有数据量的比重，
[0015]重复迭代更新直到模型收敛为止；在第t次迭代中，用户接受基站发送的模型参数w
t
，并迭代减小损失函数达到精度阈值θ
i
，当所有的用户都完成训练后，将本地模型参数和损失函数的梯度发送给基站，得到全局损失函数的梯度为：
[0016][0017]基站将t+1次的模型参数更新为w
t+1
，并发送给用户再进行下一步训练，更新的模型参数为：
[0018][0019]本地用户i的迭代次数受精度阈值影响，表示为：
[0020][0021]其中c
i
是受到损失函数类型和全局收敛条件影响的参数。
[0022]进一步地，步骤S2中，所述构建通信和计算模型的过程包括以下步骤：
[0023]假设用户设备i分配给本地训练的计算资源为f
i
，根据下述公式计算本地计算的能量消耗：
[0024][0025]其中，α的值为能耗系数，b
i
表示1比特数据所需要的CPU运算周期；
[0026]本地计算的时长表示为：
[0027][0028]当用户设备i选择将训练任务卸载至小基站服务器执行时，根据下述公式计算用户设备卸载数据集的传输时延T
icom
：
[0029][0030]其中B为单个资源块的带宽，m
i
为分配给用户的资源块数，h
i
为信道增益，N0为噪声功率谱密度；R
i
为用户的传输速率，
[0031]当用户设备将数据集的卸载完成后，小基站服务器计算所需要的时间为：
[0032][0033]其中f
n
表示服务器n的总计算频率；
[0034]如果卸载到小基站n的用户人数为u
n
，则用户完成一次卸载所需要的总时延为：
[0035]T
ioff
＝T
icom
+T
imec
；
[0036]用户设备的卸载能耗即为通信过程中产生的能耗，表示为：
[0037][0038]进一步地，步骤S2中，所述通信和计算模型建立的用户开销最小化的优化问题为：
[0039][0040]s.t.f
imin
≤f
i
≤f
imax
[0041]0≤θ
i
≤1
[0042]θ
i
≤θ
[0043]a
i
∈{0，1}
[0044][0045][0046]其中，k为加权系数，f
imin
为用户最小计算频率，f
imax
为用户最大计算频率，θ
i
为用户的精度阈值，M为总信道数，T
max
为用户训练时延，T
max
＝max{a
i
T
ioff
+(1
‑
a
i
)T
iloc
，i∈[1，n]}；用户设备i的卸载决策表示为a
i
∈{0，1}，其中a
i
＝0表示在本地执行，a
i
＝1表示卸载至边缘服务器。...

【技术保护点】

【技术特征摘要】
1.一种异构网络中基于计算卸载的联邦学习调度方法，其特征在于，所述联邦学习调度方法包括以下步骤：S1，获取异构网络中联邦学习系统的环境参数和用户参数；在异构网络多MEC系统中，用户利用本地数据训练得到子模型，并将子模型发送给宏基站上的中央服务器，在中央服务器上聚合用户子模型以获得全局模型；对于资源较少无法及时完成本地训练的用户，将本地数据卸载到小基站上的边缘服务器进行计算；S2，构建通信和计算模型，该通信和计算模型综合考虑计算和通信产生的能耗、时延以及联邦学习精度，建立用户开销最小化的优化问题，将其分成为信道分配、用户计算资源分配及本地学习精度和卸载决策三个子问题，通过对三个子问题进行求解，得到最优资源分配方案和卸载决策，使所有用户移动设备整体能耗和时延最小。2.根据权利要求1所述的异构网络中基于计算卸载的联邦学习调度方法，其特征在于，步骤S1中，异构网络由宏基站与小基站组成，在宏基站的覆盖r
mbs
范围内，随机分布了N个拥有边缘服务器的小基站和I个用户设备；定义所有用户设备的集合为小基站的集合为每个用户设备i本地存储有大小为o
i
的训练数据集k∈[1，s
i
]，其中s
i
为数据数量，x
ik
为模型输入变量，y
ik
为模型输出变量；当用户设备在小基站的覆盖范围r
sbs
内时，允许选择将这一轮的联邦学习训练任务卸载至小基站上的边缘服务器训练，再将训练好的模型参数上传至宏基站进行合并。3.根据权利要求2所述的异构网络中基于计算卸载的联邦学习调度方法，其特征在于，当用户的损失函数采用l
i
(w，x
ik
，y
ik
)时，将局部损失函数定义为：全局损失函数定义为各用户局部损失函数的加权，表示为：其中q
i
为用户t的加权因子，即为各个用户占有数据量的比重，重复迭代更新直到模型收敛为止；在第t次迭代中，用户接受基站发送的模型参数w
t
，并迭代减小损失函数达到精度阈值θ
i
，当所有的用户都完成训练后，将本地模型参数和损失函数的梯度发送给基站，得到全局损失函数的梯度为：基站将t+1次的模型参数更新为w
t+1
，并发送给用户再进行下一步训练，更新的模型参数为：本地用户i的迭代次数受精度阈值影响，表示为：
其中c
i
是受到损失函数类型和全局收敛条件影响的参数。4.根据权利要求1所述的异构网络中基于计算卸载的联邦学习调度方法，其特征在于，步骤S2中，所述构建通信和计算模型的过程包括以下步骤：假设用户设备i分配给本地训练的计算资源为f
i
，根据下述公式计算本地计算的能量消耗：其中，α的值为能耗系数，b
i
表示1比特数据所需要的CPU运算周期；本地计算的时长表示为：当用户设备i选择将训练任务卸载至小基站服务器执行时，根据下述公式计算用户设备卸载数据集的传输时延T
icom
：其中B为单个资源块的带宽，m
i
为分配给用户的资源块数，h
i
为信道增益，N0为噪声功率谱密度；R
i
为用户的传输速率，当用户设备将数据集的卸载完成后，小基站服务器计算所需要的时间为：其中f
n
表示服务器n的总计算频率；如果卸载到小基站n的用户人数为u
n
，则用户完成一次卸载所需要的总时延为：用户设备的卸载能耗即为通信过程中产生的能耗，表示为：5.根据权利要求4所述的异构网络中基于计算卸载的联邦学习调度方法，其特征在于，步骤S2中，所述通信和计算模型建立的用户开销最小化的优化问题为：s.t.f
imin
≤f
i
≤f
imax
0≤θ
i
≤1θ
i
≤θa
i
∈{0，1}
其中，k为加权系数，f
imin
为用户最小计算频率，f
imax
为用户最大计算频率，θ
i
为用户的精度阈值，M为总信道数，T
max
为用户训练时延，T
max
＝max{a
i
T
ioff
+(1
‑
a
i
)T
iloc
，i∈[1，n]}；用户设备i的卸载决策表示为a
i
∈{0，1}，其中a
i

【专利技术属性】
技术研发人员：朱琦，王致远，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：