一种物联网设备能耗自适应控制的分层联邦学习方法技术

本发明专利技术公开了一种物联网设备能耗自适应控制的分层联邦学习方法，包括如下步骤：1)通过在物联网设备和云服务器之间部署边缘服务器，搭建分层联邦学习系统；2)在每个训练周期t的起始阶段，云服务器根据统计信道信息以及物联网设备的能耗队列状态，制定物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)；3)在训练过程中，物联网设备本地模型，并发送到边缘服务器进行边缘聚合从而更新边缘模型；边缘服务器将边缘模型上传到云服务器进行全局聚合更新全局模型；云服务器通过边缘服务器将全局模型传输给所有物联网设备从而进行下一轮的训练；该发明专利技术能够在满足长期能耗约束的前提下，以较低的训练时延获得较高的学习性能。性能。性能。

【技术实现步骤摘要】
一种物联网设备能耗自适应控制的分层联邦学习方法


[0001]本专利技术涉及移动通信领域物理层以及机器学习关键技术，特别是一种物联网设备能耗自适应控制的分层联邦学习方法。

技术介绍

[0002]随着物联网技术以及人工智能技术的发展，通过训练深度学习网络，越来越多的物联网设备能够为教育，医疗，安全，工业等领域提供智能化的服务。由于物联网设备采集到的数据具有隐私性，为了允许多个物联网设备在不泄露本地数据的情况下，协助地完成模型训练，联邦学习框架被提出。传统的联邦学习框架要求物联网设备直接和云服务器进行训练模型交互，由于物联网设备数目较多并且离云服务器距离较远，这种模式增加了回程链路上的传输压力以及传输的不可靠性。因此有人提出通过在无网络设备近端部署边缘服务器从而搭建分层联邦学习框架。该框架下物联网设备不直接和云服务器通信，而是将本地模型先传输给边缘服务器进行边缘聚合，再由边缘服务器将边缘模型传输到云服务器进行全局聚合。现有的分层联邦学习框架大多只考虑了将边缘服务器部署到传统的联邦学习框架中，并没有同时考虑物联网设备能耗受限，训练时延较长，训练性能下降等问题，降低了该框架在实际运行中的可行性。

技术实现思路

[0003]本专利技术所要解决的技术问题是克服现有技术的不足而提供的一种物联网设备能耗自适应控制的分层联邦学习方法，其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
[0004]本专利技术为解决上述技术问题采用以下技术方案：
[0005]根据本专利技术提供的一种物联网设备能耗自适应控制的分层联邦学习方法，在多个物联网设备和云服务器之间部署边缘服务器搭建分层联邦学习系统；云服务器利用统计信道状态信息以及物联网设备耗能情况制定物联网设备计算能力控制策略以及物联网设备关联策略；物联网设备，边缘服务器，云服务器协作完成模型训练，具体如下：
[0006]步骤1，所述的分层的联邦学习系统包含物联网设备、边缘服务器和云服务器；物联网设备，边缘服务器，以及云服务器之间通过无线链路进行通信。
[0007]步骤2，对样本进行训练，在训练周期t的开始阶段，云服务器根据统计信道信息以及物联网设备的耗能序列情况，计算物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)，其目标为在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失。
[0008]步骤3，在给定物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}后，在每个周期的训练过程中，包括有本地计算、本地模型上传、边缘聚合、以及全局聚合的过程，具体步骤如下：
[0009]步骤3.1，物联网设备首先进行本地计算，物联网设备基于自己的本地数据更新本
地模型；当本地计算次数到达κ1次时，物联网设备将更新之后的本地模型上传到相关联的边缘服务器。
[0010]步骤3.2，边缘服务器采集到所关联物联网设备的本地模型后，进行边缘聚合，形成边缘模型；如果当前训练周期内物联网设备的本地计算次数未达到κ1κ2次，边缘服务器计算更新之后的边缘模型并广播给关联的物联网设备，从而进行接下来的本地计算；其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合。如果当前周期内物联网设备的本地计算次数达到κ1κ2次，边缘服务器则将更新时候的边缘模型上传到云服务器进行全局聚合，形成全局模型。
[0011]步骤3.3，云服务器通过边缘服务器将全局模型传输给所有物联网设备，从而进行下一轮的训练，并且更新物联网设备能耗队列状态。
[0012]步骤4，重复步骤2和步骤3，直到全局模型收敛。
[0013]进一步的，步骤2中，训练样本是由物联网设备通过信息采集生成的。为降低回程链路的传输压力，物联网设备只和边缘服务器进行通信，而边缘服务器既可以和物联网设备进行通信，也可以和云服务器进行通信。
[0014]进一步的，步骤2中，统计信道状态信息是指信道的大尺度衰落，包括路径损耗和阴影衰落。
[0015]进一步的，步骤2中，物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}是依据“在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失”的原则，目标函数为：
[0016][0017]其中F(t)＝{f1(t)，
…
，f
K
(t)}；
[0018]f
k
(t)为物联网设备在当前周期的计算能力，并且满足
[0019]此外A(t)＝{a
ks
(t)|k∈{1，
…
，K}，s∈{1，
…
，S}}，其中K是分层联邦学习系统中物联网设备有的数量，S是分层联邦学习系统中边缘服务器的数量；
[0020]a
ks
(t)∈{0,1}是物联网设备k的与边缘服务器s的关联策略，
[0021]a
ks
(t)＝1表示物联网设备k的与边缘服务器s相关联，否则a
ks
(t)＝0；并且一个物联网设备至多关联一个边缘服务器，即
[0022]τ(t)是当前周期的训练时延，满足
[0023][0024]其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合；
[0025]是物联网设备k∈{1，
…
，K}进行一次本地计算所需的时间，我们有其中D
k
是物联网设备的本地样本数量，C
k
为单个样本所需要的计算量；
[0026]是物联网设备k将本地模型上传到边缘服务器s∈{1，
…
，S}所需的时间；是边缘服务器s∈{1，
…
，S}将更新之后的边缘模型广播给相关联的物联网设备所消耗的时间；
[0027]是边缘服务器s将更新之后的边缘模型上传给云服务器的时间；
[0028]τ
down
(t)是云服务器将全局模型通过边缘服务器传输给所有物联网设备的时间；
[0029]U
k
(t)是物联网设备k的本地模型对全局模型收敛的重要性，可以通过给定全局模型下本地训练的梯度进行估计，如果梯度的范数越大，说明该物联网设备本地模型更重要；
[0030]E
k
(t)是物联网设备k在周期t的消耗的能耗，且其中
[0031]计算能耗传输能耗η是物联网设备的芯片耗能系数，是物联网设备k的传输功率，是物联网设备k本地模型上传时间；
[0032]H
k
(t)是物联网设备k在周期t的能耗队列状态，其更新过程为：
[0033]其中为物联网设备k的平均能耗预算；
[0034]系数V用于调节时延，模型重要性以及能耗的权重，而系数ρ用于调节时延和模型重要性的权重。
[0035]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，在物联网设备和云服务器之间部署边缘服务器搭建分层联邦学习系统；云服务器利用统计信道状态信息以及物联网设备能耗队列状态制定物联网设备计算能力控制策略以及物联网设备关联策略；物联网设备，边缘服务器和云服务器协作完成模型训练，具体步骤如下：步骤1，所述的分层的联邦学习系统包含物联网设备、边缘服务器和云服务器；物联网设备，边缘服务器，以及云服务器之间通过无线链路进行通信；步骤2，对样本进行训练，在训练周期t的开始阶段，云服务器根据统计信道信息以及物联网设备能耗队列状态，计算物联网设备计算能力控制策略F(t)以及物联网设备关联策略A(t)，在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失；步骤3，训练周期t内，在给定物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}后，在一个训练周期中，包括有本地计算、本地模型上传、边缘聚合、以及全局聚合的过程，具体步骤如下：步骤3.1，物联网设备首先进行本地计算，物联网设备基于自己的本地数据更新本地模型；当本地计算次数到达κ1次时，物联网设备将更新之后的本地模型上传到相关联的边缘服务器；步骤3.2，边缘服务器采集到所关联物联网设备的本地模型后，进行边缘聚合，形成边缘模型；如果当前训练周期内物联网设备的本地计算次数未达到κ1κ2次，边缘服务器计算更新之后的边缘模型并广播给关联的物联网设备，从而进行接下来的本地计算；其中κ1κ2是一个训练周期内本地计算的次数，在一个周期内每κ1次本地计算后进行边缘聚合，共进行κ2次边缘聚合；如果当前周期内物联网设备的本地计算次数达到κ1κ2次，边缘服务器则将更新时候的边缘模型上传到云服务器进行全局聚合，形成全局模型；步骤3.3，云服务器通过边缘服务器将全局模型传输给所有物联网设备，从而进行下一轮的训练，并且更新物联网设备能耗队列状态；步骤4，重复步骤2和步骤3，直到全局模型收敛。2.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，用于训练的样本是由物联网设备通过信息采集生成的；为降低回程链路的传输压力，物联网设备只和边缘服务器进行通信，而边缘服务器既可以和物联网设备进行通信，也可以和云服务器进行通信。3.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，所述统计信道状态信息是指信道的大尺度衰落，包括路径损耗和阴影衰落。4.根据权利要求1所述的一种物联网设备能耗自适应控制的分层联邦学习方法，其特征在于，步骤2中，物联网设备本地计算能力控制策略以及物联网设备关联策略{F(t)，A(t)}是依据“在满足物联网设备长期能耗约束的前提下，以较低的训练时延达到给定的训练损失”的原则，目标函数为：其中F(t)＝{f1(t)，
…
，f
K
(t)}，f
k
(t)为物联网设备在当前周期的计算能力，并且满足
此外A(t)＝{a
ks
(t)|k∈{1，
…
，K}，s∈{1，
…
，S}}，其中...

【专利技术属性】
技术研发人员：朱洪波，徐波，夏文超，赵海涛，张晖，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：