一种基于自适应本地聚合的个性化联邦学习方法技术

本发明专利技术公开了一种基于自适应本地聚合的个性化联邦学习方法，涉及联邦学习技术领域，包括以下步骤：服务器发送全局模型Θ0到所有客户机中，初始化各个客户机的本地模型；客户机i执行第t轮迭代训练，执行自适应本地聚合，得到初始化本地模型；根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重并更新初始化本地模型；采用梯度下降方式更新本地模型，并发送到服务器；服务器对接收到的本地模型执行全局聚合生成全局模型Θ

【技术实现步骤摘要】
一种基于自适应本地聚合的个性化联邦学习方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种基于自适应本地聚合的个性化联邦学习方法。

技术介绍

[0002]随着智能终端的不断发展，智能端设备的数量越来越多，每天使用端设备所产生的数据量也呈指数增长态势。然而，由于这些数据的所有权均属某家机构或某位用户，人们出于数据隐私保护和数据资产保护等目的，并不会公开这些端设备上的数据，而是由所有者独自持有。即使目前世界范围内存在大量数据，但因为无法获得来自其他机构或个人的数据使用权，对于某个具体应用而言依旧面临着数据缺乏的问题，即“数据孤岛”现象。近年来，人工智能(AI)依旧保持着高速发展，AI模型的大小也与日俱增，使得庞大的AI模型对于训练数据量的需求也越来越大。通过联邦学习训练AI模型，能够在保护数据隐私的前提下同时利用多个机构或个人的数据，实现信息融合。
[0003]联邦学习采用“客户机
‑
服务器”的架构模式，通过迭代训练以下三步直到模型收敛：(1)服务器通过网络发送全局模型到本轮参与训练的客户机；(2)客户机接收全局模型后，覆盖旧本地模型，并在本地数据上进行训练；(3)训练完成后，客户机通过网络上传本地模型到服务器；(4)服务器收到满足设定个数的客户机模型后执行模型聚合，生成新的全局模型。由于在联邦学习过程中，客户机数据并不进行上传，在数据不出本地的情况下完成模型训练，实现在保护数据隐私的情况下训练AI模型。然而，由于各个客户机采集数据的方式或行为等不一致，使得多个客户机之间的数据不满足独立同分布特性，造成全局模型不能适应本地数据和泛化性差等问题。与传统联邦学习获得全局模型的目标不同，个性化联邦学习旨在利用联邦学习过程弥补客户机本地数据量不足的问题，为每个客户机学习一个适用于本地数据集的模型，而如果利用好全局模型中的信息是提升个性化联邦学习模型训练效果的关键之一。
[0004]在个性化联邦学习领域，现有的方法通过隐式或粗粒度的方式，从全局模型中为每个客户机提取其所需的信息，容易引入使得本地模型质量下降的信息。此外，由于每个客户机能够根据收到的模型恢复训练数据，现有方法传输其他客户机模型到当前客户机中的方式，提高了数据隐私泄露的风险，同时也提高了网络通讯的代价。
[0005]因此，本领域的技术人员致力于开发一种基于自适应本地聚合的个性化联邦学习方法，能够在较低网络通讯代价的情况下，精准地提取全局模型中有利于提高本地模型质量的信息。

技术实现思路

[0006]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何利用全局模型促进本地模型训练，实现全局模型中信息的精准提取。
[0007]为实现上述目的，本专利技术提供了一种基于自适应本地聚合的个性化联邦学习方
法，所述方法包括以下步骤：
[0008]步骤1、服务器发送初始的全局模型Θ0到所有客户机中，初始化各个客户机的本地模型，客户机初始化自适应本地聚合权重；其中，i为客户机编号，t为当前个性化联邦学习的轮数；
[0009]步骤2、客户机i执行第t轮迭代训练，根据服务器发送的全局模型Θ
t
‑1执行自适应本地聚合，得到本次迭代的初始化本地模型；
[0010]步骤3、根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重；若得到新的自适应本地聚合权重，则执行自适应本地聚合更新初始化本地模型；
[0011]步骤4、客户机i采用梯度下降方式更新本地模型，并将本地模型发送到服务器；
[0012]步骤5、服务器对接收到的本地模型执行全局聚合生成全局模型Θ
t
；
[0013]步骤6、重复步骤2至步骤5，执行T轮迭代训练，直到各个客户机的本地模型训练收敛；其中，t∈[0,T]。
[0014]进一步地，所述步骤1还包括：
[0015]定义全局目标函数为：
[0016][0017]一般地，
[0018]式中，L
i
为本地目标函数；L(
·
)为损失函数；D
i
为第i个客户机上的数据集；|D
i
|为第i个客户机上的数据集的大小；Θ为全局模型；为第i个客户机上的初始化本地模型。
[0019]进一步地，所述步骤1还包括：
[0020]由于全局目标函数的可加性，分别求：
[0021][0022]来实现对G(
·
)的求解。
[0023]进一步地，在所述步骤2中，每轮个性化联邦学习中服务器根据客户机的参与率ρ，随机选择N个客户机中的一个子集I
t
发送全局模型。
[0024]进一步地，根据以下公式执行自适应本地聚合：
[0025][0026]其中，W
ip
为自适应本地聚合权重，p表示只应用本地聚合在本地模型的倒数第p层上；Θ
i
为第i个客户机上的本地模型；与Θ
t
‑1中的前|Θ
i
|
‑
p层网络层具有同样的形状，W
ip
与Θ
t
‑1中的后p层网络层具有同样的形状，表示用Θ
t
‑1中|Θ
i
|
‑
p中的参数覆盖Θ
t
‑1中相应层的参数，实现对中低层网络层参数的本地初始化。
[0027]进一步地，所述步骤3还包括：
[0028]若t＝1，则不进行自适应本地聚合权重训练；
[0029]若t＝2，则重复进行自适应本地聚合权重训练，直到自适应本地聚合权重收敛；
[0030]若t＞2，则进行一次自适应本地聚合权重训练。
[0031]进一步地，所述自适应本地聚合权重训练包括：
[0032]将本地模型和权重更新冻结不参与训练；
[0033]在部分本地数据集上进行训练得到新的自适应本地聚合权重。
[0034]进一步地，所述在部分本地数据集上进行训练得到新的自适应本地聚合权重为：
[0035]客户机i从本地数据集D
i
中采样s％数据得到部分数据集用梯度下降的方式优化：
[0036][0037]其中，η为权重训练的学习率；
[0038]得到自适应调整后的W
ip
，根据σ(w)＝max(0,min(1,w))按元素进行剪枝。
[0039]进一步地，所述客户机i采用梯度下降方式更新本地模型如下：
[0040][0041]其中，α为本地模型训练的学习率。
[0042]进一步地，在所述步骤5中，根据以下公式执行全局聚合：
[0043][0044]与现有技术相比，本专利技术具有如下有益技术效果：
[0045]1、本专利技术首次以按元素方式实现自适应本地聚合，能够精准地捕获全局模型中有利于本地模型训练的信息，引入来自本地客户机数据之外的信息，有效缓解本地数据稀缺的问题；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应本地聚合的个性化联邦学习方法，其特征在于，所述方法包括以下步骤：步骤1、服务器发送初始的全局模型Θ0到所有客户机中，初始化各个客户机的本地模型，客户机初始化自适应本地聚合权重；其中，i为客户机编号，t为当前个性化联邦学习的轮数；步骤2、客户机i执行第t轮迭代训练，根据服务器发送的全局模型Θ
t
‑1执行自适应本地聚合，得到本次迭代的初始化本地模型；步骤3、根据t值判断是否需要进行自适应本地聚合权重训练，以得到新的自适应本地聚合权重；若得到新的自适应本地聚合权重，则执行自适应本地聚合更新初始化本地模型；步骤4、客户机i采用梯度下降方式更新本地模型，并将本地模型发送到服务器；步骤5、服务器对接收到的本地模型执行全局聚合生成全局模型Θ
t
；步骤6、重复步骤2至步骤5，执行T轮迭代训练，直到各个客户机的本地模型训练收敛；其中，t∈[0,T]。2.如权利要求1所述的基于自适应本地聚合的个性化联邦学习方法，其特征在于，所述步骤1还包括：定义全局目标函数为：一般地，式中，L
i
为本地目标函数；L(
·
)为损失函数；D
i
为第i个客户机上的数据集；|D
i
|为第i个客户机上的数据集的大小；Θ为全局模型；为第i个客户机上的初始化本地模型。3.如权利要求2所述的基于自适应本地聚合的个性化联邦学习方法，其特征在于，所述步骤1还包括：由于全局目标函数的可加性，分别求：来实现对G(
·
)的求解。4.如权利要求3所述的基于自适应本地聚合的个性化联邦学习方法，其特征在于，在所述步骤2中，每轮个性化联邦学习中服务器根据客户机的参与率ρ，随机选择N个客户机中的一个子集I
t
发送全局模型。5.如权利要求4所述的基于自适应本地聚合的个性化联邦学习方法，其特征在于，根据以下公式执行自适应本地聚合：其中，W
...

【专利技术属性】
技术研发人员：马汝辉，张剑清，褚学森，宋涛，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：