融合自适应权重分配和个性化差分隐私的联邦学习方法技术

本发明专利技术提供了一种融合自适应权重分配和个性化差分隐私的联邦学习方法。该方法包括：客户端接收当前服务器下发的全局模型，在本地数据上进行模型训练，获得本地模型；客户端根据隐私预算向模型更新信息中添加不同程度的高斯噪声，并发送给服务器；服务器根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；服务器每经过设定数量轮次的全局模型更新后，便通过自适应权重分配算法重新分配每个客户端的聚合权重。本发明专利技术在联邦学习训练过程中满足不同客户端隐私偏好的同时着重考虑了个性化对全局模型的影响，能够根据客户端的表现来动态调整聚合权重，自动筛选出数据质量优且添加噪声小的客户端。添加噪声小的客户端。添加噪声小的客户端。

【技术实现步骤摘要】
融合自适应权重分配和个性化差分隐私的联邦学习方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种融合自适应权重分配和个性化差分隐私的联邦学习方法。

技术介绍

[0002]联邦学习是目前解决数据孤岛问题的有效方法，联邦学习通过保证原始数据不出本地，只上传模型的更新信息，即“数据可用不可见，数据不动模型动”，能够较为有效地保护客户端的数据隐私。但是，传统的联邦学习框架仍然存在隐私泄露的问题。虽然客户端向服务器发送模型更新信息，现有的研究已经指出服务器仍然有能力仅从客户端发送的模型更新信息就可以推理出其本地原始数据的相关信息。
[0003]目前许多研究通过使用差分隐私技术来增强联邦学习过程中的隐私保护。但是，现有的联邦学习相关研究没有考虑到现实中客户端隐私偏好的个性化，对所有参与的客户端都采取相同的较高隐私保护程度。这显然会导致模型精度的下降。此外，尽管有一些研究考虑了个性化差分隐私，允许客户端自身选择隐私保护程度，然而在模型聚合过程中却没有考虑客户端的隐私保护程度不同，直接使用平均聚合的方式，忽略了个性化的影响。这也会导致模型精度的下降。通过改变模型的聚合权重，即优先选择数据质量优且添加噪声小的客户端是一种有效的解决方案。然而，现有的一些聚合权重分配方案大都要求服务器具有一个高质量的验证集，这个验证集通常是由假设条件得到或由客户端贡献的数据组成的，或者要求客户端上传自己的原始数据分布等可能泄露隐私的额外信息。这些聚合权重分配方案也很少考虑在实际中客户端是动态变化的情况，即不断的有客户端加入或者退出，没有给出相应的应对方案。
[0004]因此，如何设计一种能够便于实施且保证模型精度的使用个性化差分隐私的联邦学习方法是一个亟待解决的问题。

技术实现思路

[0005]本专利技术的实施例提供了一种融合自适应权重分配和个性化差分隐私的联邦学习方法，使客户端可以根据自身的隐私偏好选取不同的隐私保护程度，同时还能便于实施以及加快全局模型收敛并保证精度。此外还考虑了客户端动态变化的情况，对由客户端加入或者退出引起的权重变化给出了完整的应对方案。
[0006]为了实现上述目的，本专利技术采取了如下技术方案。
[0007]一种融合自适应权重分配和个性化差分隐私的联邦学习方法，包括：
[0008]训练前，客户端选择相应的隐私预算；
[0009]训练时，客户端首先接收当前服务器下发的全局模型，并使用相应的算法在本地数据上进行模型训练，获得本地模型；
[0010]客户端根据自己选择的隐私预算向模型更新信息中添加不同程度的高斯噪声，将更新后的模型更新信息发送给服务器；
[0011]所述服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；
[0012]服务器每经过设定数量轮次的全局模型更新后，便通过自适应权重分配算法重新分配每个客户端的聚合权重，不断迭代上述训练过程，直至模型收敛或者达到预设条件。
[0013]优选地，所述的服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端，包括：
[0014]步骤S41:服务器整理收到的模型更新信息的数量；
[0015]步骤S42：服务器通过对比收到的模型更新信息的数量和聚合权重表中的客户端数量来检测是否有客户端退出，如果没有，则正常进行下一步步骤S43操作；如果有，则执行客户端退出算法；
[0016]步骤S43：服务器根据模型更新信息中的客户端的编号从聚合权重表中获得各个客户端的聚合权重；服务器根据各个客户端的聚合权重来加权聚合各个客户端上传的模型更新信息，聚合完成后得到全局模型，将全局模型下发给各个客户端。
[0017]优选地，所述的执行客户端退出算法，包括：
[0018]服务器根据退出的客户端的编号从聚合权重表中查询出对应的聚合权重；
[0019]服务器将这些客户端从聚合权重表中删除；
[0020]服务器对这些退出客户端的聚合权重进行求和得到总退出权重；
[0021]服务器将总退出权重平均分配或根据客户端的权重大小按比例分配给现有客户端，对聚合权重表中的各个客户端的聚合权重进行相应的更新。
[0022]优选地，所述的客户端加入算法，包括：
[0023]服务器正常计算现有客户端的表现；
[0024]服务器向要加入的客户端发送更新聚合权重表之前最新一轮的全局模型；
[0025]要加入的客户端收到全局模型后在本地数据上进行模型训练，获取本地模型；
[0026]要加入的客户端向服务器上传经过个性化差分隐私算法处理后的模型更新信息；
[0027]服务器计算要加入的客户端的模型更新信息和现有客户端在该全局模型上的模型更新信息之间的相似度；
[0028]服务器将要加入客户端的表现设置为和其相似度最大的现有客户端的表现相同；
[0029]服务器根据所有客户端的表现重新计算聚合权重表，得到并保存更新后带有新加入客户端的聚合权重表。
[0030]优选地，所述的服务器每经过设定数量轮次的全局模型更新后，便通过自适应权重分配算法重新分配每个客户端的聚合权重，包括：
[0031]服务器每经过设定数量轮次的全局模型更新后，通过综合计算每轮客户端上传的模型更新信息在该轮全局模型的最速更新方向上和整个m轮中全局模型的最速更新方向上的双重投影，来衡量该客户端的表现，具体如下：
[0032][0033][0034]其中，该轮全局模型的最速更新方向指从整个m轮中该轮全局模型最快变化到整个m轮中结束轮全局模型的方向，整个m轮中全局模型的最速更新方向指从整个m轮中开始轮全局模型最快变化到整个m轮中结束轮全局模型的方向，PERF
j(t)
为客户端j在第t轮的表现，为客户端j在第t轮的模型更新信息，为和第t轮全局模型的最速更新方向的夹角，为和整个m轮中全局模型的最速更新方向的夹角，α和β为权重参数，PERF
j
为客户端j在整个m轮中的表现；
[0035]步骤S63：服务器首先对计算后得到的客户端表现进行预处理，将位于排名后μ～客户端的表现设置为0，对预处理后的客户端表现进行映射处理；
[0036][0037]其中PERF
j
为客户端j的表现，∑PERF
j
为对所有的客户端的表现进行求和，weight
j
为最后计算得到的客户端j的权重值。
[0038]将映射处理后得到的各个客户端的表现作为重新分配的各个客户端的聚合权重，将重新分配的各个客户端的聚合权重更新存储在聚合权重表中。
[0039]由上述本专利技术的实施例提供的技术方案可以看出，本专利技术实施例的融合自适应权重分配和个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合自适应权重分配和个性化差分隐私的联邦学习方法，其特征在于，包括：训练前，客户端选择相应的隐私预算；训练时，客户端首先接收当前服务器下发的全局模型，并使用相应的算法在本地数据上进行模型训练，获得本地模型；客户端根据自己选择的隐私预算向模型更新信息中添加不同程度的高斯噪声，将更新后的模型更新信息发送给服务器；所述服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端；服务器每经过设定数量轮次的全局模型更新后，便通过自适应权重分配算法重新分配每个客户端的聚合权重，不断迭代上述训练过程，直至模型收敛或者达到预设条件。2.根据权利要求1所述的方法，其特征在于，所述的服务器接收到各个客户端发送的模型更新信息后，通过查询聚合权重表确定每个客户端的聚合权重，根据各个客户端的聚合权重来加权聚合所有模型更新信息，将聚合完成后得到的全局模型重新下发给客户端，包括：步骤S41:服务器整理收到的模型更新信息的数量；步骤S42：服务器通过对比收到的模型更新信息的数量和聚合权重表中的客户端数量来检测是否有客户端退出，如果没有，则正常进行下一步步骤S43操作；如果有，则执行客户端退出算法；步骤S43：服务器根据模型更新信息中的客户端的编号从聚合权重表中获得各个客户端的聚合权重；服务器根据各个客户端的聚合权重来加权聚合各个客户端上传的模型更新信息，聚合完成后得到全局模型，将全局模型下发给各个客户端。3.根据权利要求2所述的方法，其特征在于，所述的执行客户端退出算法，包括：服务器根据退出的客户端的编号从聚合权重表中查询出对应的聚合权重；服务器将这些客户端从聚合权重表中删除；服务器对这些退出客户端的聚合权重进行求和得到总退出权重；服务器将总退出权重平均分配或根据客户端的权重大小按比例分配给现有客户端，对聚合权重表中的各个客户端的聚合权重进行相应的更新。4.根据权利要求2所述的方法，其特征在于，所述的客户端加入算法，包括：服务器正常计算现有客户端的表现；服务器向要加入的客...

【专利技术属性】
技术研发人员：王伟，刘文博，刘鹏睿，刘吉强，李浥东，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：