【技术实现步骤摘要】
本专利技术属于计算机科学和信息，具体的说是涉及一种针对数据异构的高效客户端筛选隐私保护联邦学习方法。
技术介绍
1、随着人工智能技术的快速发展，数据驱动的机器学习模型在医疗、金融和智能城市等领域得到了广泛应用。然而，在实际应用中，数据通常分布于不同的设备或组织之间，出于隐私保护和数据安全的需求，直接共享原始数据变得不可行。联邦学习(federatedlearning)作为一种分布式机器学习框架，通过将模型训练下沉至客户端，实现了在不直接传输数据的情况下协同训练全局模型，有效解决了数据隐私问题。然而，联邦学习在实际应用中仍面临多项挑战。
2、首先，由于不同客户端的数据分布和质量可能存在显著差异(即数据异构性)，传统的联邦学习方法容易受到低质量或不均衡数据的影响，导致模型性能下降或收敛速度变慢。其次，为了保护数据隐私，联邦学习通常采用差分隐私技术在参数传输过程中注入噪声。然而，现有的差分隐私方法在实际应用中存在隐私预算消耗大和通信开销高的问题，限制了其在资源受限环境中的应用。此外，如何平衡模型性能与客户端个性化隐私需求，也是当前联邦学习研究中的一大难题。
3、已有的一些客户端选择方法，往往采用统一的客户端选择标准，即选择具有大型本地数据集的客户端。这个标准通常会导致固定的客户选择。这些频繁选择的客户端会给模型参数注入大量噪声，对模型性能产生不利影响。因此，我们需要在客户端的选择中加入隐私性的考虑。论文“chen y,xu w,wu x,et al.pe rsonalized local differentia
技术实现思路
1、针对上述问题，本专利技术提出了一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，设计一种高效的客户端筛选机制，并结合个性化差分隐私保护策略，不仅能够提高数据质量高的客户端在模型训练中的参与度，还能够在保证强隐私保护的同时，降低隐私预算的消耗和通信开销，从而提升联邦学习的整体效率与安全性。这对于联邦学习在实际场景中的广泛应用具有重要意义。
2、为了达到上述目的，本专利技术是通过以下技术方案实现的：
3、本专利技术是一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，提出的联邦学习框架主要由两部分组成：一是客户端ck(k＝1,2,…,n)，每个客户端拥有自己的数据集dk(k＝1,2,…,n)，且每个客户端的本地数据是异构的，即他们的数据标签分布不一致，有些客户端拥有更多的标签数量，有些则比较少。二是服务器s，其协同n个客户端一起完成联邦学习的模型训练。
4、所述联邦学习方法具体包括如下步骤：
5、步骤1、初始化阶段：服务器s生成联邦学习任务，初始化第0轮的全局模型参数ω0，将第0轮的全局模型参数ω0发送给下一轮参与训练的候选客户端集合ts，为客户端分配隐私预算；
6、步骤2、客户端筛选阶段：挑选出最佳客户端，加入训练的候选客户端集合ts，具体包括如下步骤：
7、步骤2-1、计算并存储所有客户端的梯度，所有客户端进行聚类分组，得到分组集合{g1,g2,…,gn+；
8、步骤2-2、每组内根据贡献值avg-shapley值挑选出最佳客户端加入训练的候选客户端集合ts；
9、步骤2-3、采用隐私预算分配策略来提供隐私保护；
10、步骤3、本地训练阶段：客户端基于本地数据集di及全局模型参数ω进行训练，生成局部模型参数向局部模型参数注入噪声，将局部模型参数发送给服务器s；
11、步骤4、模型聚合和参数下发阶段：服务器s对接收到的局部模型参数进行均值聚合：具体为：
12、
13、将聚合后的模型参数ωt作为新一轮的全局模型参数ω下发给客户端进行下一轮的训练；
14、步骤5、重复执行步骤2-步骤4，直到达到最大训练轮数或全局模型参数ωt收敛，最大训练轮数t＝50，t＜t。
15、本专利技术的进一步改进在于：步骤2-2中每组内根据贡献值avg-shapley值挑选出最佳客户端加入训练的候选客户端集合ts，具体为：对分组集合{g1,g2,…,gn+中所有客户端按照贡献值avg-shapley值进行降序排序，选择贡献值avg-shapley值最高的客户端加入训练的候选客户端集合ts。
16、本专利技术的进一步改进在于：步骤2-3中，定义一个总消耗隐私预算集合e，e＝{e1,e2,…,en+，其存储了每个客户端在整个训练过程中所消耗的总隐私预算，隐私预算分配策略具体包括如下步骤：
17、步骤2-3-1、服务器s使用一个总消耗隐私预算集合e计算每个客户端在联邦学习迭代中消耗的总隐私预算，同时还设定了隐私预算上界∈max和隐私预算下界∈min；
18、步骤2-3-2、对于参与训练的客户端ci∈ts，将其总消耗隐私预算ei与隐私预算上界∈max进行比较，如果ei<∈max，客户端ci仍参与训练；
19、步骤2-3-3、如果ei≥∈max且∈i≤∈min，客户端ci退出训练候选客户端集合ts；
20、步骤2-3-4、如果ei≥∈max且∈i>∈min，使客户端的隐私预算∈i下降幅度∈0，∈0由客户端设定，其中，0＜∈0＜5；
21、步骤2-3-5、如果每组中原先筛选出的客户端不再参与训练，则将第二顺位的客户端加入训练候选客户端集合ts，以补充客户端参与训练。
22、本专利技术的进一步改进在于：在步骤3中，所述本文档来自技高网...
【技术保护点】
1.一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：应用该联邦学习方法的联邦学习框架主要包括客户端Ck(k＝1,2,…,N)和一个服务器S，每个客户端拥有自己的数据集Dk(k＝1,2,…,N)且每个客户端的本地数据是异构的，具体的，所述联邦学习方法具体包括如下步骤：
2.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：步骤2-2中每组内根据贡献值AVG-Shapley值挑选出最佳客户端加入训练的候选客户端集合TS，具体为：对分组集合{G1,G2,…,Gn}中所有客户端按照贡献值AVG-Shapley值进行降序排序，选择贡献值AVG-Shapley值最高的客户端加入训练的候选客户端集合TS。
3.根据权利要求2所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：步骤2-3中，定义一个总消耗隐私预算集合E，
4.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：在步骤3中，所述本地训练阶段具体包括如下步骤：
5.根据权利要求4
6.根据权利要求4所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：所述步骤3-1为候选客户端集合TS中的每个客户端Ci∈TS在收到来自服务器S的全局模型参数ω后，基于其本地数据集Di及全局模型参数ω进行模型训练，在第t轮训练中，客户端Ci∈TS基于本地数据集Di及t-1轮更新后的全局模型参数ω(t-1)计算本地损失值及其梯度，通过SGD随机梯度下降算法更新全局模型参数ω(t-1)，具体步骤如下：
7.根据权利要求4所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：所述步骤3-2为本地训练完成后基于分配的隐私预算进行噪声的注入，将注入噪声后的模型发送给服务器S，客户端Ci∈TS在本地训练完成后得到第t轮的局部模型参数生成服从正态分布的高斯噪声N(μ,σ2)，向局部模型参数注入高斯噪声N(μ,σ2)，将加噪后的局部模型参数发送给服务器S，具体为：在第t轮训练中，客户端Ci∈TS根据设定的隐私预算∈以及失败概率δ，生成服从正态分布的高斯噪声N(μ,σ2)，其中μ＝0，Δf为灵敏度，定义为单个数据改变函数f的最大幅度，接着向局部模型参数注入高斯噪声N(0,σ2)：
8.根据权利要求4所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：所述步骤3-3中，Shapley Value定义了客户端i的贡献值φi，其计算公式为：
9.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：步骤1的初始化阶段主要包括如下步骤：
10.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：所述步骤2-1计算并存储所有客户端的梯度，所有客户端根据生成的梯度相似度矩阵进行聚类分组，具体包括如下步骤：
...【技术特征摘要】
1.一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：应用该联邦学习方法的联邦学习框架主要包括客户端ck(k＝1,2,…,n)和一个服务器s，每个客户端拥有自己的数据集dk(k＝1,2,…,n)且每个客户端的本地数据是异构的，具体的，所述联邦学习方法具体包括如下步骤：
2.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：步骤2-2中每组内根据贡献值avg-shapley值挑选出最佳客户端加入训练的候选客户端集合ts，具体为：对分组集合{g1,g2,…,gn}中所有客户端按照贡献值avg-shapley值进行降序排序，选择贡献值avg-shapley值最高的客户端加入训练的候选客户端集合ts。
3.根据权利要求2所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：步骤2-3中，定义一个总消耗隐私预算集合e，
4.根据权利要求1所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：在步骤3中，所述本地训练阶段具体包括如下步骤：
5.根据权利要求4所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：在步骤3-3中，avg-shapley是指使用上一轮所有客户端训练后损失函数的均值代替上一轮的全局损失函数，使用avg-shapley方式计算后的贡献值φi-avg为：
6.根据权利要求4所述的一种针对数据异构的高效客户端筛选隐私保护联邦学习方法，其特征在于：所述步骤3-1为候选客户端集合ts中的每个客户端ci∈ts在收到来自服务...
【专利技术属性】
技术研发人员：戴华，陈俊杰，王周生，周浩，沈嘉和，李惠，杨庚，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。