【技术实现步骤摘要】
本专利技术涉及联邦学习场景下的个性化，尤其涉及一种个性化联邦场景下基于数据分布相似性的聚类方法。
技术介绍
1、联邦学习作为一种新兴的分布式机器学习范式，允许用户在本地进行模型训练，并将训练好的模型上传到服务器，共同协作训练可共享的全局模型。在整个过程中，本地数据无需传递到集中式服务器，这不仅避免了暴露敏感的用户信息，同时还减少了原始数据传输的通信开销。
2、联邦学习虽然具有隐私保护的优势，但是由于参与联邦学习的用户通常是独立性较强的个体（如手机，笔记本电脑和车等各种智能终端设备），不同用户收集的数据在数据类别、数据特征等方面均存在异构，在服务器处进行聚合操作时，极有可能会偏离全局最优值，从而造成全局模型性能下降。同时，由于联邦学习的中央服务器没有访问用户数据的权限，所以一些数据预处理操作，如均衡、离群点检测等方法受到了限制。数据异构造成的全局模型性能下降是传统联邦学习存在的一个巨大问题。为了解决该问题，个性化联邦学习被提出，并且得到了广泛的研究，其中包括：（1）基于元学习的个性化方法，即利用元学习技术训练一个极易初始化的元模型作为全局模型，然后针对不同的用户数据进行微调，从而形成个性化模型；（2）基于正则项的个性化方法，即利用不同的聚合方式生成不同粒度的正则项，约束本地训练的过程，从而降低本地模型与全局模型的差异；（3）基于层的个性化方法，即在深度神经网络中，只聚合浅层的模型参数，以获得更全面的特征表示，对于深层的模型参数，使用微调等方式满足个性化实现；（4）其它方法，即使用其它技术提升个性化模型准确率的方法。p>
3、最近出现了许多关注聚类联邦学习的工作，该方法根据用户的数据分布，对其训练中的用户进行聚类，为解决联邦学习中的统计异质性问题提供了一个新的思路。聚类联邦学习的优势在于：（1）可以更好的增强数据分布相近的用户之间的协作，使得最终训练得到的模型比现有的方法精度更高；（2）通过聚类算法把数据非独立同分布的用户划分为多组近似独立同分布的用户进行训练，可解释性更强；（3）作为一种架构上的设计，可以完美融入到其他个性化联邦学习方法中。
4、然而，现在的聚类联邦学习方法训练效率低，出现该问题的原因主要有两个方面，首先，聚类联邦学习需要根据用户的数据分布做聚类，但是联邦训练过程中，中央服务器无法直接获取用户的数据分布，因此需要中央服务器根据已知的信息估计用户之间数据分布的相似性，现有的方法中常使用用户上传的模型的参数或梯度之间的距离估计用户之间数据分布的相似性，但是随着机器学习与深度学习的不断发展，模型参数的维度不断增加，进而导致在估计用户之间的数据分布相似性时的计算开销过大，严重增加整个联邦学习系统的训练时间。其次，现在的聚类联邦学习方法中经常使用的聚类算法如k-means、dbscan等算法需要在聚类前给出聚类数量，而常用的基于穷举的思想确定聚类数量的方法又无法在联邦学习中使用，而聚类数量又会严重影响最终得到的聚簇结构从而影响最后训练得到的模型精度，一些现有的工作为了得到最优的簇结构，会在联邦训练的过程中频繁调整簇结构，严重增加整个联邦学习系统的训练时间，其他一些现有的工作为了减少因频繁调整簇结构带来的额外计算开销，选择在联邦训练开始时就确定好聚类数量，训练过程中不再调整，但现有的这类方法中少有对聚类数量如何指定给出明确的分析方案。
技术实现思路
1、针对上述问题，本专利技术提供一种个性化联邦场景下基于数据分布相似性的聚类方法，提升聚类联邦学习的训练效率。
2、本专利技术的技术方案如下：一种个性化联邦场景下基于数据分布相似性的聚类方法，包括步骤如下：
3、第一步，初始化用户模型；
4、步骤1-1、所有用户模型初始化；
5、步骤1-2、所有用户根据用户数据采用梯度下降算法更新用户模型参数；
6、步骤1-3、中央服务器加权聚合用户模型得到全局模型，并同步给用户；
7、步骤1-4、重复步骤1-2、步骤1-3共个全局训练轮次，得到预训练模型；
8、第二步，用户根据第一步得到的预训练模型和用户数据计算聚类度量指标；计算得到的聚类度量指标上传到中央服务器；
9、第三步，中央服务器利用用户上传的聚类度量指标对用户分簇；
10、步骤3-1、中央服务器根据聚类度量指标计算用户之间的邻接矩阵、度矩阵和拉普拉斯矩阵；
11、步骤3-2、中央服务器采用谱聚类做预聚类，得到多个簇；
12、步骤3-3、中央服务器计算各个簇的簇内权重和每两个簇之间的簇间权重；
13、步骤3-4、中央服务器对簇结构进行调整，确定最终的簇结构；
14、第四步，用户根据确定好的簇结构，在对应的簇内执行联邦平均算法，更新各自的簇头模型，直到簇头模型收敛；收敛的簇头模型作为最终的用户模型。
15、所述步骤1-1所有用户模型初始化为相同的随机参数，随机生成一组用户模型参数，将所有用户的用户模型参数设置为。
16、所述步骤1-2更新用户模型参数，具体步骤如下：
17、以步骤1-1中随机生成的用户模型参数作为初始用户模型参数，在用户数据上使用随机梯度下降算法更新用户模型参数；
18、
19、其中，为用户本地更新第轮的用户模型参数；为用户本地更新的学习率；为用户的一般损失函数，采用交叉熵损失，用户本地更新的训练轮次为。
20、所述步骤1-3中央服务器加权聚合用户模型得到全局模型，同步给用户，具体步骤如下：
21、首先，所有用户将自己更新后的用户模型参数上传至中央服务器；中央服务器对所有用户的用户模型参数按照用户数据量做加权平均，得到聚合模型；
22、
23、其中为用户的总数量，表示用户的本地数据集，表示所有用户的数据集之和，表示在第个全局通信轮次时，用户经过本地轮次训练得到的用户模型参数；
24、中央服务器将聚合模型下发给所有用户，用户将聚合模型作为下一个全局聚合轮次的本地更新初始模型。
25、所述第二步的聚类度量指标计算如下，将用户的每条本地数据输入到用户模型中，得到用户模型的softmax层输出，最后对所有本地数据的softmax层输出结果取平均值，得到该用户的数据分布表示，作为后续聚类的聚类度量指标；
26、
27、其中，表示本地数据在用户模型的softmax层输出，表示用户的第条数据，表示用户的数据分布表示，作为聚类度量指标；为经过轮次后更新的用户模型；所述数据分布表示的维度等于数据类别的数量。
28、所述步骤3-1中央服务器根据聚类度量指标计算用户之间的邻接矩阵、度矩阵和拉普拉斯矩阵，具体步骤如下：
29、首先将用户的聚类度量指标视为一个离散数据分布，
30、
31、其中代表数据的标签类别，代表用户的聚类度量指标的第项；
32、采用wasserstein距离计算各个用户聚类本文档来自技高网...
【技术保护点】
1.一种个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，包括步骤如下：
2.根据权利要求1所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-1所有用户模型初始化为相同的随机参数，随机生成一组用户模型参数，将所有用户的用户模型参数设置为。
3.根据权利要求2所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-2更新用户模型参数，具体步骤如下：
4.根据权利要求3所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-3中央服务器加权聚合用户模型得到全局模型，同步给用户，具体步骤如下：
5.根据权利要求4所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述第二步的聚类度量指标计算如下，将用户的每条本地数据输入到用户模型中，得到用户模型的softmax层输出，最后对所有本地数据的softmax层输出结果取平均值，得到该用户的数据分布表示，作为后续聚类的聚类度量指标；
6.根据权利要求5所述的个性化联邦场景下基于数据分布相似性的聚类方
7.根据权利要求6所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤3-2中央服务器采用谱聚类做预聚类，具体步骤如下，
8.根据权利要求7所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤3-3中央服务器计算各个簇的簇内权重和每两个簇之间的簇间权重，具体如下；
9.根据权利要求8所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤3-4中央服务器对簇结构做调整，确定最终簇结构，具体步骤如下：首先计算理想状态下的簇内权重，当簇内用户的数据分布表示满足独立同分布时，分簇的效果最佳，计算得到理想状下的簇内权重为，其中表示簇中的用户数量；在实际的联邦训练中，由于无法找到一个划分使得簇内的用户数据分布完全相同，定义调整阈值计算方法如下，
...【技术特征摘要】
1.一种个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，包括步骤如下：
2.根据权利要求1所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-1所有用户模型初始化为相同的随机参数，随机生成一组用户模型参数，将所有用户的用户模型参数设置为。
3.根据权利要求2所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-2更新用户模型参数，具体步骤如下：
4.根据权利要求3所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述步骤1-3中央服务器加权聚合用户模型得到全局模型，同步给用户，具体步骤如下：
5.根据权利要求4所述的个性化联邦场景下基于数据分布相似性的聚类方法，其特征在于，所述第二步的聚类度量指标计算如下，将用户的每条本地数据输入到用户模型中，得到用户模型的softmax层输出，最后对所有本地数据的softmax层输出结果取平均值，得到该用户的数据分布表示，作为后续聚类的聚类度量指标；
<...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。