【技术实现步骤摘要】
本专利技术涉及机器学习，具体为基于聚类的半异步联邦学习方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、大多数物联网设备生成的数据需要集中存储在高性能的服务器中进行建模和分析，这些数据通常具有较高的隐私敏感性（如个人健康记录、家庭用电数据等）。联邦学习（fl）通过协调多个物联网设备进行人工智能训练，而无需共享原始数据，能够避免用户隐私数据在多个物联网设备之间传输。
3、大多数联邦学习方法假设在同步通信环境下运行，客户端能够同时将本地模型上传至服务器，隐含地认为所有选择的客户端能够在相近的时间完成本地训练。然而，这一假设在实际场景中往往不成立，由于客户端设备通常具有不同的计算能力和网络资源，导致服务器接收到的本地更新并不能同步进行。在这种情况下，最晚完成本地训练并上传模型训练结果的客户端被称为“掉队设备”。这些设备的训练时间较长，影响了整个联邦学习系统的训练效率。
4、针对上述问题，大部分联邦学习方法采取让速度较快的客户端等待掉队设备完成训练再进行聚合的策略。尽管这种方法能够在一定程度上平衡各设备的进度，但它显著降低了系统整体的收敛速度和效率，并造成了训练速度较快的设备对计算资源的浪费。
5、为了应对同步联邦学习（fl）中设备掉队所引发的问题，现有技术提出了异步联邦学习方法，以提升收敛性能。在异步方案中，一旦服务器接收到任何一个设备的局部模型更新，就会立即进行全局模型的更新，而无需等待所有设备完成任务。这种方式管理简单且配置
技术实现思路
1、为了解决上述
技术介绍
中存在的技术问题，本专利技术提供基于聚类的半异步联邦学习方法及系统，融合了同步和异步方法的优点，在提高联邦学习收敛效率的同时，能够保持较为稳定的准确性。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专利技术的第一个方面提供基于聚类的半异步联邦学习系统，包括：
4、聚类模块，被配置为：获取多个客户端设备进行本地训练的模型训练结果和训练处理时间，并根据训练处理时间进行聚类得到多组设备簇；选取每一组设备簇中的协调者，用于协调本簇内的其他客户端设备保持同步通信和同步聚合，并与簇外的服务器进行异步通信，保持异步更新；
5、模型聚合模块，被配置为：利用服务器接收各设备簇上传的训练结果，基于延迟补偿机制在簇与簇之间进行异步更新，生成新的全局模型，通过将新的全局模型发送回协调者以完成一轮联邦学习训练；通过不断迭代，直至全局模型收敛。
6、进一步的，选取每一组设备簇中的协调者，具体为：以每一组设备簇中，处理时间最小的客户端设备作为本簇内，处理能力最强大的协调者。
7、进一步的，处理时间包括本地训练计算时间与本地模型更新的通讯时间的和。
8、进一步的，处理时间为 + ，，；
9、其中，为本地训练计算时间，为本地模型更新的通讯时间，为客户端设备的cpu频率，为训练一个数据样本的cpu周期，为数据集大小，为上传的数据大小，传输速率，为发射带宽，为信道增益，为发射功率，为背景噪声功率。
10、进一步的，聚类的目标，如下式所示：
11、minimize；
12、 ， >0；
13、其中，表示权重指数，随着方差的增大而增大。
14、进一步的，簇中，一轮簇内聚合的时间均值和方差，如下式所示：
15、；
16、；
17、其中，为均值，为方差，为簇，为处理时间，表示客户端设备是否属于簇。
18、进一步的，表示客户端设备是否属于簇，如下式所示：
19、；
20、其中，为簇，为权重，为处理时间。
21、进一步的，权重的计算和更新方法，如下式所示：
22、；
23、， 0< <1；
24、其中，为方差，为簇，为权重； p为参数，范围在0到1内；是常数，用于控制之前的权重指数对当前更新的影响。
25、进一步的，延迟补偿机制，具体为：
26、；
27、；
28、其中，为服务器上的全局轮数，为簇上传簇模型的轮数，每当服务器收到更新时，全局轮次计数增加1；同时，更新后的轮次计数被发送回协调器；当上传的簇模型不陈旧时，如果发送到服务器的簇模型具有陈旧性，则的值在0和1之间。
29、本专利技术的第二个方面提供基于聚类的半异步联邦学习方法，包括以下步骤：
30、获取多个客户端设备进行本地训练的模型训练结果和训练处理时间，并根据训练处理时间进行聚类得到多组设备簇，每一组设备簇具有多个客户端设备的训练结果；选取每一组设备簇中的协调者，用于协调本簇内的其他客户端设备保持同步通信和同步聚合，并与簇外的服务器进行异步通信，保持异步更新；
31、利用服务器接收各设备簇上传的训练结果，基于延迟补偿机制在簇与簇之间进行异步更新，生成新的全局模型，通过将新的全局模型发送回协调者以完成一轮联邦学习训练；通过不断迭代，直至全局模型收敛。
32、与现有技术相比，以上一个或多个技术方案存在以下有益效果：
33、结合了同步和异步fl的优点，使具有相似训练完成时间的客户端设备的训练结果先聚类在一起，通过同步聚合得到一个准确度较高的簇模型。然后在簇与簇之间进行异步更新，并且通过延迟补偿机制缓解延迟带来的影响，再进行全局更新，相较于传统联邦学习同步方案，能够提升联邦学习的效率，同时保持较高的模型准确性，最终提高联邦学习系统的全局模型性能，节省训练完成时间，解决设备异构问题。
本文档来自技高网...【技术保护点】
1.基于聚类的半异步联邦学习系统，其特征在于，包括：
2.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，选取每一组设备簇中的协调者，具体为：以每一组设备簇中，处理时间最小的客户端设备作为本簇内，处理能力最强大的协调者。
3.如权利要求2所述的基于聚类的半异步联邦学习系统，其特征在于，处理时间包括本地训练计算时间与本地模型更新的通讯时间的和。
4.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，处理时间为+，，；
5.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，聚类的目标，如下式所示：
6.如权利要求5所述的基于聚类的半异步联邦学习系统，其特征在于，簇中，一轮簇内聚合的时间均值和方差，如下式所示：
7.如权利要求6所述的基于聚类的半异步联邦学习系统，其特征在于，表示客户端设备是否属于簇，如下式所示：
8.如权利要求5所述的基于聚类的半异步联邦学习系统，其特征在于，权重的计算和更新方法，如下式所示：
9.如权利要求1所述的基于聚类的半异步联邦学习系
10.基于聚类的半异步联邦学习方法，利用如权利要求1-9任一项所述的系统实现，其特征在于，包括以下步骤：
...【技术特征摘要】
1.基于聚类的半异步联邦学习系统，其特征在于，包括：
2.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，选取每一组设备簇中的协调者，具体为：以每一组设备簇中，处理时间最小的客户端设备作为本簇内，处理能力最强大的协调者。
3.如权利要求2所述的基于聚类的半异步联邦学习系统，其特征在于，处理时间包括本地训练计算时间与本地模型更新的通讯时间的和。
4.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，处理时间为+，，；
5.如权利要求1所述的基于聚类的半异步联邦学习系统，其特征在于，聚类的目标，如下式所示...
【专利技术属性】
技术研发人员：赵乙，胡春雨，高天雷，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。