基于客户端成簇的混合联邦分割学习的模型训练方法技术

本发明专利技术公开了一种根据本发明专利技术实施例的基于客户端成簇的混合联邦分割学习的模型训练方法，包括每个学习客户端根据成簇策略与其周围的辅助客户端进行分簇，以得到多个学习簇；根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，以便本地基站根据基站带宽分配策略为簇头分配带宽；簇头根据本地基站分配的带宽获取本地基站下发的全局模块，簇头根据模型切分和分配策略将全局模型切分为多个模型段，并分发给所有簇成员进行协作训练；簇头收集簇内的所有簇成员训练好的本地模型并将其上传至本地基站，以便本地基站将簇头上传的本地模型进行聚合，不仅用户计算、存储和通信负载小，而且用户并行度、对用户非独立同分布数据敏感度高。分布数据敏感度高。分布数据敏感度高。

【技术实现步骤摘要】
基于客户端成簇的混合联邦分割学习的模型训练方法


[0001]本专利技术涉及机器学习
，特别涉及一种基于客户端成簇的混合联邦分割学习的模型训练方法。

技术介绍

[0002]近年来，基于深度神经网络的机器学习技术由于其出色的学习能力以及预测能力，已被广泛用于智能交通、物联网以及电子健康领域等；为了处理智能设备产生的海量数据，同时保证机器学习的学习性能，基于数据中心和云计算的集中式机器学习提供了一种有效的解决方案；集中式机器方法需要在网络端广泛部署设备以收集数据，并将收集到的数据上传至拥有强大计算能力的中央处理器，以加快模型训练速度；然而，集中式机器学习方法将训练数据存储在单个服务器，会产生隐私数据泄露的风险，并且传输大量数据样本会导致严重的传输延时。
[0003]为了应对以上问题，提出一种称为联邦学习的分布式机器学习方法，联邦学习系统使用一组分布式客户端设备，其中每个客户端基于其本地训练数据并行训练ML模型，可以有效降低传输时延；客户端设备仅与FL服务器交换本地模型参数以聚合迭代全局模型，同时保留本地训练数据，有助于保护数据隐私；然而，联邦学习系统需要大量的计算、存储和通信资源，以满足客户端和FL服务器之间频繁的下载和上传模型参数，使得客户端计算、存储和通信资源成本上升，进一步降低了FL训练性能以及收敛速度。
[0004]为了应对客户端资源受限，采用一种称为分割学习的分布式机器学习方法，SL通过分割层在客户端和服务器端之间划分模型，客户端采样小批量数据进行本地训练并执行前向传播(FP)，并将中间输出数据以及标签数据上传至SL服务器，直至到达输出层，SL服务器基于模型的输出结果和标签执行反向传播(BP)以更新其模型，并将BP梯度数据发送到客户端，完成客户端模型更新；由于SL只需要客户端完成部分模型训练，因此，可以显著减少客户端的计算量，然而，SL客户端需要与SL服务端频繁交互，SL服务器依然需要承担相当一部分计算工作量。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于客户端成簇的混合联邦分割学习的模型训练方法，不仅使得联邦学习的用户计算、存储和通信负载小，而且分割学习的用户并行度、对用户非独立同分布数据敏感度高。
[0006]为达到上述目的，本专利技术实施例提出了一种基于客户端成簇的混合联邦分割学习的模型训练方法，包括以下步骤：每个学习客户端根据成簇策略与其周围的辅助客户端进行分簇，以得到多个学习簇，其中，每个学习簇中有且只有一个学习客户端，且分簇后的每个学习簇中可不包括辅助客户端或者包括数量不等的辅助客户端；根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，以便本地基站根据基站带宽分配策略为每个
学习簇的簇头分配带宽；每个学习簇的簇头根据本地基站分配的带宽获取本地基站下发的全局模块，每个学习簇的簇头根据模型切分和分配策略将全局模型切分为多个模型段，并分发给学习簇中的所有簇成员进行协作训练，以便完成簇内训练；每个学习簇的簇头收集簇内的所有簇成员训练好的本地模型并将其上传至本地基站，以便本地基站将每个学习簇的簇头上传的本地模型进行聚合，完成全局模型更新。
[0007]根据本专利技术实施例的基于客户端成簇的混合联邦分割学习的模型训练方法，首先，每个学习客户端根据成簇策略与其周围的辅助客户端进行分簇，以得到多个学习簇，其中，每个学习簇中有且只有一个学习客户端，且分簇后的每个学习簇中可不包括辅助客户端或者包括数量不等的辅助客户端；然后，根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，以便本地基站根据基站带宽分配策略为每个学习簇的簇头分配带宽；接着，每个学习簇的簇头根据本地基站分配的带宽获取本地基站下发的全局模块，每个学习簇的簇头根据模型切分和分配策略将全局模型切分为多个模型段，并分发给学习簇中的所有簇成员进行协作训练，以便完成簇内训练；最后，每个学习簇的簇头收集簇内的所有簇成员训练好的本地模型并将其上传至本地基站，以便本地基站将每个学习簇的簇头上传的本地模型进行聚合，完成全局模型更新；不仅使得联邦学习的用户计算、存储和通信负载小，而且分割学习的用户并行度、对用户非独立同分布数据敏感度高。
[0008]另外，根据本专利技术上述实施例提出的基于客户端成簇的混合联邦分割学习的模型训练方法还可以具有如下附加的技术特征：
[0009]可选地，所述成簇策略为广度优先搜索。
[0010]可选地，成簇策略包括L个学习客户端利用自身的本地数据参与联邦学习训练，H个具有空闲计算和通信资源的辅助客户端，其集合可表示为所有簇的集合可表示为如果一个学习客户端附近没有可用辅助客户端，则该学习客户端组成一个单独的簇，假设在第个学习簇中一共有n
l
个辅助客户端，而所有簇成员的集合可表示为其中0表示学习客户端，用一个0
‑
1二元变量c
l,h
表示辅助客户端和学习簇之间的关联状态，c
l,h
＝1表示第h∈H个辅助客户端和第l个学习簇相关联，否则c
l,h
＝0，因此，第l个学习簇的成簇策略可表示为一个向量c
l
＝{c
l,1
,c
l,2
,
…
,c
l,H
}，且任意成簇策略需满足以下条件：
[0011]可选地，根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，包括：获取学习簇中的簇成员之间的直连D2D通信速率、本地基站到学习簇中每个簇成员之间的上下行通信速率；根据学习簇中的簇成员之间的直连D2D通信速率、本地基站到学习簇中每个簇成员之间的上下行通信速率计算学习簇中每个簇成员对应的TCV值，并将TCV值中的最大值对应的簇成员选定为该学习簇中的簇头。
[0012]可选地，根据以下公式计算学习簇中每个簇成员对应的TCV值：
[0013][0014]其中，TCV
l，i
表示学习簇l中的簇成员i对应的TCV值，N表示学习簇l中的簇成员的总个数，n
l
表示学习簇l中的辅助客户端的总个数，表示从本地基站与学习簇l的簇头之
间的下行单位通信速率；表示学习簇l的簇头与本地基站之间的上行单位通信速率。
[0015]可选地，本地基站根据以下公式为每个学习簇的簇头分配带宽：
[0016][0017]其中，基站带宽分配策略可表示为向量b＝{b1,b2,...,b
L
}，b
l
∈b表示基站分配给学习簇l的带宽，B表示本地基站可用总带宽，λ
l
表示学习簇l单位时延代价。
[0018]可选地，全局模块可通过个切分层将模型切分成个模型段，所有切分层的集合可表示为用一个0
‑
1二元变量s
l,q
表示切分层q∈Q是否被选中，s
l,q
＝1表示在学习簇l中切分层q被选中，否则s
l,q<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于客户端成簇的混合联邦分割学习的模型训练方法，其特征在于，包括以下步骤：每个学习客户端根据成簇策略与其周围的辅助客户端进行分簇，以得到多个学习簇，其中，每个学习簇中有且只有一个学习客户端，且分簇后的每个学习簇中可不包括辅助客户端或者包括数量不等的辅助客户端；根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，以便本地基站根据基站带宽分配策略为每个学习簇的簇头分配带宽；每个学习簇的簇头根据本地基站分配的带宽获取本地基站下发的全局模块，每个学习簇的簇头根据模型切分和分配策略将全局模型切分为多个模型段，并分发给学习簇中的所有簇成员进行协作训练，以便完成簇内训练；每个学习簇的簇头收集簇内的所有簇成员训练好的本地模型并将其上传至本地基站，以便本地基站将每个学习簇的簇头上传的本地模型进行聚合，完成全局模型更新。2.如权利要求1所述的基于客户端成簇的混合联邦分割学习的模型训练方法，其特征在于，所述成簇策略为广度优先搜索。3.如权利要求2所述的基于客户端成簇的混合联邦分割学习的模型训练方法，其特征在于，成簇策略包括L个学习客户端利用自身的本地数据参与联邦学习训练，H个具有空闲计算和通信资源的辅助客户端，其集合可表示为所有簇的集合可表示为如果一个学习客户端附近没有可用辅助客户端，则该学习客户端组成一个单独的簇，假设在第个学习簇中一共有n
l
个辅助客户端，而所有簇成员的集合可表示为其中0表示学习客户端，用一个0
‑
1二元变量c
l,h
表示辅助客户端和学习簇之间的关联状态，c
l,h
＝1表示第h∈H个辅助客户端和第l个学习簇相关联，否则c
l,h
＝0，因此，第l个学习簇的成簇策略可表示为一个向量c
l
＝{c
l,1
,c
l,2
,...,c
l,H
}，且任意成簇策略需满足以下条件：4.如权利要求3所述的基于客户端成簇的混合联邦分割学习的模型训练方法，其特征在于，根据簇头选定策略在每个学习簇中选择一个特殊的客户端作为簇头，包括：获取学习簇中的簇成员之间的直连D2D通信速率、本地基站到学习簇中每个簇成员之间的上下行通信速率；根据学习簇中的簇成员之间的直连D2D通信速率、本地基站到学习簇中每个簇成员之间的上下行通信速率计算学习簇中每个簇成员对应的TCV值，并将TCV值中的最大值对应的簇成员选定为该学习簇中的簇头。5.如权利要求4所述的基于客户端成簇的混合联邦分割学习的模型训练方法，其特征在于，根据以下公式计算学习簇中每个簇成员对应的TCV值：其中，TCV
l,i
表示学习簇l中的簇成员i对应的TC...

【专利技术属性】
技术研发人员：黄联芬，范旭伟，黄邦振，程志鹏，陈宁，
申请(专利权)人：厦门大学，
类型：发明
国别省市：