使用超网解决异构联邦学习的方法、设备及介质技术

本发明专利技术公开了一种使用超网解决异构联邦学习的方法、设备及介质，以实现通过超网为边缘设备上的异构模型生成模型权重，帮助如摄像头、智能手机等设备上的不同卷积神经网络模型能够在不同模型结构的情况下，依然能够准确快速地完成模型的联邦学习任务，并减少了在联邦学习训练过程中所需占用的内存空间。包括合理划分cifar10数据集；生成异构模型；进行异构联邦学习；重复步骤S2、S3，当客户端异构模型收敛时，超网为客户端生成模型权重，可以让客户端模型准确完成目标识别任务，此时超网H直接部署在新的边缘设备中为新的异构模型生成权重，完成新的图像处理任务。有效完成图像处理任务，减少内存空间，极大地降低了通信成本。极大地降低了通信成本。极大地降低了通信成本。

【技术实现步骤摘要】
使用超网解决异构联邦学习的方法、设备及介质


[0001]本专利技术属于联邦学习
，特别是涉及一种使用超网解决异构联邦学习的方法、电子设备、计算机存储介质。

技术介绍

[0002]移动设备和物联网设备正在成为全球数十亿用户的主要计算资源。这些设备所产生了大量的数据，可用于改进许多现有的应用程序。从隐私和经济的角度来看，由于这些设备的计算能力不断增长，在本地存储数据和训练模型变得越来越有吸引力。联邦学习(FL)是一个分布式机器学习框架，通过聚合局部训练的模型参数，使许多客户能够在不共享本地数据的情况下生成全局推理模型。一个被广泛接受的假设是，局部模型必须与全局模型采用相同的架构，才能够使用联邦学习的方法，从而产生一个单一的全局推理模型。有了这个基本的假设，我们必须限制计算能力最低的客户的全局模型的复杂性来训练其数据。在实践中，每个客户端的计算资源、计算能力和通信带宽都不同，需要在不同客户端部署异构的深度学习模型从而满足不同客户端的性能需求，因此解决异构客户端问题至关重要。
[0003]异构联邦学习(也可以称为，个性化联邦学习，PFL)旨在为联邦中的每个客户提供异构的本地模型，这可以有效解决异构客户端问题。与训练单一全局模型的全局模型异构策略不同，这类方法在每个客户端上训练单个的异构模型。其目标是通过修改FL模型的聚合过程来实现异构模型的有效聚合。目前最先进的PFL是异构联邦超网络，也称为pFedHN，该方法通过训练中央超网络模型，实现跨客户端的参数共享，并为每个客户端生成独特的异构模型，保持了生成独特和多样化的异构模型的能力。但pFedHN存在明显的缺陷，在客户端训练阶段，需要保存网络模型训练前后的参数，计算出网络模型的梯度用于超网的更新，一旦客户端网络模型是个复杂的模型，那么储存网络模型将占用极大的内存空间甚至因为内存空间不足而无法训练。因此，需要在使用超网来为每个边缘设备提供满足当前计算资源的异构模型的同时，减少其在训练过程中占用的内存资源。

技术实现思路

[0004]鉴于现有解决方案的不足，本专利技术实施例的目的在于提供一种使用超网解决异构联邦学习的方法，以实现通过超网为边缘设备上的异构模型生成模型权重，帮助如摄像头、智能手机等设备上的模型更准确快速地完成图像处理任务，并减少了在联邦学习训练过程中所需占用的内存空间。
[0005]本专利技术实施例的另一目的是提供一种电子设备。
[0006]本专利技术实施例的又一目的是提供一种计算机存储介质。
[0007]为解决上述技术问题，本专利技术所采用的技术方案是，使用超网解决异构联邦学习的方法，按照以下步骤进行：
[0008]S1，生成异构模型并初始化模型参数；
[0009]S2，生成异构模型参数权重；
[0010]S3，进行异构联邦学习；
[0011]S4，重复步骤S2、S3，当客户端异构模型收敛时，超网为客户端生成模型权重，可以让客户端模型准确完成目标识别任务，此时超网H直接部署在新的边缘设备中为新的异构模型生成权重，完成新的图像处理任务。
[0012]本专利技术所采用的另一技术方案是，一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。
[0013]本专利技术所采用的又一技术方案是，一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现所述的方法的步骤。
[0014]本专利技术的有益效果是：
[0015](1)该方法实现了超网和客户端异构模型一起端到端进行梯度下降训练，与pFedHN相比不仅提高了客户端异构模型的准确率，帮助异构模型有效完成图像处理任务，还减少了在训练过程中所需占用的内存空间。
[0016](2)该方法由于只在服务器端聚合更新超网参数，所以客户端只需向服务器端发送超网参数，又因为超网只是简单的线性网络，所以极大地降低了通信成本。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本专利技术与pFedHN方法对比的准确率折线图。
[0019]图2是异构联邦学习的流程图。
[0020]图3是本专利技术实施例的训练过程框架示意图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]本专利技术针对计算资源受限的智能边缘设备，旨在为每个边缘设备提供满足当前计算资源的异构模型。本专利技术的思路是：
[0023]在训练开始之前，服务器会在云端提前设置好每个客户端的异构模型并向每个客户端发送统一的超网模型，使用超网为客户端异构模型生成一个独立的模型权重。每个本地客户端拥有一组独特的嵌入向量，作为输入传递给超网以产生异构的模型权重。客户端会根据当前持有的数据训练自己的异构模型，在训练过程中超网络会与异构模型一起端到端进行梯度下降训练，因此更有效。本地训练结束后称，客户端会向服务器端发送更新后的超网参数，更新服务器端的超网参数。
[0024]具体来说包括以下步骤：
[0025]S1，生成异构模型并初始化模型参数：
[0026]本实施例中，服务器端一开始会根据边缘设备的计算能力选择生成异构模型并初始化异构模型参数，然后把相应的异构模型分发到每个边缘设备上，每个边缘设备上有其自身的图像数据集，这些图像数据集只会在当前设备上用于异构模型和超网的训练不与其他边缘设备和服务器进行共享。
[0027]S2，生成异构模型参数：
[0028]具体包括以下步骤：
[0029]S2.1，初始化联邦学习训练环境：设定整体训练轮次E、本地数据T、参与联邦学习的整体客户端数m，每轮挑选参与联邦学习的客户端数量为M，初始化超网模型H；
[0030]S2.2，服务器在云端为每个客户端M
i
设置好相对应的客户端异构模型C
i
，主要过程如图2所示，服务器端会向客户端发送统一的超网模型H
i
，客户端在接收到超网后，开始联邦学习训练，在一轮训练结束后在把超网模型H
i
返回到服务器端；
[0031]S2.3，生成异构模型参数；
[0032]具体包括以下子步骤：
[0033]S2.3.1，在当前客户端，超网模型H
i
是一个L层的线性网络，L根据客户端模型的复杂度和结构来设置，如2层。客户端异构模型C
i
是符合第i客户端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用超网解决异构联邦学习的方法，其特征在于，按照以下步骤进行：S1，生成异构模型并初始化模型参数；S2，生成异构模型参数；S3，进行异构联邦学习；S4，重复步骤S2、S3，当客户端异构模型收敛时，超网为客户端生成模型权重，可以让客户端模型准确完成目标识别任务，此时超网H直接部署在新的边缘设备中为新的异构模型生成权重，完成新的图像处理任务。2.根据权利要求1所述的使用超网解决异构联邦学习的方法，其特征在于，所述S1中，服务器端一开始会根据边缘设备的计算能力选择生成异构模型并初始化异构模型参数，然后把相应的异构模型分发到每个边缘设备上，每个边缘设备上有其自身的图像数据集，这些图像数据集只会在当前设备上用于异构模型和超网的训练不与其他边缘设备和服务器进行共享。3.根据权利要求1所述的使用超网解决异构联邦学习的方法，其特征在于，所述S2包括：S2.1，初始化联邦学习训练环境：设定整体训练轮次E、本地数据T、参与联邦学习的整体客户端数m，每轮挑选参与联邦学习的客户端数量为M，初始化超网模型H；S2.2，服务器在云端为每个客户端M
i
设置好相对应的客户端异构模型C
i
，服务器端会向客户端发送统一的超网模型H
i
，客户端在接收到超网后，开始联邦学习训练，在一轮训练结束后在把超网模型H
i
返回到服务器端；S2.3，生成异构模型参数。4.根据权利要求3所述的使用超网解决异构联邦学习的方法，其特征在于，所述S2.3包括：S2.3.1，在当前客户端，线性网络的层数根据客户端模型的复杂度和结构来设置，超网模型H
i
生成卷积网络的卷积核的参数权重，客户端网络中每个卷积核都包含K
in
×
K
out
滤波器，每个滤波器尺寸都有f
size
×
f
size
，假设这些卷积核参数权重都存储在一个矩阵中，客户端网络每一层l＝1,..,D，D为C
i
的层数，对于客户端网络的每一层l，超网模型H
i
...

【专利技术属性】
技术研发人员：任皓，李达，刘敏超，刘通泽，段振飞，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：