【技术实现步骤摘要】
本专利技术属于医疗图像分类以及联邦学习，特别涉及一种面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法。
技术介绍
1、联邦学习(federated learning,fl)，使得每个客户端能够在自己的数据上训练模型，并与服务器中的其他本地模型通信，以聚合成一个更通用的全局模型，而无需从客户端收集任何隐私敏感的原始数据。以最具代表性的fl框架fedavg为例，每个客户端和服务器在整个训练过程中协同训练具有相同架构的同构模型。更具体地说，服务器通过聚合本地模型参数来更新全局模型，并定期向每一轮通信中的所有客户端发送平均全局模型参数。从上述方法中可以看出，经典的fl框架通常需要赋予客户端相同的模型架构进行参数聚合。然而，当每个客户端设计其个性化模型时，传统的联邦学习框架无法满足需求。
2、为了克服这些问题，个性化联邦学习(personalized federated learning,pfl)旨在为联邦设备中的每个客户端个性化全局模型。然而，到目前为止，人们对个性化联邦学习中模型异质性问题的研究较少。在传统的联邦学习框架中，所有客户端联合训练全局模型。但是考虑到不同的应用场景，每个客户端可能需要构建不同的局部模型，这在当前的联邦学习框架中无法满足。例如，一些客户端可能会将联邦学习模型部署到边缘设备上，一些客户端要求训练好的模型适应本地数据，因此，需要单独设计网络架构。
3、为了在fl中实现更通用的训练框架，已经提出了联邦蒸馏(federateddistillation,fd)来聚合服务器中的局部软预
4、因此，研究一种更灵活的方法来执行知识提取阶段是至关重要的。由于超网络可以将目标任务的嵌入映射到相应的模型参数来生成其他神经网络的参数，受此启发，可以使用超网络生成异构的客户端模型。例如，shamsian等人是第一个在fl中应用超网络的人，它可以为每个客户端生成有效的个性化模型参数，在这个方法中，每个客户端都有一个id，通过将id输入嵌入层产生嵌入向量，再将嵌入向量输入到超网络来生成对应的个性化模型，其中嵌入层和超网络利用客户端的权重更新通过链式求导获得梯度，进而更新。另一个使用超网络的方法是pfedla，它认为模型在层之间具有相似性，因此在模型层之间聚合时，需要使用不同的权重。它在服务器为每一个客户端维护了一个超网络，用来生成聚合时模型层之间的权重。然而这些方法都只是在客户端模型架构相同的基础上进行了探讨。
5、联邦学习隐私保护的性质，使得它在医疗领域得到很好的应用。在医疗领域，电子病历、医学影像等医疗数据，一方面对精准健康的实现有奠基性的作用，另一方面，这些数据往往分散在各处，因其敏感性而很难被共享。例如，智能手表收集到个人实时心跳数据，研究者试图使用这些数据，结合电子病历，训练模型，以辅助医生进行判断。但是智能手表厂商和医院的病历记录都以隐私理由拒绝数据公开。而使用联邦学习，则能确保敏感的病人数据保留在当地机构或个人消费者手中，在联邦机器学习过程中不泄漏给模型训练者。此外，如果只使用某一特定人群的数据训练，那么模型就可能偏向于特定的数据分布。更可靠的方法是能够从更能代表全球人口比例的电子病例数据集中进行训练，但这种数据超越了单一的医院或场所，需要将数据进行汇总，这几乎不可能实现，因此，联邦学习就显得尤为重要。
6、而联邦学习目前都是在模型架构相同的基础上进行探讨，当医疗机构不仅要求医疗数据私有，还要求使用个性化模型，且模型架构私有时，目前的联邦学习无法满足要求。
技术实现思路
1、本专利技术的目的在于提出一种面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，利于解决医疗机构在参与联邦学习时，需要披露模型架构以及模型异构的问题，在保护医学图像数据隐私的同时，满足医疗机构模型的个性化要求和模型架构的隐私要求。
2、本专利技术为了实现上述目的，采用如下技术方案：
3、一种面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；
4、所述面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法包括如下步骤：
5、步骤i.1.初始化客户端，确定客户端的数目n和每个客户端所需的参数量k；
6、步骤i.2.初始化服务器，根据客户端上传的信息，创建对应深度的嵌入层以及超网络，其嵌入层的深度为其中，n表示超网络生成参数维度；
7、步骤i.3.使用超网络为参与训练的所有客户端生成所需的参数；
8、步骤i.4.客户端加载超网络生成的模型参数，并基于本地医学图像数据集训练私有模型；
9、步骤i.5.客户端收集训练过程中对应参数数目的梯度，并上传服务器；
10、步骤i.6.服务器接收客户端上传的梯度，并通过链式求导，获得嵌入层和超网络的梯度，从而更新服务器中的嵌入层和超网络；
11、步骤i.7.重复步骤i.3至步骤i.6，直到训练结束；在训练结束后，医疗机构通过加载服务器超网络生成的个性化模型参数，以此获得用于医疗图像分类的个性化模型。
12、此外，在上述联邦学习方法的基础上，为了缓解医疗机构彼此模型异构和医学图像数据非独立同分布的问题，本专利技术还进一步提出了一种面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，该方法基于超网络梯度和客户端医学图像数据分布进行聚类，能够使得医学图像数据分布相似，受模型异构影响较小的客户端在同一群体，有效提升了联邦学习方法的性能，确保医疗机构能够获得性能更好的个性化模型。
13、本专利技术为了实现上述目的，采用如下技术方案：
14、一种面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；
本文档来自技高网...
【技术保护点】
1.一种面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；其特征在于，
2.根据权利要求1所述的面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其特征在于，所述步骤1.3中，使用超网络为参与训练的所有客户端生成所需的参数的公式表达如下：
3.根据权利要求1所述的面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其特征在于，所述步骤1.6中，服务器接收客户端上传的梯度，并通过链式求导，获得嵌入层和超网络的梯度，从而更新服务器中的嵌入层和超网络的公式表达如下：
4.一种面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；其特征在于，
5.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，所述步骤II.2中，在初始时，所有客户端都在同一簇，因此有：
6.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方
7.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，所述步骤II.7具体为：
8.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，所述步骤II.8中，更新每个客户端对应嵌入层的参数，然后采用加权聚合的方式，更新每个簇的超网络参数和每个簇的全局小模型的参数的过程如下：
9.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，对于新加入的医疗机构，将其作为一个新的客户端，在服务器创建和超网络对应数目的嵌入层，即每个嵌入层对应一个超网络，然后依次使用服务器中不同簇的超网络为该客户端生成参数，客户端依次加载后使用本地医学图像数据集训练，并依次返回对应参数的梯度，从而更新每个嵌入层；训练结束后，比较各个簇的超网络生成的模型参数精度，则客户端属于生成的模型参数精度最高的那个簇；然后医疗机构请求服务器用簇内的超网络生成所需的模型参数，从而获得个性化的模型，并实现医学图像分类任务。
10.根据权利要求9所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，执行基于超网络的模型异构的聚类联邦学习泛化过程如下：
...【技术特征摘要】
1.一种面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；其特征在于，
2.根据权利要求1所述的面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其特征在于，所述步骤1.3中，使用超网络为参与训练的所有客户端生成所需的参数的公式表达如下：
3.根据权利要求1所述的面向医疗图像分类任务的基于超网络的模型异构的联邦学习方法，其特征在于，所述步骤1.6中，服务器接收客户端上传的梯度，并通过链式求导，获得嵌入层和超网络的梯度，从而更新服务器中的嵌入层和超网络的公式表达如下：
4.一种面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其针对的联邦学习系统包括服务器以及作为客户端的多个医疗机构；其特征在于，
5.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，所述步骤ii.2中，在初始时，所有客户端都在同一簇，因此有：
6.根据权利要求4所述的面向医疗图像分类任务的基于超网络的模型异构的聚类联邦学习方法，其特征在于，所述步骤ii.6中，服务器接收客户端上传的梯度和权重更新，利用客户端梯度通过链式求导获得嵌入层的梯度和对应簇的超网络的梯度...
【专利技术属性】
技术研发人员：张琛，李虎生，王丹心，杨昕，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。