【技术实现步骤摘要】
本申请涉及数字信息传输，特别涉及基于模型分割和资源配置的联邦学习训练方法及系统。
技术介绍
1、联邦学习(federated learning，fl)是一种保护隐私的分布式机器学习框架。在联邦学习中，所有参与设备并行地使用本地数据执行模型训练过程，并通过上传模型参数至边缘服务器进行聚合以更新参数。在这种方法中，设备不需要上传本地原始数据至边缘服务器，既满足了当下日益重要的隐私保护问题，又能够利用边缘服务器产生的海量数据训练一个泛化性强的模型。在实际应用中，联邦学习框架的性能可能受到多个因素的影响，如数据异构性、设备系统性、聚合效率等。联邦学习的目标是通过访问大量私人数据，为智能应用程序提供支持，从而大大提高可用性。这对于隐私要求高的领域，如金融、医疗等，具有显著的应用潜力。
2、目前，常用的联邦学习训练方法有以下几种。
3、基于模型压缩的训练方法：模型压缩是一种根据客户端计算资源自适应减少模型深度和隐藏层神经元个数的方法，本质上是通过减少模型参数量从而解决联邦学习中面临的设备异构性问题，如heterofl和scalefl。然而，沿着宽度(减少神经元个数)进行模型压缩将导致子模型变得窄而深，窄网络(限制输入通道)在一定程度上丢失了识别基本特征的能力。深网络需要更多的计算资源和时间，同时需要更多的数据来避免过拟合。基于上述原因，联邦学习后得到的全局模型的质量会急剧下降，资源有限的设备在模型部署时会出现严重的准确性损失问题。
4、基于模型分割的训练方法：模型分割是由gupta和vepakomm等人提
5、现有的分割联邦学习方法主要存在以下不足：设备异构性是影响联邦学习训练任务的一个重要因素，许多方法假设设备的算力、带宽等情况是相同的，但是实际场景中的设备的算力情况是多样的，这种异构性严重影响了训练的效率。现有的分割联邦学习方法主要侧重于使用不同的技术来提高模型的性能，而忽略了从系统层面对联邦学习训练过程的优化，从而限制了模型训练的效率。现有的方法通常假设所有客户端具有相同的分割层、服务器端有相同的资源配置方案，但是不符合实际环境下的设备情况。现有的聚合方法依赖于所有客户端完成训练后上传模型参数。然而这一过程受限于速度最慢的客户端，导致计算资源较强的设备必须等待资源有限的设备，从而降低了整体训练效率。
技术实现思路
1、本申请实施例提供了基于模型分割和资源配置的联邦学习训练方法及系统，用以解决现有技术中分割联邦学习方法存在的效率较低的问题。
2、一方面，本申请实施例提供了基于模型分割和资源配置的联邦学习训练方法，包括：
3、获取每个客户端的本地信息；
4、根据本地信息确定客户端的训练时间，以训练时间最小为目标，建立目标函数；
5、求解目标函数，得到相应的客户端模型分割方案；
6、根据客户端模型分割方案对所有的客户端进行分类，将在自身的计算资源限制下能够完成训练的客户端划分为第一类客户端，将在自身的计算资源限制下不能完成训练的客户端划分为第二类客户端；
7、按照客户端模型分割方案将第二类客户端的客户端模型进行分割，得到顶层模型和底层模型，将顶层模型发送至边缘服务器；
8、以总分配资源不超过边缘服务器的计算资源为原则，为每个第二类客户端分配计算资源；
9、第一类客户端利用自身的本地数据训练对应的客户端模型，第二类客户端先利用自身的本地数据训练对应的底层模型，然后将底层模型输出的中间结果发送至边缘服务器，边缘服务器采用为第二类客户端分配的计算资源利用中间结果对顶层模型进行训练；
10、在每一轮训练结束后，对第一类客户端中客户端模型的参数以及与第二类客户端对应的底层模型和顶层模型的参数进行聚合，得到当前聚合参数；
11、将当前聚合参数作为第一类客户端中客户端模型的参数以及与第二类客户端对应的底层模型和顶层模型的参数，进行下一轮训练，直到训练完毕，得到训练后的全局模型。
12、另一方面，本申请实施例还提供了基于模型分割和资源配置的联邦学习训练系统，包括：
13、客户端信息获取模块，用于获取每个客户端的本地信息；
14、目标函数建立模块，用于根据本地信息确定客户端的训练时间，以训练时间最小为目标，建立目标函数；
15、函数求解模块，用于求解目标函数，得到相应的客户端模型分割方案；
16、客户端分类模块，用于根据客户端模型分割方案对所有的客户端进行分类，将在自身的计算资源限制下能够完成训练的客户端划分为第一类客户端，将在自身的计算资源限制下不能完成训练的客户端划分为第二类客户端；
17、模型分割模块，用于按照客户端模型分割方案将第二类客户端的客户端模型进行分割，得到顶层模型和底层模型，将顶层模型发送至边缘服务器；
18、资源分配模块，用于以总分配资源不超过边缘服务器的计算资源为原则，为每个第二类客户端分配计算资源；
19、第一模型训练模块，用于第一类客户端利用自身的本地数据训练对应的客户端模型，第二类客户端先利用自身的本地数据训练对应的底层模型，然后将底层模型输出的中间结果发送至边缘服务器，边缘服务器采用为第二类客户端分配的计算资源利用中间结果对顶层模型进行训练；
20、参数聚合模块，用于在每一轮训练结束后，对第一类客户端中客户端模型的参数以及与第二类客户端对应的底层模型和顶层模型的参数进行聚合，得到当前聚合参数；
21、第二模型训练模块，用于将当前聚合参数作为第一类客户端中客户端模型的参数以及与第二类客户端对应的底层模型和顶层模型的参数，进行下一轮训练，直到训练完毕，得到训练后的全局模型。
22、本申请中的基于模型分割和资源配置的联邦学习训练方法及系统，具有以下优点：
23、1、针对边缘环境下资源受限客户端的联邦学习任务，进一步完善了模型分割方法和资源配置策略，以提升训练效率和性能。
24、2、鉴于现有方法未能充分考虑客户端算力差异及边缘服务器计算资源的不足，本申请提出了一种结合模型分割与资源配置的优化方案。该方案根据客户端计算能力划分深度神经网络模型，并合理分配边缘服务器的计算资源，以加速联邦学习的训练过程。
25、3、本申请设计了一种个性化的模型分本文档来自技高网...
【技术保护点】
1.基于模型分割和资源配置的联邦学习训练方法，其特征在于，包括：
2.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，建立所述目标函数时，根据所述本地信息确定每个所述客户端在一轮训练中需要的所述训练时间，选取多个所述训练时间中的最大值，以所述最大值达到最小为目标，建立所述目标函数。
3.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，所述底层模型输出的所述中间结果和相应的样本标签发送至所述边缘服务器，所述边缘服务器将所述中间结果输入所述顶层模型，得到相应的预测标签，将所述预测标签和所述样本标签的差值作为损失函数，根据所述损失函数对所述顶层模型的参数进行调整。
4.根据权利要求3所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，在所述顶层模型的参数调整后，所述边缘服务器将所述顶层模型调整参数过程中每一层的梯度传输至所述底层模型，所述底层模型通过反向传播的方式计算每一层的梯度，根据计算得到的梯度对所述底层模型的参数进行调整。
5.根据权利要求1所述的基于模型分割和资源配置的联
6.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，所述目标函数表示为：
7.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，利用贪心算法求解所述目标函数，得到所述客户端模型分割方案。
8.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，利用二分法为每个所述第二类客户端分配计算资源。
9.应用权利要求1-8任一项所述的基于模型分割和资源配置的联邦学习训练方法的系统，其特征在于，包括：
...【技术特征摘要】
1.基于模型分割和资源配置的联邦学习训练方法，其特征在于，包括：
2.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，建立所述目标函数时，根据所述本地信息确定每个所述客户端在一轮训练中需要的所述训练时间，选取多个所述训练时间中的最大值，以所述最大值达到最小为目标，建立所述目标函数。
3.根据权利要求1所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，所述底层模型输出的所述中间结果和相应的样本标签发送至所述边缘服务器，所述边缘服务器将所述中间结果输入所述顶层模型，得到相应的预测标签，将所述预测标签和所述样本标签的差值作为损失函数，根据所述损失函数对所述顶层模型的参数进行调整。
4.根据权利要求3所述的基于模型分割和资源配置的联邦学习训练方法，其特征在于，在所述顶层模型的参数调整后，所述边缘服务器将所述顶层模型调整参数过程中每一层的梯...
【专利技术属性】
技术研发人员：陈彦萍，梁元升，胡俊艳，刘刚，王艺蒙，金小敏，王忠民，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。