【技术实现步骤摘要】
本专利技术属于机器学习，涉及分布式学习，尤其涉及一种用于异步联邦学习环境的自适应梯度裁剪方法。
技术介绍
1、联邦学习作为一种分布式机器学习范式，通过在多个分散的节点上训练模型，而不是传输原始数据，从而有效降低了数据泄露的风险。相比传统的集中式学习方法，联邦学习的一个显著优势是能够保护数据隐私，尤其在处理敏感信息时具有重要意义。然而，尽管联邦学习在隐私保护方面展现了巨大的潜力，它在实际应用中仍面临一系列挑战，尤其是数据保密性、模型更新的同步性以及通信效率等方面的问题。联邦学习可以分为同步联邦学习和异步联邦学习。异步联邦学习相比同步联邦学习具有更高的灵活性，它允许各个节点在无需等待其他节点反馈的情况下独立进行模型更新。然而，在异步联邦学习框架下，由于节点之间的更新步伐不一致，部分节点的更新可能滞后于其他节点，导致收敛变慢，从而影响训练过程的稳定性和模型的最终性能。为了提升联邦学习的整体性能并有效解决这些问题，研究者们提出了将同步联邦学习和梯度裁剪方法结合，提出了基于同步联邦学习框架的梯度裁剪方法，该方法使模型能够以更大的批量尺寸进行训练，一定程度上提高了训练效率。然而，尽管目前研究者提出了基于同步联邦学习框架的梯度裁剪方法，但他们在异步联邦学习的研究并未涉及模型梯度裁剪方法，而且目前同步联邦学习框架下的梯度裁剪方法不适用于异步联邦学习框架，主要原因在于两者的训练方式和节点间的更新机制存在显著差异。若在异步框架中直接应用同步框架中的梯度裁剪方法，会进一步放大节点之间的滞后差异，导致模型的优化方向偏离最优路径，从而降低训练的稳定性。在
2、综上所述，亟需设计一种异步联邦学习框架的自适应裁剪方法来解决以上问题。
技术实现思路
1、针对上述现有技术的不足，本专利技术公开了一种基于异步联邦学习框架的自适应梯度裁剪方法；该方法通过动态的裁剪阈值，确保了梯度更新的稳定性，同时允许模型在训练过程中根据数据特性和网络条件自动调整更新幅度，从而提高了模型训练的效率和稳定性。本专利技术应用于图像识别任务，使得异步联邦学习框架中的resnet模型(包括resnet18，resnet34，resnet50等)的图像识别准确率提高。这不仅意味着模型能够更快地达到预期的性能水平，而且在面对数据分布的多样性和客户端条件的异质性时，模型展现出了更好的适应性和鲁棒性。
2、本专利技术的技术方案具体介绍如下。
3、本专利技术提供了一种基于异步联邦学习框架的自适应梯度裁剪方法，包括以下步骤；
4、步骤1：客户端模型初始化
5、每个客户端首先通过通信进程从中央服务器预读取全局模型参数，作为本地训练的初始模型。
6、步骤2：本地模型训练
7、客户端在接收到全局模型参数后，使用本地数据进行训练；在本地训练中，客户端通过异步联邦学习框架的自适应梯度裁剪方法(fedasync-iagc：asynchronous federatedlearning framework-improve adaptive gradient clipping)来提高训练效率和模型性能。训练完成后，客户端的训练进程会立即进入下一次迭代训练；
8、步骤3：上传更新后的模型参数
9、在客户端的训练进程进入下一次迭代训练的同时，所有客户端将更新后的模型参数通过通信进程上传至中央服务器；
10、步骤4：中央服务器聚合模型参数
11、中央服务器的通信进程接收每个客户端上传的新模型参数，然后，中央服务器通过聚合进程对这些模型参数进行聚合，生成新的全局模型参数；
12、步骤5：全局模型的更新与迭代
13、中央服务器将更新后的全局模型参数通过通信进程分发至所有客户端，客户端使用该参数继续下一轮的本地训练；本地训练通过异步联邦学习框架的自适应梯度裁剪方法(fedasync-iagc)来提高训练效率和模型性能，直到达到最大迭代轮数或模型性能达到预期目标为止。
14、本专利技术中，步骤(2)和步骤(5)中，异步联邦学习框架的自适应梯度裁剪方法是根据初始裁剪因子和梯度范数与参数范数的比值来动态调整裁剪阈值；对于第l层第i个的梯度参数计算出梯度范数和参数范数根据初始裁剪因子λ和梯度与参数范数比值的指数函数来计算动态裁剪阈值λ*：
15、
16、ε是一个小常数，值为e-8；其中：
17、是梯度范数与参数范数的比例,这个比值越小，λ*会减小，将对梯度进行大幅裁剪。相反，这个比值越大，λ*越接近于λ，这意味着梯度不需要太多的裁剪。
18、当大于与λ*的乘积时，第l层的梯度将被裁剪，被裁剪的梯度为从而使得其范数被限制在与λ*的乘积内。当小于最大梯度范数即与λ*的乘积时，第l层的梯度将保持不变。当非常小时，这个表达式计算梯度的范数和一个小常数ε之间的较大值。可以使得进行梯度裁剪时分母不会太小。
19、通过上述技术方案，本专利技术的有益效果在于：
20、1.本专利技术通过根据梯度与参数范数的比值动态调整裁剪阈值，能够增强训练稳定性，并且保持高效的学习速度。这种动态调整机制使模型训练过程更加灵活和高效，显著提升了模型的训练性能。在梯度裁剪过程中引入小常数ε，防止因除以极小或接近零的数值而导致的数值不稳定性或无限大结果，确保算法在各种情况下的可靠性。
21、2.本专利技术将自适应梯度裁剪方法与异步联邦学习框架相结合，该方法能够灵活应对不同客户端的网络条件和计算能力，实现高效的分布式模型更新。客户端无需等待其他节点的同步反馈，提升系统的整体鲁棒性和适应性，适用于各种异构网络环境。
22、3.本专利技术通过自适应梯度裁剪优化梯度更新过程，使模型在复杂数据集(如cifar-10和cifar-100)上的识别准确率显著提升，增强了模型的整体性能和实用价值。
本文档来自技高网...【技术保护点】
1.一种基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，包括以下步骤；
2.如权利要求1所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，步骤1中，全局模型参数中包括参数梯度偏置Bias和其他可训练参数。
3.如权利要求1所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，步骤2和步骤5中，所述的异步联邦学习框架的自适应梯度裁剪方法是根据初始裁剪因子和梯度范数与参数范数的比值来动态调整裁剪阈值。
4.如权利要求3所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，对于第e层第个的梯度参数计算出梯度范数和参数范数根据初始裁剪因子λ和梯度与参数范数比值的指数函数来计算动态裁剪阈值λ*：
5.如权利要求4所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，当大于与λ*的乘积时，第l层的梯度将被裁剪；当小于最大梯度范数即与λ*的乘积时，第l层的梯度将保持不变。
6.如权利要求4所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，当大于与λ*的乘积时，第l层的梯度将被裁剪，被裁剪的梯
7.如权利要求1所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，模型为ResNet模型，其用于图像识别任务。
...【技术特征摘要】
1.一种基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，包括以下步骤；
2.如权利要求1所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，步骤1中，全局模型参数中包括参数梯度偏置bias和其他可训练参数。
3.如权利要求1所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，步骤2和步骤5中，所述的异步联邦学习框架的自适应梯度裁剪方法是根据初始裁剪因子和梯度范数与参数范数的比值来动态调整裁剪阈值。
4.如权利要求3所述的基于异步联邦学习框架的自适应梯度裁剪方法，其特征在于，对于第e层第个的梯度参数计算出梯度范数和参数范数根...
【专利技术属性】
技术研发人员：胡小明，李苗苗，刘琰，白双杰，
申请(专利权)人：上海第二工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。