【技术实现步骤摘要】
本专利技术实施例涉及面向资源受限的边缘设备的分布式模型训练，尤其涉及一种基于神经组合的轻量化联邦学习方法和装置。
技术介绍
1、资源受限是在边缘网络中部署联邦模型训练的一大挑战，目前面向资源高效的轻量化联邦学习技术主要有以下几种方案：(1)利用稀疏化、量化等技术对客户端上传给服务器的梯度进行压缩，从而减小梯度传输所需要的通信资源开销；(2)利用模型剪枝技术降低模型的复杂度，从而减小模型训练所需要的计算资源开销，并且客户端与服务器之间也只需要传输修剪后的梯度，同时也节约了通信资源；(3)利用低秩分解技术将模型参数分解成较小的张量，再按需重组成不同复杂度的模型进行训练，同时节约了通信资源和计算资源。
2、对于上述的第一种方案来说，虽然节约了通信资源，但是由于并未降低模型的复杂度，所以计算资源的开销依旧很大。对于第二种方案来说，虽然可以同时降低通信和计算资源开销，但是其与第一种方法一样，都会降低模型训练的收敛性能。原因是在这两类方法中，被压缩或者是被修剪掉的参数无法或是只能得到很少的训练优化。而对于第三种方案来说，由于一些张量只能被部分客户端所训练，导致对应的模型得不到充分的训练，很可能在限定的完成时间之内模型训练达不到收敛要求。除此之外，这三种方案都没有很好地平衡不同客户端之间在每轮的完成时间，造成了较长的系统空等，降低了训练效率。
技术实现思路
1、针对上述轻量化方法所存在的问题进行优化，本专利技术提供一种基于神经组合的轻量化联邦学习方法和装置，在节约网络通信资源和客户端
2、第一方面，本专利技术实施例提供了一种基于神经组合的轻量化联邦学习方法，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块；方法包括：
3、根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块以及本地迭代次数；
4、在所有的客户端完成训练之后，将更新后的系数张量和基数张量上传回参数服务器进行聚合，用聚合后的结果更新全局模型并进行下一轮的训练，直到全局模型达到收敛。
5、可选的，根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块，包括：
6、根据每个客户端的本地计算能力确定各客户端能够训练的最大权重宽度，根据所述最大权重宽度为每个客户端选择对应训练的系数张量块。
7、可选的，在为客户端选择系数张量块时，选择全局模型中更新次数最少的系数张量块作为客户端所要训练的系数张量块。
8、可选的，根据每个客户端的本地计算能力确定每个客户端的本地迭代次数，包括：
9、获取每个客户端的执行速度；
10、根据每个客户端的执行速度为各个客户端确定本地迭代次数。
11、第二方面，本专利技术实施例还提供了一种基于神经组合的轻量化联邦学习装置，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块；装置包括：
12、计算模块，用于根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块以及本地迭代次数；
13、训练模块，用于在所有的客户端完成训练之后，将更新后的张量上传回参数服务器进行聚合，并用聚合后的结果更新全局模型并进行下一轮的训练，直到全局模型达到收敛。
14、可选的，所述计算模块具体用于：
15、根据每个客户端的本地计算能力确定各客户端能够训练的最大权重宽度，根据所述最大权重宽度为每个客户端选择对应训练的系数张量块。
16、可选的，所述计算模块还具体用于：
17、获取每个客户端的执行速度；
18、根据每个客户端的执行速度为各个客户端确定本地迭代次数。
19、本专利技术的有益效果：
20、本专利技术基于神经重组技术，将模型权重近似分解成基数张量与系数张量的乘积，并根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块以及本地迭代次数，该方法在节约网络通信资源和客户端计算资源的同时，保证分布式模型训练的高收敛性能，并且尽可能降低系统空等时间，提高训练的效率。
本文档来自技高网...【技术保护点】
1.一种基于神经组合的轻量化联邦学习方法，其特征在于，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块，方法包括：
2.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块，包括：
3.根据权利要求2所述的方法，其特征在于，在为客户端选择系数张量块时，选择全局模型中更新次数最少的系数张量块作为客户端所要训练的系数张量块。
4.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个客户端的本地迭代次数，包括：
5.一种基于神经组合的轻量化联邦学习装置，其特征在于，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块；装置包括：
6.根据权利要求5所述的装置，其特征在于，所述计算模块具体用于：
7.根据权利要求5所述的装置，其特征在于，所述计算模块还具体用于：
【技术特征摘要】
1.一种基于神经组合的轻量化联邦学习方法，其特征在于，将全局模型权重分解成基数张量与系数张量的乘积，所述基数张量为固定量，系数张量为可变量，全局模型根据系数张量可以分解成对应数量的系数张量块，方法包括：
2.根据权利要求1所述的方法，其特征在于，根据每个客户端的本地计算能力确定每个客户端对应训练的系数张量块，包括：
3.根据权利要求2所述的方法，其特征在于，在为客户端选择系数张量块时，选择全局模型中更新次数最少的系数张量块作为客户端所要训练的系数张量块。
【专利技术属性】
技术研发人员：刘建春，闫家铭，徐宏力，王世龙，宫建涛，刘旭东，侯坤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。