一种基于对比学习的联邦学习稀疏训练方法及系统技术方案

本发明专利技术公开了一种基于对比学习的联邦学习稀疏训练方法及系统，涉及联邦学习算法框架、神经网络稀疏训练和对比学习的交叉领域。其中，所述方法包括：服务端向本地客户端发送全局模型和掩码；本地客户端根据接收的全局模型和掩码，生成局部稀疏模型，并使用本地数据集对局部稀疏模型进行训练；本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型，并将更新后的局部稀疏模型上传到服务端；服务端聚合本地客户端更新后的局部稀疏模型，对全局模型进行更新，并将更新后的全局模型发送给本地客户端，开始新一轮的沟通训练直至全局模型收敛。本发明专利技术通过在联邦学习中引入稀疏训练和对比学习，显著降低计算通信开销，提高了全局模型的性能。提高了全局模型的性能。提高了全局模型的性能。

【技术实现步骤摘要】
一种基于对比学习的联邦学习稀疏训练方法及系统


[0001]本专利技术涉及分布式机器学习
，涉及联邦学习算法框架、神经网络稀疏训练和对比学习的交叉领域，更具体地，涉及一种基于对比学习的联邦学习稀疏训练方法及系统。

技术介绍

[0002]由于隐私保护、计算资源等方面的原因造成的数据孤岛，正在阻碍着训练人工智能模型所必须的大数据使用。
[0003]作为一种分布式机器学习技术，联邦学习成为一种解决数据孤岛的方法，通过多个客户端共同训练机器学习模型。联邦学习在数据不发送给他人的情况下，通过交换模型来协同训练机器学习模型，从而保护数据隐私，已在医学学习、自然语言处理和欺诈信用卡检测等广泛应用。
[0004]但联邦学习目前仍然存在以下问题：
[0005](1)异质性问题：数据的异质性，即非独立同分布的数据会使局部模型偏离全局模型，影响聚合后的全局模型的性能；
[0006](2)计算通信开销问题：由于现实生活中，一些本地客户端是小型设备，如手机或者个人笔记本，这些设备没有足够的算力训练大模型，同时，与服务器的沟通也会受到带宽的限制。
[0007]在资源受限时，上述问题的存在使得联邦学习的训练精度大大降低。

技术实现思路

[0008]本专利技术提供了一种基于对比学习的联邦学习动态稀疏训练方法，旨在降低联邦学习的通信开销的同时保证模型的准确率。
[0009]为解决上述技术问题，本专利技术的技术方案如下：
[0010]第一方面，一种基于对比学习的联邦学习稀疏训练方法，包括：
[0011]服务端向本地客户端发送全局模型和掩码；其中，所述掩码基于稀疏度生成，用于表示全局模型参数是否被保留下来；
[0012]本地客户端根据接收的全局模型和掩码，生成局部稀疏模型，并使用本地数据集对局部稀疏模型进行训练；
[0013]在每轮训练过程中，本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型，并将更新后的局部稀疏模型上传到服务端；
[0014]服务端聚合本地客户端更新后的局部稀疏模型，对全局模型进行更新，并将更新后的全局模型发送给本地客户端，开始新一轮的沟通训练直至全局模型收敛。
[0015]本技术方案中，通过在联邦学习的过程直接训练稀疏模型，有效减少了训练过程中的计算量，降低设备的存储成本，加快训练过程，显著降低联邦学习计算通信开销；此外，在联邦学习的过程中还引入了对比学习方法，学习相似实例之间的共同特征，利用对比损
失函数使同一目标在不同数据增强下的相似性最大化，使不同目标之间的相似性最小化，解决数据异质性问题，在降低联邦学习计算通信开销的同时提高了模型的准确率。
[0016]作为优选方案，所述服务端向本地客户端发送全局模型和掩码，包括：
[0017]服务端初始化全局模型根据稀疏度生成用于表示全局模型的参数是否被保留下来的掩码其中，t表示联邦学习轮次，稀疏度S为全局模型中被裁剪掉的参数数量与总参数量之比；
[0018]服务端随机选择参与本轮参与联邦学习的本地客户端，将全局模型和掩码发送给本地客户端。
[0019]作为优选方案，所述本地客户端根据接收的全局模型和掩码，生成局部稀疏模型，具体为：
[0020]本地客户端接收全局模型和掩码将全局模型和掩码进行Hadamard内积，得到局部稀疏模型其中，t表示联邦学习轮次，k表示本地客户端的索引。
[0021]作为优选方案，所述使用本地数据集对局部稀疏模型进行训练，包括：
[0022]本地客户端将本地数据集输入局部稀疏模型中，局部稀疏模型进行预测，并计算损失函数其中，t表示联邦学习轮次，k表示本地客户端的索引；
[0023]根据预设的学习率η对局部稀疏模型进行更新。
[0024]作为本优选方案的一种可能设计，所述根据预设的学习率η对局部稀疏模型进行更新，更新过程采取以下操作：
[0025][0026]作为优选方案，所述在每轮训练过程中，本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型，包括：
[0027]将本地数据集分别输入第t轮局部稀疏模型第t
‑
1轮的局部稀疏模型第t轮的全局模型中，分别得到对应的特征向量z、z
last
和z
glob
；
[0028]根据特征向量计算对比损失函数其表达式为：
[0029][0030]式中，τ为预设的温度超参数；
[0031]更新本地损失函数，其表达式为：
[0032][0033]式中，表示局部稀疏模型的损失函数；
[0034]利用更新后的本地损失函数更新局部稀疏模型
[0035]作为优选方案，在每轮训练过程中，本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型后，在预设的通信轮次进行掩码调整，动态演化更新局部稀疏模型的网络结构，再将动态演化更新后的局部稀疏模型上传到服务端。
[0036]本优选方案中，通过在特定轮次调整掩码，对局部稀疏网络进行动态更新，可实现寻找更好的稀疏结构的目的。相较于静态稀疏训练，在高稀疏性下，动态稀疏训练可提高局部稀疏模型的精度，进而提高整个联邦学习模型的准确率。
[0037]作为本优选方案的一种可能设计，所述在预设的通信轮次进行掩码调整，动态演化更新局部稀疏模型的网络结构，具体为：
[0038]在本地客户端与服务端通信的特定轮次，移除局部稀疏模型部分神经元结点之间的连接，使局部稀疏模型被调整至更高稀疏度S+(1
‑
S)α
t
；其中，α
t
是动态调整参数，其表达式为：
[0039][0040]式中，α表示预设的第一轮的动态调整参数α1的值，t表示联邦学习轮次，T
end
表示最后一轮学习轮次；
[0041]根据局部稀疏模型即时的梯度信息增长与移除相同数量的神经元、梯度最大的连接，使模型的稀疏度恢复为原稀疏度S。
[0042]作为优选方案，所述服务端聚合本地客户端更新后的局部稀疏模型，对全局模型进行更新，包括：
[0043]服务端接收若干个本地客户端上传的局部稀疏模型
[0044]服务端基于FedAvg方式，将若干个局部稀疏模型进行统一聚合，生成更新后的全局模型其聚合过程表达式为：
[0045][0046]其中，K表示第t轮参与训练的本地客户端c
k
的数量，D
k
表示本地客户端c
k
对应的本地数据集，表示所有本地客户端的数据集，k表示本地客户端c
k
的索引。
[0047]第二方面，一种基于对比学习的联邦学习稀疏训练系统，应用于第一方面任一技术方案提出的一种基于对比学习的联邦学习稀疏训练方法，包括服务端和本地客户端，所述服务端与本地客户端连接；
[0048]其中，所述服务端，用于向本地客户端发送全局模型和掩码，还用于聚合本地本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的联邦学习稀疏训练方法，其特征在于，包括：服务端向本地客户端发送全局模型和掩码；其中，所述掩码基于稀疏度生成，用于表示全局模型参数是否被保留下来；本地客户端根据接收的全局模型和掩码，生成局部稀疏模型，并使用本地数据集对局部稀疏模型进行训练；在每轮训练过程中，本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型，并将更新后的局部稀疏模型上传到服务端；服务端聚合本地客户端更新后的局部稀疏模型，对全局模型进行更新，并将更新后的全局模型发送给本地客户端，开始新一轮的沟通训练直至全局模型收敛。2.根据权利要求1所述的一种基于对比学习的联邦学习稀疏训练方法，其特征在于，所述服务端向本地客户端发送全局模型和掩码，包括：服务端初始化全局模型根据稀疏度S生成用于表示全局模型的参数是否被保留下来的掩码其中，t表示联邦学习轮次，稀疏度S为全局模型中被裁剪掉的参数数量与总参数量之比；服务端随机选择参与本轮参与联邦学习的本地客户端，将全局模型和掩码发送给本地客户端。3.根据权利要求1所述的一种基于对比学习的联邦学习稀疏训练方法，其特征在于，所述本地客户端根据接收的全局模型和掩码，生成局部稀疏模型，具体为：本地客户端接收全局模型和掩码将全局模型和掩码进行Hadamard内积，得到局部稀疏模型其中，t表示联邦学习轮次，k表示本地客户端的索引。4.根据权利要求1所述的一种基于对比学习的联邦学习稀疏训练方法，其特征在于，所述使用本地数据集对局部稀疏模型进行训练，包括：本地客户端将本地数据集输入局部稀疏模型中，局部稀疏模型进行预测，并计算损失函数其中，t表示联邦学习轮次，k表示本地客户端的索引；根据预设的学习率η对局部稀疏模型进行更新。5.根据权利要求4所述的一种基于对比学习的联邦学习稀疏训练方法，其特征在于，所述根据预设的学习率η对局部稀疏模型进行更新，更新过程采取以下操作：6.根据权利要求1所述的一种基于对比学习的联邦学习稀疏训练方法，其特征在于，所述在每轮训练过程中，本地客户端进行对比损失函数计算，更新本地损失函数和局部稀疏模型，包括：将本地数据集分别输入第t轮局部稀疏模型第t
‑
1轮的局部稀疏模型第t轮的全局模型中，分别得到对应的特征向量z、z
last
和z
glob
；根据特征向量计算对比损失函数其表达式为：
式中，τ为预设的温度超参数；更新本地损失函数，其表达式为：式中，表示局部稀疏模型的损...

【专利技术属性】
技术研发人员：陈家辉，李峥明，徐培明，
申请(专利权)人：南方电网科学研究院有限责任公司，
类型：发明
国别省市：