一种批量归一化对比学习缓解异构联邦学习问题的方法技术

本发明专利技术提供了一种批量归一化对比学习缓解异构联邦学习问题的方法，基于对比学习与批量标准归一化的联邦学习，利用模型学习到的表示之间的相似性来校正各个客户端的局部训练，在模型层次上进行对比学习；此外，在对比学习的基础上加上批量标准归一化，在生成局部模型之后，全局模型聚合之前，对模型进行归一化处理，以减轻平均模型之前的特征偏移。以减轻平均模型之前的特征偏移。以减轻平均模型之前的特征偏移。

【技术实现步骤摘要】
一种批量归一化对比学习缓解异构联邦学习问题的方法


[0001]本专利技术涉及一种批量归一化对比学习缓解异构联邦学习问题的方法，具体涉及一种利用对比学习与批量标准归一化缓解异构数据的联邦学习问题的方法。

技术介绍

[0002]联邦学习中的一个关键挑战是处理各方之间本地数据分布的异质性，即数据非独立同分布(Non
‑
IID)。非同分布很容易理解，就是因为数据分布差异大；其次，由于受到用户群体、地域关联等因素，这些设备的数据分布往往又是有关联的，即非独立。例如，同一个城市的两个不同银行用户理财数据，因为用户之间喜好和生活习惯不同，因此产生了数据分布的不一致性；另一方面，以家庭或亲属关系的群体之间会相互影响，产生了数据分布的不独立性。
[0003]在许多实际应用中，数据可以在各方之间非相同地分布，这可能会降低联合学习的性能当各方更新其本地模式时，其本地目标可能与全局目标相去甚远，因此，传统联邦学习平均全局模型会导致模型远离全局最优值。
[0004]联邦学习的另一个关键挑战是，当客户端的知识聚集发生在梯度空间时，客户端之间的异构性通常会阻碍优化的收敛和泛化性能。例如，客户端可能在数据分布、网络延迟、输入/输出空间和/或模型架构方面存在差异，这很容易导致其局部梯度的失调，但适合克服这两个挑战的有效算法尚未得到充分的开发或系统的研究。
[0005]从当前联邦学习在数据异构和模型异构的研究来看，已有的异构联邦学习算法或多或少会存在额外通信代价或者通信效率低下的风险。随着移动设备的计算能力越来越强、计算资源越来越丰富，通信带宽的限制愈加成为联邦学习模型训练收敛的主要制约因素。面对不同设备间数据不平衡的实际情况，异构联邦学习的发展趋势将朝着高模型准确性以及收敛速度快发展，如何保证非独立同分布的各个客户端数据训练得到的模型依旧有效聚合到全局模型、以更少的通信成本获得更高的模型准确性，是异构联邦学习下一步需要跨越的高度，联邦学习数据集以及客户端的异构性问题也是一个待研究并解决的问题。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供了一种批量归一化对比学习缓解异构联邦学习问题的方法，该批量归一化对比学习缓解异构联邦学习问题的方法的对比学习与批量标准归一化能够使得异构联邦学习收敛更快、准确率提升。
[0007]本专利技术通过以下技术方案得以实现。
[0008]本专利技术提供的一种批量归一化对比学习缓解异构联邦学习问题的方法，包括以下步骤：
[0009]①
对Cifar10数据集进行划分，根据设定的超参数将其划分为多个异构的子数据集，将其分发给多个客户端；
[0010]②
多个客户端分别根据从服务器中接收到的全局模型作为初始模型进行梯度下
降，并通过损失函数更新得到本轮新的局部模型；
[0011]所述损失函数由两部分组成，包括交叉熵损失和对比学习损失；
[0012]③
获得局部模型后，在每个卷积和全连接层之后添加标准归一化层，并且保持本地批量归一化参数不与全局模型同步；
[0013]④
将多个客户端的局部模型上传至服务器，服务器对接收到的所有客户端的局部模型进行聚合，随后进行平均计算得到全局模型；
[0014]⑤
输出全局模型，并将全局模型下发给各个客户端，然后重复步骤
①
，直至多轮迭代协同训练结束。
[0015]所述步骤
②
中，使用卷积神经网络CNN作为基本编码器，使用2层MLP作为投影头。
[0016]所述步骤
②
中，对比学习损失l
con
由本轮训练的t轮局部模型、上一轮训练的t
‑
1轮的局部模型、本轮训练的t轮全局模型计算获取。
[0017]计算公式为：
[0018][0019]其中，z为局部模型，z
glob
为全局模型，z
prev
为上一轮的局部模型，τ是温度参数。
[0020]所述步骤
④
中，聚合方式为：对其梯度参数，根据各客户端子数据集的大小计算其占Cifar数据集的权重。
[0021]本专利技术的有益效果在于：基于对比学习与批量标准归一化的联邦学习，利用模型学习到的表示之间的相似性来校正各个客户端的局部训练，在模型层次上进行对比学习；此外，在对比学习的基础上加上批量标准归一化，在生成局部模型之后，全局模型聚合之前，对模型进行归一化处理，以减轻平均模型之前的特征偏移。
附图说明
[0022]图1是联邦学习算法FedAvg框架图；
[0023]图2是对比学习本地损失图；
[0024]图3是批量归一化对比学习流程图；
[0025]图4是CNN网络架构图。
具体实施方式
[0026]下面进一步描述本专利技术的技术方案，但要求保护的范围并不局限于所述。
[0027]传统联邦学习算法FedAvg流程如图1所示，一共分为四步：
[0028]①
服务器向各客户端(图中示例两个客户端1和2)发送全局模型。
[0029]②
所有客户端根据初始的全局模型各自进行随机梯度下降更新局部模型。
[0030]③
客户端将局部模型发送给服务器。
[0031]④
服务器对模型权重进行平均聚合后以产生用于下一轮训练的全局模型。
[0032]⑤
重复步骤
①
，直至模型收敛。
[0033]在整个数据集上训练的模型能够提取比在偏斜子集上训练的模型更好的特征表示，也就是说，全局模型应该能够比局部模型学习更好的特征表示，并且局部更新存在漂移问题，基于此，在本地训练阶段加入轻量级但有效的修改。由于局部训练总是存在漂移，全
局模型学习到的表示比局部模型更好，因此需要减少局部模型学习到的表示与全局模型学习的表示之间的距离，并增加与之前的局部模型学习的表示之间的距离。恰恰对比学习“同类相聚，异类相斥”的概念能够有此作用，可以显着提高非IID数据集的收敛行为和模型性能。已经有相当多的研究试图在Non
‑
IID数据上改进FedAvg，这些研究可分为两类：改进本地培训(即图1的步骤
②
)和服务器聚合(即图1的步骤
④
)，本专利技术为前者，利用模型学习到的表示之间的相似性来校正各个客户端的局部训练，在模型层次上进行对比学习。
[0034]具体的，在整个数据集上训练的模型能够提取比在偏斜子集上训练的模型更好的特征表示，也就是说，全局模型应该能够比局部模型学习更好的特征表示，并且局部更新存在漂移问题，基于此，在本地训练阶段加入轻量级但有效的修改。由于局部训练总是存在漂移，全局模型学习到的表示比局部模型更好，因此需要减少局部模型学习到的表示与全局模型学习的表示之间的距离，并增加与之前的局部模型学习的表示之间的距离，恰恰对比学习“同类相聚，异类相斥”的概念本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量归一化对比学习缓解异构联邦学习问题的方法，其特征在于：包括以下步骤：
①
对Cifar10数据集进行划分，根据设定的超参数将其划分为多个异构的子数据集，将其分发给多个客户端；
②
多个客户端分别根据从服务器中接收到的全局模型作为初始模型进行梯度下降，并通过损失函数更新得到本轮新的局部模型；所述损失函数由两部分组成，包括交叉熵损失和对比学习损失；
③
获得局部模型后，在每个卷积和全连接层之后添加标准归一化层，并且保持本地批量归一化参数不与全局模型同步；
④
将多个客户端的局部模型上传至服务器，服务器对接收到的所有客户端的局部模型进行聚合，随后进行平均计算得到全局模型；
⑤
输出全局模型，并将全局模型下发给各个客户端，然后重复步骤
①
，直至多轮迭代协同训练结束。2.如权利要求1所述的批量归一化对比学习缓解异构联邦...

【专利技术属性】
技术研发人员：蒋明，李芸，张峰，张硕，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：