【技术实现步骤摘要】
【】本专利技术涉及人工智能设计领域，特别涉及一种差分隐私联邦学习方法、计算机设备、存储介质及程序产品。
技术介绍
0、
技术介绍
1、联邦学习是一种分布式机器学习方法，旨在解决数据隐私保护和数据去中心化问题。它允许多个参与方(通常是设备、终端或边缘节点等)共同训练机器学习模型，而无需将原始数据传输到中央服务器。但是联邦学习可能并不总是同时提供隐私和稳健性保证，虽然私有数据永远不会离开其所有者，但通过梯度反转、重构攻击、成员推理和属性推理攻击等攻击方式可以从交换的模型参数中还原出训练数据。
2、针对联邦学习系统中可能遭受的攻击，现有的方法可通过差分隐私进一步保证联邦学习系统的安全性。在现阶段的基于差分隐私的联邦学习算法中，对模型的每一层，都注入相同的噪声进行扰动。但是训练出来的模型参数大小在不同的训练阶段是异质的，比如说模型梯度的大小会随着训练轮次变化而变化，并且最终趋向于一个固定的值。因此，由于梯度的异质性，均匀的噪声可能会对模型的性能有巨大的影响。
技术实现思路
0、
技术实现思路
1、为解决现有的差分隐私联邦学习方法无法兼顾隐私性和模型性能的问题，本专利技术提供一种差分隐私联邦学习方法。一种差分隐私联邦学习方法包括以下步骤：
2、通过服务器将联邦学习模型部署在客户端；
3、分别在每个客户端中提供样本数据对部署的联邦学习模型进行梯度下降迭代训练；
4、在迭代训练的过程中，计算样本数据的梯度，并对梯度进行裁
5、在迭代训练的过程中，获取上一轮迭代后联邦学习模型中神经网络的每一层的权重分布直方图；
6、设置层选择阈值和个数判断值，获得每一层的权重分布直方图中大于层选择阈值的权重的个数；
7、当权重的个数小于个数判断值时，在权重分布直方图相应的层的梯度信息上添加噪声；
8、在本轮迭代中根据添加噪声后的梯度信息更新联邦学习模型；
9、迭代结束后得到客户端的本地模型；将本地模型传输到服务器，服务器将本地模型聚合得到训练后的联邦学习模型。
10、优选地，设置学习率，根据学习率控制添加噪声后的联邦学习模型进行梯度下降，更新得到的本地模型。
11、优选地，服务器初始化联邦学习模型的模型参数，将初始化后的模型参数传输到每个客户端；
12、客户端更新本地模型得到更新后的模型参数，并将更新后的模型参数传输到服务器；
13、服务器对更新后的模型参数进行聚合后发送给客户端，客户端和服务器之间循环迭代联邦学习模型。
14、优选地，将传输到服务器的联邦学习模型进行加权并取平均数，得到聚合后的联邦学习模型。
15、优选地，当在梯度信息上添加噪声时，噪声为高斯噪声或拉普拉斯噪声。
16、优选地，在每个客户端中对联邦学习模型进行梯度下降迭代训练，获取上一轮迭代后联邦学习模型的梯度的范数，将范数的分位数设置为裁剪阈值；
17、在本轮迭代中，联邦学习模型的梯度的范数大于裁剪阈值时，将梯度按照范数除以裁剪阈值的值进行缩减，得到梯度下降后的联邦学习模型。
18、优选地，在客户端中选择手写数字数据集中的数据计算得到梯度时，层选择阈值设置为0.3，或选择在联邦扩展的手写数字数据集中的数据计算得到梯度时，层选择阈值设置为0.1。
19、为解决上述技术问题本专利技术还提供一种计算机设备，包括储存器、处理器及存储在储存器上的计算机程序，处理器执行计算机程序以实现上述差分隐私联邦学习方法的步骤。
20、为解决上述技术问题本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述差分隐私联邦学习方法的步骤。
21、为解决上述技术问题本专利技术还提供一种计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述差分隐私联邦学习方法的步骤。
22、与现有技术相比，本专利技术的一种差分隐私联邦学习方法、计算机设备、存储介质及程序产品具有以下优点：
23、1、本专利技术通过获取客户端中联邦学习模型的权重分布直方图，根据分布直方图对联邦学习模型的层进行判断，判断每一层的重要性。对于联邦学习模型本身，并不是每一层都需要注入噪声进行扰动，模型中有相对来说重要的以及不重要的层，如果对重要的层注入噪声，会较大程度上影响模型的性能。重要的层往往包含更多的梯度信息，若对其进行加噪，则会对模型的性能产生较大的影响。相反，对于包含梯度信息较少的层，在联邦学习模型的本地训练中会没有那么的重要，因此可以将更多的噪声注入其中，使得该层具有较高的安全性。通过以上的方法，可以使得联邦学习模型在训练的过程中既能满足隐私的要求，同时可以训练出一个性能较好的联邦学习模型。
24、2、本专利技术的差分隐私联邦学习方法还在每个客户端中对部署的联邦学习模型进行动态的梯度裁解，获取上一轮迭代后联邦学习模型的梯度的范数，将范数的分位数设置为裁剪阈值；在本轮迭代中，联邦学习模型的梯度的范数大于裁剪阈值时，将梯度按照范数除以裁剪阈值的值进行缩减，得到梯度下降后的联邦学习模型。
25、联邦学习模型的模型参数大小在不同的训练阶段是异质的，比如说模型梯度的大小会随着训练轮次的变化而变化，并且最终趋向于一个固定的值。本专利技术通过使用分位数对梯度进行限制，从而减少了异常值对梯度的影响。由于梯度具有异质性，因此针对不同的迭代次数进行自适应的梯度裁剪，有效地减少了由于训练参数的异质性带来的模型性能下降的问题。
26、3、本专利技术还提供一种计算机设备，具有与上述差分隐私联邦学习方法相同的有益效果，在此不做赘述。
27、4、本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被执行时实现上述差分隐私联邦学习方法，具有与上述差分隐私联邦学习方法相同的有益效果，在此不做赘述。
28、5、本专利技术还提供一种计算机程序产品，具有与上述差分隐私联邦学习方法相同的有益效果，在此不做赘述。
本文档来自技高网...【技术保护点】
1.一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
4.根据权利要求3所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
8.一种计算机设备，包括储存器、处理器及存储在储存器上的计算机程序，其特征在于：所述处理器执行所述计算机程序以实现如权利要求1～7任一项所述一种差分隐私联邦学习方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现如权利要求1～7任一项所述一种差分隐私联邦学习方法的步骤。
10.一种计算机程序产品包括计算机
...【技术特征摘要】
1.一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
3.根据权利要求2所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
4.根据权利要求3所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
5.根据权利要求4所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的一种差分隐私联邦学习方法，其特征在于，包括以下步骤：
7.根据权利要求6所述的一种差分隐私...
【专利技术属性】
技术研发人员：罗玉玲，江冰雄，刘俊秀，付强，秦圣，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。