一种抵御成员推理攻击的差分隐私联邦学习方法技术

本发明专利技术公开了一种抵御成员推理攻击的差分隐私联邦学习方法，具体为：各客户端使用本地数据进行训练生成一个对抗生成网络模型并生成虚假数据；对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；服务器端判断是否继续下一次通信，若是，则继续发布全局网络模型参数，否则结束通信，保存全局网络模型参数。本发明专利技术在原始数据孤岛的情况下进一步保护了客户端的数据隐私，有助于抵御成员推理攻击。攻击。攻击。

A differential privacy federated learning method against member inference attack

【技术实现步骤摘要】
一种抵御成员推理攻击的差分隐私联邦学习方法


[0001]本专利技术涉及机器学习
，具体涉及一种抵御成员推理攻击的差分隐私联邦学习方法。

技术介绍

[0002]联邦学习是一种带有隐私保护技术的分布式机器学习框架，目的在于通过分散的客户端在不进行数据外泄的情况下，协助参与机器学习模型的训练。在联邦学习架构下通过设计虚假模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。由于数据不发生转移，因此能有效保护用户隐私或影响数据规范。
[0003]但是在训练数据集较少等资源受限条件下，联邦学习往往性能表现较差，在该条件下，联邦学习的训练将受到阻碍。同时，当一些客户端数据不足，由这些客户端训练的全局网络模型会在服务器端聚合时对整体的全局网络模型产生负面影响。
[0004]在抵御成员推理攻击方面，联邦学习现有的方法一般是在客户端训练全局网络模型过程中对全局网络模型参数添加噪声，这种方法虽然能够起到抵御成员推理攻击的作用，但是这种方法往往会大大降低全局网络模型的性能。这种在训练过程中对模型参数加噪声的方法以牺牲较大模型性能为代价获取抵御成员推理攻击的特性，缺陷明显，需要进行改进。

技术实现思路

[0005]本专利技术针对联邦学习架构中成员推理攻击，提出一种抵御成员推理攻击的差分隐私联邦学习方法，使系统模型的隐私泄露风险得到降低，从而加强对隐私安全的保护。
[0006]实现本专利技术目的的技术解决方案为：一种抵御成员推理攻击的差分隐私联邦学习方法，包括以下步骤：步骤1、各客户端使用本地数据进行训练生成一个对抗生成网络模型；步骤2、各客户端使用对抗生成网络模型生成虚假数据；步骤3、对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；步骤4、被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；步骤5、服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；步骤6、服务器端判断是否继续下一次通信，若是，则返回步骤3，若否，则结束通信，保存全局网络模型参数。
[0007]进一步地，服务器端和客户端之间通过传输全局网络模型参数以及训练所需的损失函数和优化器的方式通信，不直接传输训练数据。
[0008]进一步地，所述对抗生成网络模型采用条件对抗生成网络，在对抗生成网络中加入条件约束，限制生成的虚假数据种类和属性。
[0009]进一步地，使用对抗生成网络模型生成虚假数据时，设置参数产生类似原始样本的虚假数据，或者随机产生虚假数据。
[0010]进一步地，服务器端选择参与本轮通信的客户端时，先选择已训练好对抗生成网络模型的客户端参与本轮训练。
[0011]进一步地，所述客户端使用虚假数据进行全局网络模型的训练，其中：客户端选择参与全局网络模型训练的数据集，包括真实数据集掺杂设定比例的虚假数据集，或者完全采用虚假数据集。
[0012]进一步地，服务器端对全局网络模型参数进行聚合时采用联邦平均算法或者SMPC算法。
[0013]本专利技术与现有技术相比，其显著优点为：（1）所采用的联邦学习架构，通过对抗生成网络生成虚假数据，在对用户数据集进行扩充的同时，增加了抵御成员推理攻击的能力，对客户端数据隐私进行了有效保护；（2）对于客户端资源受限的条件，使用对抗生成网络生成虚假数据的策略能够有效提升全局网络模型的性能，削弱数据量不足导致的全局网络模型训练不足问题，在丰富数据集的同时提升全局网络模型的性能；（3）采用对抗生成网络生成虚假数据参与全局网络模型的训练，随着虚假数据占比的增加，全局网络模型抵御成员推理攻击的性能也随之增加，但全局网络模型准确率仅出现小幅下降，这点优于传统抵御成员推理攻击的加噪方法。
附图说明
[0014]图1是本专利技术抵御成员推理攻击的差分隐私联邦学习方法的流程图。
[0015]图2是本专利技术模型训练过程中系统示意图。
[0016]图3是本专利技术在mnist数据集上不同虚假数据比例训练的分类器性能图。
[0017]图4是本专利技术基于mnist数据集的抵御成员推理攻击效果图。
具体实施方式
[0018]结合图1~图2，本专利技术一种抵御成员推理攻击的差分隐私联邦学习方法，具体为：步骤1、各客户端使用本地数据进行训练生成一个对抗生成网络模型；步骤2、各客户端使用对抗生成网络模型生成虚假数据；步骤3、对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；步骤4、被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；步骤5、服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；步骤6、服务器端判断是否继续下一次通信，若是，则返回步骤3，若否，则结束通信，保存全局网络模型参数。
[0019]进一步地，服务器端和客户端之间通过传输全局网络模型参数以及训练所需的损失函数和优化器的方式通信，不直接传输训练数据。
[0020]进一步地，所述对抗生成网络模型采用条件对抗生成网络，在对抗生成网络中加入条件约束，限制生成的虚假数据种类和属性。
[0021]进一步地，使用对抗生成网络模型生成虚假数据时，设置参数产生类似原始样本的虚假数据，或者随机产生虚假数据。
[0022]进一步地，服务器端选择参与本轮通信的客户端时，先选择已训练好对抗生成网络模型的客户端参与本轮训练。
[0023]进一步地，所述客户端使用虚假数据进行全局网络模型的训练，其中：客户端选择参与全局网络模型训练的数据集，包括真实数据集掺杂设定比例的虚假数据集，或者完全采用虚假数据集。
[0024]进一步地，服务器端对全局网络模型参数进行聚合时采用联邦平均算法或者SMPC算法。
[0025]下面结合附图及具体实施例对本专利技术做进一步详细说明。
实施例
[0026]本实施例以中心化联邦学习为基本架构，训练基于mnist数据集的分类器网络（全局网络模型）为例，说明该方法的具体实现措施：对于客户端，使用本地数据（mnist数据）进行对抗生成网络进行训练，接着使用随机噪声通过对抗生成网络的生成网络产生虚假数据（虚假mnist数据）。在联邦学习mnist分类器网络的训练中，参与本轮通信的客户端可以使用一定数量的虚假数据加入真实数据参与服务器端发放的mnist分类器网络训练，也可以完全使用虚假数据参与服务器端发放的mnist分类器网络训练，替代未改进的联邦学习方法中客户端使用真实数据进行训练的策略。对抗生成网络如同保护层一般，将真实数据的信息隐藏保护于其中，使用虚假数据参与训练，抵御攻击者的成员推理攻击。
[0027]对于服务器端，在每轮通信中随机选取一定数量的客户端参与mnist分类器网络模型的训练，发放mnist分类器网络模型参数，以及使用的损失函数和对应的优化器。当客户端训练完毕传回训练好的mnist分类器网络模型参数，服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抵御成员推理攻击的差分隐私联邦学习方法，其特征在于，包括以下步骤：步骤1、各客户端使用本地数据进行训练生成一个对抗生成网络模型；步骤2、各客户端使用对抗生成网络模型生成虚假数据；步骤3、对每轮联邦学习通信，服务器端随机选择参与本轮通信的客户端，发放全局网络模型参数和训练过程中采用的损失函数以及优化器；步骤4、被选中的客户端使用虚假数据进行全局网络模型的训练，并将训练好的全局网络模型参数发送回服务器端；步骤5、服务器端采用联邦平均的聚合方法，进行全局网络模型参数更新；步骤6、服务器端判断是否继续下一次通信，若是，则返回步骤3，若否，则结束通信，保存全局网络模型参数。2.根据权利要求1所述的抵御成员推理攻击的差分隐私联邦学习方法，其特征在于，服务器端和客户端之间通过传输全局网络模型参数以及训练所需的损失函数和优化器的方式通信，不直接传输训练数据。3.根据权利要求1所述的抵御成员推理攻击的差分隐私联邦学习方法，其特征在...

【专利技术属性】
技术研发人员：陈隆，马川，韦康，李骏，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：