一种抗后门攻击的联邦学习方法技术

本发明专利技术公开了一种抗后门攻击的联邦学习方法，首先通过基于聚类的投票选出置信度较高的少数几个良性模型更新，接下来将被选中的模型更新视为模型更新的良性模式，基于变分自编码器的异常检测方法，在剩余的候选模型更新中渐进式地选出更多的良性模型更新，使得被选中的良性模型更新群体的规模不断被扩大

【技术实现步骤摘要】
一种抗后门攻击的联邦学习方法


[0001]本专利技术属于人工智能
，具体涉及一种抗后门攻击的联邦学习方法
。

技术介绍

[0002]人工智能已成为带动社会经济发展的重要技术之一，深度融入到人们生活的各个角落
。
随着以深度学习为代表的人工智能核心技术不断取得全新突破，人工智能技术逐步依赖于大量的数据进行模型训练，但这带来了个人隐私数据被过度收集和使用的问题，致使人们对数据隐私的认知和担忧也在不断增长
。
数据监管政策的出台以及相关监管技术的涌现推动了隐私保护的人工智能技术的发展，促进了联邦学习
(federated learning
，
FL)
这一在保护数据隐私的前提下协同多个参与方训练机器学习模型的计算范式的进步
。
[0003]由于分布式数据的不可访问性，
FL
容易受到恶意客户端的攻击，尤其是后门攻击，既不会像高斯噪声攻击那样显着改变模型的统计特性，也不会像标签翻转攻击那样对训练数据造成明显的修改，并且因此对于基于模型统计和谱分析的现有防御方法更加隐蔽
。
[0004]现有工作通过以下方式防御
FL
中的目标攻击：
(1)
拜占庭鲁棒聚合
[Peva Blanchard,El Mahdi El Mhamdi,Rachid Guerraoui,and Julien Stainer.Machine learning with adversaries:Byzantine tolerant gradient descent.Advances in neural information processing systems,30,2017]；
(2)
鲁棒学习率
[Mustafa Safa Ozdayi,Murat Kantarcioglu,and Yulia R Gel.Defending against backdoors in federated learning with robust learning rate.In Proceedings ofthe AAAI Conference on Artificial Intelligence,volume 35,pages 9268
–
9276,2021]；
(3)
权重剪裁
、
噪声叠加和聚类选项的组合
[Eugene Bagdasaryan,Andreas Veit,Yiqing Hua,Deborah Estrin,and Vitaly Shmatikov.How to backdoor federated learning.In International Conference on Artificial Intelligence and Statistics,pages 2938
–
2948.PMLR,2020]；
(4)
依赖于模型集成的可证明安全的
FL[Chulin Xie,Minghao Chen,Pin
‑
Yu Chen,and Bo Li.CRFL:Certifiably robust federated learning against backdoor attacks.In International Conference on Machine Learning,pages 11372
–
11382,2021]；
(5)
异常检测
[Suyi Li,Yong Cheng,Wei Wang,Yang Liu,and Tianjian Chen.Learning to detect malicious clients for robust federated learning.arXiv preprint arXiv:2002.00211,2020]。
然而，可证明安全的方法依赖于某些假设来提供理论保证，并且它们的性能可能弱于现实中的经验防御，因为假设可能并不总是得到满足
。
此外，它们依赖于大量噪声模型的集合，降低了推理效率，并且无法获得可部署给客户端的单一模型，其余部分需要在良性和恶性模型更新之间的全局视角的明确边界，这通常仅在以下情况发生：
①
数据的统计异构性不复杂，即独立同分布或简单的病态非独立同分布，使得模型更新很容易形成不同的集群；
②
投毒数据比例
(Poison Data Rate
，
PDR)
相对较高，使得恶性模型更新明显偏离良性模型更新，例如
PDR
不少于
50
％
。
此外，许多防御仅在相对较少的恶意客户端进行评估，例如不超过
10
％是恶意的，在这种情况下，即使恶性的模型更新
逃过了检测，攻击的影响也不会很大
。
总得来说，基于异常检测技术设计一种对全局模型精度影响较小的抗后门攻击的联邦学习方法可能更合适，因为没有引入噪声，并且原始的联邦学习的聚合没有显着变化，保持了一致的优化目标
。
然而，直接采用异常检测技术存在两个主要挑战：
[0005]挑战
1(
良性模式不足
)
：由于模型更新的不可预测的分布和轨迹偏移，每轮的良性模型更新都缺乏良性模式
。
[0006]挑战
2(
边界模糊
)
：由于后门攻击对模型参数影响甚微，加之联邦学习面临的数据异构性问题，良性和恶性模型更新之间的界限通常不清楚
。

技术实现思路

[0007]鉴于上述，本专利技术提供了一种抗后门攻击的联邦学习方法，其修改了原始的联邦聚合算法，不再是直接聚合所收到的全部模型更新，而是通过“基于聚类的投票”和“渐进式选择”两个关键步骤，在收到的模型更新集合中选择一个子集用于聚合，从而将恶性模型更新排除在外
。
[0008]一种抗后门攻击的联邦学习方法，在一轮联邦学习过程中，参与者会先从中心服务器下载全局模型，然后利用自己的数据集训练更新本地全局模型的参数，更新后的本地全局模型与本轮最初下载的全局模型的参数差异即为模型更新，参与者进而将模型更新上传给中心服务器；
[0009]中心服务器收到
N
个模型更新后通过基于聚类的投票方式，在良性模型更新占多数的情况下，从去中心化的视角选中良性模型更新，
N
为联邦学习的参与者数量；
[0010]根据被选中的良性模型更新构建差异训练集，并利用该集合训练一个变分自编码器；
[0011]构建差异验证集，利用变分自编码器对该集合中的数据进行重建，根据重建误差渐进式地对被选中的良性模型更新的群体进行扩充；
[0012]中心服务器对所有被选中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种抗后门攻击的联邦学习方法，在一轮联邦学习过程中，参与者会先从中心服务器下载全局模型，然后利用自己的数据集训练更新本地全局模型的参数，更新后的本地全局模型与本轮最初下载的全局模型的参数差异即为模型更新，参与者进而将模型更新上传给中心服务器；其特征在于：中心服务器收到
N
个模型更新后通过基于聚类的投票方式，在良性模型更新占多数的情况下，从去中心化的视角选中良性模型更新，
N
为联邦学习的参与者数量；根据被选中的良性模型更新构建差异训练集，并利用该集合训练一个变分自编码器；构建差异验证集，利用变分自编码器对该集合中的数据进行重建，根据重建误差渐进式地对被选中的良性模型更新的群体进行扩充；中心服务器对所有被选中的良性模型更新执行联邦平均算法，得到一个不包含后门的全局模型并分发给参与者，进行下一轮联邦学习
。2.
根据权利要求1所述的联邦学习方法，其特征在于：所述良性模型更新即为参与者使用未注入触发器的数据集训练得到的模型更新，反之参与者使用基于注入触发器的数据集训练得到的模型更新则为恶性模型更新
。3.
根据权利要求1所述的联邦学习方法，其特征在于：所述中心服务器挖掘良性模型更新的具体实现方式为：首先将中心服务器收到的模型更新集合记为其中
Δ
w
i
为第
i
个参与者上传的模型更新，
i
为自然数且
1≤i≤N
；设全局模型为一个具有
L
层的神经网络，对于模型更新
Δ
w
i
中的第
m
层参数
Δ
w
i,m
，选择零向量以及距离
Δ
w
i,m
最远的
K
‑1个模型更新作为
K
‑
means
算法的初始点，划分簇后，
Δ
w
i,m
将投票给其所在簇中的所有模型更新，
m
为自然数且
1≤m≤L
；通过这种方式，每一个模型更新将投出
L
次票，每次的权重为1；最后将得票最高的若干个模型更新组成具有高置信度的良性模型...

【专利技术属性】
技术研发人员：邓水光，秦臻，何勇，孙崇德，
申请(专利权)人：浙江大学，
类型：发明
国别省市：