本发明专利技术公开了一种基于联邦学习的后门攻击防御方法、系统及可存储介质，属于人工智能技术领域，通过计算三个特征参数可以精确表征训练模型更新的数据分布，神经网络内部结构和输出的细粒度差异，从而对中毒模型实现精准识别。同时结合新型聚类模型更新的设计，本发明专利技术能够消除包含具有高攻击影响的中毒模型的模型集群。此外，基于权重裁剪的防御可以有效地减轻可能未被检测到的中毒模型的影响。本发明专利技术充分考虑了攻击者的各种攻击手段，可以减轻最先进的后门攻击，而不影响模型在良性数据上的性能，达到良好的防御效果。达到良好的防御效果。达到良好的防御效果。
【技术实现步骤摘要】
基于联邦学习的后门攻击防御方法、系统及可存储介质
[0001]本专利技术涉及人工智能
，更具体的说是涉及一种基于联邦学习的后门攻击防御方法、系统及可存储介质。
技术介绍
[0002]目前，机器学习中的隐私与安全问题是大数据时代非常重要的研究领域之一。随着数据挖掘等技术的深入发展，个人隐私通过数据泄露的现象越来越常见，甚至出现了大规模的信息泄露事件。此外，各种机器模型越发成熟且得到广泛应用，包括金融、医疗等多种领域，模型的安全性显得愈发重要。因此，在机器学习模型中部署针对可能存在的恶意攻击者的防御算法得到广泛关注。
[0003]随着大数据的不断发展，如何在保护数据隐私和安全的前提下进行跨组织的数据合作已经成为了世界性的议题，联邦学习(Federated Learning，FL)就在这样的背景下应运而生。联邦学习可以使多个客户端在一个中央服务器下协作训练神经网络模型。其中客户端使用他们自己的数据在本地训练他们的模型，并且只将训练好的模型更新发送到中央服务器，中央服务器聚合更新并将生成的全局模型分发回所有客户端。同时联邦学习承诺客户将他们的训练数据保密，使得提高效率的同时保障了安全。这些优点让联邦学习在具有隐私敏感数据的应用程序中大受欢迎。
[0004]但另一方面，因为服务器无法控制参与客户端的训练过程，所以攻击者可以破坏一部分客户端，后门攻击(Backdoor Attacks)就是一种常见的攻击方法。它指的是攻击者通过带有后门触发器的恶意数据训练模型后，获得一个带有后门的中毒模型。这类模型在输入恶意数据时会将其错误分类到某一特定类别，但是当输入良性数据时可以正确分类。这类攻击具有极强的隐蔽性和鲁棒性，给攻击检测和防御带来了一定挑战。
[0005]目前对于联邦学习后门攻击的防御主要遵循两种策略，一为旨在检测和删除中毒模型，二为旨在限制攻击的影响。在第一种策略中，与大多数模型更新不同的客户端的模型更新被认为是可疑的，并且会被删除。然而，这些方法同时会删除具有偏差数据分布的客户端的良性模型，导致聚合模型对这些客户端的性能不佳。此外，这些防御在动态攻击场景中无效。第二种防御策略的缺点是它不能有效对抗具有高攻击影响的中毒模型更新。例如，当将带有后门的训练样本添加到原始良性训练数据中时，中毒模型在后门任务上实现了更高的准确率和鲁棒性。
[0006]因此，为了解决现有技术的不足，如何提供一种基于联邦学习的后门攻击防御方法、系统及可存储介质是本领域技术人员亟需解决的问题。
技术实现思路
[0007]有鉴于此，本专利技术提供了一种基于联邦学习的后门攻击防御方法、系统及可存储介质，充分考虑了攻击者的各种攻击手段，可以减轻最先进的后门攻击，而不影响模型在良性数据上的性能，达到良好的防御效果。
[0008]为了实现上述目的，本专利技术提供如下技术方案：
[0009]一方面，本专利技术提供了一种基于联邦学习的后门攻击防御方法，基于客户端，包括：
[0010]特征提取：获取并统计参与联邦学习的各个客户端的局部模型数据，计算特征参数除法差异DDifs、归一化能量更新NEUP以及余弦距离，进行同质性特征提取；
[0011]分类：计算各个客户端的局部模型超过特征参数归一化能量更新NEUP阈值的数量，并使用其中数量的1/2作为分类边界值，根据边界值对局部模型中的中毒模型进行标记；
[0012]中毒簇识别与删除：根据聚类结果以及标记结果，计算每个聚类中毒标记模型的百分比，根据百分比结果对集群模型进行识别，根据识别结果保留和/或删除集群模型；
[0013]剪裁：计算保留的集群模型更新的L2范数，并将其中位数作为剪裁边界，对集群模型中超出剪裁边界的局部模型进行缩放；
[0014]聚合：将同一集群模型中所剩余的剪裁模型使用FedAvg进行聚合，使每个客户端都会收到对应的集群聚合的模型。
[0015]更优的，特征参数除法差异DDifs为除法差异Division Differences：代表的是局部模型与全局模型预测概率的比值。由于所有客户端基于相同的全局模型，在相似的训练数据的情况下，预测标签的概率也会相似。因此，除法差异可以提供不同客户端训练数据中标签分布的信息。
[0016]更优的，特征参数归一化能量更新NEUP为归一化能量更新Normalized Update Energy：代表的是输出层单个神经元的能量更新。在训练过程中，输出层神经元的参数会根据每个样本的标签不断进行调整，出现频繁的样本标签的神经元将得到高幅度能量更新，而出现较少的样本标签的神经元将得到低幅度能量更新。因此，归一化能量更新可以反应有关此次更新的训练数据标签频率分布的信息。
[0017]优选的，所述计算特征参数除法差异DDifs的公式为：
[0018][0019]其中，DDif
t,k,i
为客户端k在第t轮提交的模型|W
t,k
的除法差异DDifs，N
samples
为随机输入样本s
m
(m∈[0,N
samples
‑
1])的个数，p(s
m
|W
t,k
)
i
为局部模型中每个输出层神经元i预测的概率，p(s
m
|G
t
)
i
为全局模型|G
t
的相应神经元预测的概率。
[0020]采用上述方案的有益效果为：通过所述特征参数除法差异DDifs就可以各个客户端训练数据中标签分布的差异。
[0021]优选的，所述计算特征参数归一化能量更新NEUP的公式为：
[0022][0023]式中，ε
t,k,i
表示客户端k在第t轮提交的模型的输出层神经元i的能量更新，P表示输出层神经元与前一层神经元的连接数，b
t,k,i
是客户端k第t轮的输出层的神经元i的偏置，w
t,k,i,p
是客户端k第t轮的输出层的神经元i连接到来自前一层的神经元p的权重，及是全局模型G
t
中神经元的偏置和权重；
[0024]将同一模型的所有输出层神经元的能量更新归一化，使得各个能量更新不受模型更新能量总范围的影响，具体公式如下：
[0025][0026]式中，c
t,k,i
表示归一化后的客户端k在第t轮提交的模型的输出层神经元i的能量更新，表示表示客户端k在第t轮提交的模型的输出层神经元i的能量更新的平方。
[0027]采用上述方案的有益效果为：通过所述特征参数归一化能量更新NEUP可以进一步对各个客户端训练数据中标签分布的相似性进行分析，同时，通过将同一模型的所有输出层神经元的能量更新归一化，使得各个能量更新不受模型更新能量总范围的影响。
[0028]优选的，所述计算特征参数余弦距离的公式为：
[0029]U
i，t
＝w
i，t
‑<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于联邦学习的后门攻击防御方法，基于多个客户端，其特征在于，包括：特征提取：获取参与联邦学习的n个客户端的局部模型数据，计算特征参数：除法差异DDifs、归一化能量更新NEUP以及余弦距离，并进行同质性特征提取；分类：计算各个客户端的局部模型超过归一化能量更新NEUP阈值的数量，并使用其中数量的1/2作为分类边界值，根据边界值对局部模型中的中毒模型进行标记；聚类：根据计算得到的特征参数：除法差异DDifs、归一化能量更新NEUP以及余弦距离，使用动态聚类算法，对局部模型进行聚类，得到集群模型；中毒簇识别与删除：根据聚类结果以及标记结果，计算每个聚类中毒标记模型的百分比，根据百分比结果对集群模型进行识别，根据识别结果保留或删除集群模型。2.根据权利要求1所述的一种基于联邦学习的后门攻击防御方法，其特征在于，所述计算除法差异DDifs的公式为：式中，DDif
t,k,i
为客户端k在第t轮提交的模型|W
t,k
的除法差异DDifs，N
samples
为随机输入样本s
m
(m∈[0,N
samples
‑
1])的个数，p(s
m
|W
t,k
)
i
为局部模型中每个输出层神经元i预测的概率，p(s
m
|G
t
)
i
为全局模型|G
t
的相应神经元预测的概率；其中，全局模型是联邦学习中由局部模型聚合得到的模型。3.根据权利要求1所述的一种基于联邦学习的后门攻击防御方法，其特征在于，所述计算归一化能量更新NEUP的公式为：式中，ε
t,k,i
表示客户端k在第t轮提交的模型的输出层神经元i的能量更新，P表示输出层神经元与前一层神经元的连接数，b
t,k,i
是客户端k第t轮的输出层的神经元i的偏置，w
t,k,i,p
是客户端k第t轮的输出层的神经元i连接到来自前一层的神经元p的权重，及是全局模型G
t
中神经元的偏置和权重；将同一模型的所有输出层神经元的能量更新归一化，使得各个能量更新不受模型更新能量总范围的影响，具体公式如下：式中，c
t，k，i
表示归一化后的客户端k在第t轮提交的模型的输出层神经元i的能量更新，表示表示客户端k在第t轮提交的模型的输出层神经元i的能量更新的平方。4.根据权利要求1所述的一种基于联邦学习的后门攻击防御方法，其特征在于，所述计算特征参数余弦距离的公式为：U
i，t
＝w
i，t
‑
w
Gt
U
j，t
＝w
j，t
‑
w
Gt
C
i，j，t
＝1
‑
cos(U
i，t
‑
U
j，t
)式中，C
i，j，t
是客户端i和客户端j在第t轮的余弦距离，U
i，t
代表客户端i在第t轮的更新
量，w
i，t
代表代表客户端i在第t轮的输出层的神经元的偏置和，w
Gt
表示全局模型G
t
输出层的神经元的偏置和，U
...
【专利技术属性】
技术研发人员：陈艳姣，徐文渊，龚雪鸾，李晓媛，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。