一种新型联邦学习后门防御方法技术

本发明专利技术公开了一种新型联邦学习后门防御方法，包括S1：服务器进行特征提取器初始化，并分发给全体用户；S2：用户获得服务器分发的特征提取器后，用分发的特征提取器与本地的分类器MCL组合成为本地模型M，使用本地数据D进行训练得到本地模型M，并将本地模型M中的特征提取器进行上传；S3：服务器获得步骤S2中用户上传的特征提取器，进行本地模型M的聚合，并将其分发至参与用户；S4：重复执行上述步骤S2与步骤S3，直至用户模型完全收敛，此时每个用户的本地模型就是该用户的最终模型。本本发明专利技术通过对模型的部分聚合，在恶意用户比例大于50％时仍能有较好的效果。仍能有较好的效果。仍能有较好的效果。

【技术实现步骤摘要】
一种新型联邦学习后门防御方法


[0001]本专利技术属于信息处理
，具体涉及一种新型联邦学习后门防御方法。

技术介绍

[0002]在机器学习中，在测试集上获得较高的准确率是一个模型的设计目标，但是后门攻击不会对全局模型的准确率造成影响，但会诱使全局模型对后门样本进行错误的分类。具体来说，攻击者根据触发器来创建毒样本，并用毒样本给用户来训练深度模型。训练完成后的模型在普通的干净样本中会产生正确的结果，但是当攻击者对样本进行触发器的嵌入后，样本会被模型误分类为攻击者指定的标签，而受害者并不会意识到模型已被破坏。在联邦学习中，攻击者可以通过添加攻击者制定的触发器(如加号等)并修改数据标签来创建后门数据。这种含有后门信息的数据与干净的数据一起参与本地模型的训练，在训练过程中，后门信息逐渐扩散到全局模型，最终导致全局模型中毒。
[0003]针对常见的几种攻击方式，目前的防御方式主要分为两种，一种是依靠限制模型的更新，将模型更新限制在可控的范围内，通过正规化或者处理异常数据来减轻恶意更新对模型的影响。这种方法的局限性在于它需要对模型进行归一化和添加噪声处理，这可能会对模型的主任务准确率造成影响。另一种防御技术是依靠检测和排除恶意的本地模型的更新，如：FLTrust、flame和krum等。这类技术主要针对特定的后门攻击，面对不同的后门攻击需要调整参数。总之，联邦学习的后门防御是一种较为复杂的研究，同时也是联邦学习中一项重要的研究领域。
[0004]综上，联邦后门防御机制主要存在的问题在于：1、常见后门防御方案具有特定性，只针对特定的后门攻击方案，面对其他后门攻击方案存在防御效果不好的情况；2、大部分的后门防御方案未考虑训练环境中恶意用户比例大于50％的情况，针对此类情况的防御效果不足；3、某些防御方案如FLTrust需要额外的数据集，这不仅对服务器提出了更高的要求，更是与联邦学习的隐私性存在一定的冲突。

技术实现思路

[0005]为解决现有技术存在的上述技术问题，本专利技术提供一种新型联邦学习后门防御方法，主要通过部分层聚合来设计联邦学习后门防御方案，可以在不上传用户数据的基础上提升用户的抗后门能力。
[0006]本专利技术采用的技术方案是：
[0007]一种新型联邦学习后门防御方法，其特征在于,包括将完整的神经网络模型分为两部分：特征提取器和分类器；
[0008]假设神经网络模型中的特征提取器为FE，分类器为CL，那么在预测过程中，可得如下提取结果：
[0009]y
′
＝FE(x
i
)
[0010]y
i
＝CL(y
′
)
[0011]其中，x
i
是用户i的本地数据，y
′
是模型的特征提取结果，y
i
是模型的预测结果；具体包括如下步骤：
[0012]S1：服务器进行特征提取器初始化，并分发给全体用户；
[0013]S2：用户获得服务器分发的特征提取器后，用分发的特征提取器与本地的分类器M
CL
组合成为本地模型M，使用本地数据D进行训练得到本地模型M，并将本地模型M中的特征提取器进行上传；
[0014]S3：服务器获得步骤S2中用户上传的特征提取器，进行本地模型M的聚合，并将其分发至参与用户；
[0015]S4：重复执行上述步骤S2与步骤S3，直至用户模型完全收敛，此时每个用户的本地模型就是该用户的最终模型。
[0016]进一步的，在步骤S2中，在第t
‑
1次迭代完成后，用户获得了全局特征处理器G
t
‑1；对于获得的全局特征处理器G
t
‑1，用户将其与本地的分类器M
CL
进行拼接得到用户的本地模型M，即
[0017]M＝G
t
‑1+M
CL
[0018]在获得本地模型M后，用户使用本地数据D和本地模型M进行训练得到训练模型M
′
，并将M
′
中的特征处理器部分M
′
FE
上传至服务器端。
[0019]进一步的，在步骤S3中，第t轮的全局特征处理器G
t
如下所示：
[0020][0021]其中，r是参与训练的用户数量，|D
i
|是用户i的训练数据数量，M
i,FE
是t轮迭代后用户i完成更新后上传的特征处理器。
[0022]进一步的，在步骤S34中，用户i的风险函数R
exp
(f)为：
[0023][0024]其中，S是用户i的样本容量，L是用户i的损失函数，l
i
是用户i的标签，f(x
i
)是用户i利用本地数据x
i
计算得到的预测结果。
[0025]与现有技术相比，本专利技术的有益效果体现在：
[0026]1、针对后门防御方案的特定性：本专利技术通过调整参数，可以防御各式后门攻击；
[0027]2、针对恶劣情况下的后门防御问题：本专利技术通过对模型的部分聚合，在恶意用户比例大于50％时仍能有较好的效果。
[0028]3、本专利技术针对数据隐私问题：本专利技术不需要使用额外数据。
[0029]4、本专利技术方法利用部分层聚合策略，将模型按照一定规则分成两部分，并对其中一部上传至服务器进行聚合。即使恶意用户比例达到90％，本专利技术依旧可以表现出出色的防御能力，而且不需要额外需求数据集。
附图说明
[0030]图1为本专利技术方法流程示意图。
具体实施方式
[0031]以下结合附图对本专利技术实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本专利技术实施例，并不用于限制本专利技术实施例。
[0032]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0033]下面将参考附图并结合示例性实施例来详细说明本专利技术。
[0034]参考图1，本专利技术的一种新型联邦学习后门防御方法，其特征在于,包括将完整的神经网络模型分为两部分：特征提取器和分类器；
[0035]假设神经网络模型中的特征提取器为FE，分类器为CL，那么在预测过程中，可得如下提取结果：
[0036]y，＝FE(x
i
)
[0037]y
i
＝CL(y
′
)
[0038]其中，x
i
是用户i的本地数据，y
′
是模型的特征提取结果，y
i
是模型的预测结果；具体包括如下步骤：
[0039]S1：服务器进行特征提取器初始化，并分发给全体用户；
[0040]S2：用户获得服务器分发的特征提取器后，用分发的特征提取器与本地的分类器M
CL
组合成为本地模型M，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新型联邦学习后门防御方法，其特征在于,包括将完整的神经网络模型分为两部分：特征提取器和分类器；假设神经网络模型中的特征提取器为FE，分类器为CL，那么在预测过程中，可得如下提取结果：y
′
＝FE(x
i
)y
i
＝CL(y
′
)其中，x
i
是用户i的本地数据，y
′
是模型的特征提取结果，y
i
是模型的预测结果；具体包括如下步骤：S1：服务器进行特征提取器初始化，并分发给全体用户；S2：用户获得服务器分发的特征提取器后，用分发的特征提取器与本地的分类器M
CL
组合成为本地模型M，使用本地数据D进行训练得到本地模型M，并将本地模型M中的特征提取器进行上传；S3：服务器获得步骤S2中用户上传的特征提取器，进行本地模型M的聚合，并将其分发至参与用户；S4：重复执行上述步骤S2与步骤S3，直至用户模型完全收敛，此时每个用户的本地模型就是该用户的最终模型。2.如权利要求1所述的一种新型联邦学习后门防御方法，其特征在于，在步骤S2中，在第t
‑
1次迭代完成后，用户获得了全局特征处理器G
t

【专利技术属性】
技术研发人员：张健毅，金琪超，孙志，黎振奎，韩禹洋，项紫啸，
申请(专利权)人：北京电子科技学院，
类型：发明
国别省市：