本发明专利技术属于联邦学习安全防御技术领域，具体涉及基于模型参数相似性检测的后门攻击防御方法、程序、设备及存储介质。本发明专利技术通过分析每个模型的更新幅度和输出的变化，去反映客户端数据样本分布是否发生变化，以此来发现异常模型更新。本发明专利技术为每个模型维护了历史模型更新幅度和历史输出分类结果的记录，并计算与当前更新幅度和输出结果的平均相似度，基于这些平均相似度去综合评估客户端的数据样本分布是否发生变化，结合模型参数归一化技术，可以对后门中毒更新进行过滤，同时保留良性的模型更新。
【技术实现步骤摘要】
本专利技术属于联邦学习安全防御，具体涉及基于模型参数相似性检测的后门攻击防御方法、程序、设备及存储介质。
技术介绍
1、联邦学习基于多方协作训练模型，旨在保护数据隐私。然而，它面临着后门攻击的安全威胁。这些攻击具有植入潜在恶意功能的潜力。例如，后门攻击可能会操纵局部模型，影响全局模型的输出，使得在特定输入(如带有特定触发器标签的路牌)存在时行为异常。由于客户端训练数据的不平衡分布和攻击者的精心设计，如使用损失函数约束隐藏恶意更新，使得这些攻击难以通过异常检测来防御。
技术实现思路
1、本专利技术的目的在于提供基于模型参数相似性检测的后门攻击防御方法、程序、设备及存储介质，通过分析每个模型的更新幅度和输出的变化，去反映客户端数据样本分布是否发生变化，以此来发现异常模型更新。
2、基于模型参数相似性检测的后门攻击防御方法，对于参与本轮联邦学习的每一用户，在接收到全局模型参数完成本地训练后，将更新后的本地模型上传至中心服务器，中心服务器对于每一用户上传的更新后的本地模型执行以下步骤：
3、(1)判断更新后的本地模型参数是否满足归一化的条件；若满足，则第一评估分数为1分；若不满足，则第一评估分数为0分；
4、(2)计算更新后的本地模型本轮的输出层神经元的更新幅度，并执行归一化；根据用户的历史更新列表，计算本轮的更新幅度与历史更新列表中各良性模型更新幅度的相似度，并取均值；若相似度均值低于预定的阈值，则第二评估分数为0；否则，第二评估分数为1；
>5、(3)使用随机输入向量来构建随机数据集输入至更新后的本地模型中，得到各随机样本的分类结果，获取各分类结果的概率分布；根据用户的历史模型概率分布列表，计算本轮的分类结果概率分布与历史模型概率分布列表中各良性模型的分类结果概率分布的相似度，并取均值；若相似度均值低于预定的阈值，则第三评估分数为0；否则，第三评估分数为1；6、(4)综合所有评估分数，若总评估分数为2分或3分，则判定该用户为良性客户端，该用户上传的更新后的本地模型判定为良性模型；
7、中心服务器在本轮联邦学习中仅聚合良性客户端上传的良性模型。
8、进一步地，所述判断更新后的本地模型参数是否满足归一化的条件，具体为：
9、正常参与联邦学习的良性客户端完成本地训练后，会对模型参数进行归一化处理来进行模型更新；
10、
11、其中，表示第t轮联邦学习中第j个用户的原始的模型参数，w'j表示归一化后的模型参数。
12、进一步地，所述计算更新后的本地模型本轮的输出层神经元的更新幅度具体为：
13、
14、其中，et,k,i表示用户k在第t轮联邦学习上传的更新后的本地模型的输出层神经元i的更新幅度；h表示输出层神经元到前一层神经元的连接数；bt,k,i表示用户k在第t轮联邦学习上传的更新后的本地模型的输出层神经元i上的偏差；wt,k,i,h表示和表示来自全局模型gt的神经元的偏差和权重(这个解释没有t、i、h)；
15、用户k在第t轮联邦学习上传的更新后的本地模型的输出层神经元i的归一化更新幅度εt,k,i为：
16、
17、其中，p为用户k的本地模型中输出层神经元的数量；
18、根据用户k的历史更新列表hlistk,i，基于余弦相似性计算各神经元i本轮的更新幅度{εt,k,i}与历史更新列表hlistk,i中的良性模型更新幅度{εj,k,i}的相似度，并取均值
19、
20、进一步地，所述使用随机输入向量来构建随机数据集输入至更新后的本地模型中，得到各随机样本的分类结果，获取各分类结果的概率分布，具体为：
21、
22、其中，n表示分类结果出现的次数之和，k表示分类结果的总数；xi表示第i个分类结果出现的次数；pi表示第i个分类结果出现的概率。
23、一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述基于模型参数相似性检测的后门攻击防御方法的步骤。
24、一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于模型参数相似性检测的后门攻击防御方法的步骤。
25、一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于模型参数相似性检测的后门攻击防御方法的步骤。
26、本专利技术的有益效果在于：
27、本专利技术通过分析每个模型的更新幅度和输出的变化，去反映客户端数据样本分布是否发生变化，以此来发现异常模型更新。本专利技术为每个模型维护了历史模型更新幅度和历史输出分类结果的记录，并计算与当前更新幅度和输出结果的平均相似度，基于这些平均相似度去综合评估客户端的数据样本分布是否发生变化，结合模型参数归一化技术，可以对后门中毒更新进行过滤，同时保留良性的模型更新。
本文档来自技高网...
【技术保护点】
1.基于模型参数相似性检测的后门攻击防御方法，其特征在于：对于参与本轮联邦学习的每一用户，在接收到全局模型参数完成本地训练后，将更新后的本地模型上传至中心服务器，中心服务器对于每一用户上传的更新后的本地模型执行以下步骤：
2.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征在于：所述判断更新后的本地模型参数是否满足归一化的条件，具体为：
3.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征在于：所述计算更新后的本地模型本轮的输出层神经元的更新幅度具体为：
4.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征在于：所述使用随机输入向量来构建随机数据集输入至更新后的本地模型中，得到各随机样本的分类结果，获取各分类结果的概率分布，具体为：
5.一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于：所述处理器执行所述计算机程序以实现权利要求1至4中任一项所述方法的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
7.一种计算机程序产品，包括计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
...
【技术特征摘要】
1.基于模型参数相似性检测的后门攻击防御方法，其特征在于：对于参与本轮联邦学习的每一用户，在接收到全局模型参数完成本地训练后，将更新后的本地模型上传至中心服务器，中心服务器对于每一用户上传的更新后的本地模型执行以下步骤：
2.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征在于：所述判断更新后的本地模型参数是否满足归一化的条件，具体为：
3.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征在于：所述计算更新后的本地模型本轮的输出层神经元的更新幅度具体为：
4.根据权利要求1所述的基于模型参数相似性检测的后门攻击防御方法，其特征...
【专利技术属性】
技术研发人员：吕继光，杨武，苘大鹏，王焕然，韩帅，许晨，熊恒恒，朱玉坤，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。