【技术实现步骤摘要】
该技术属于计算机，具体涉及一种联邦学习领域的抵御后门攻击的方法和系统。
技术介绍
1、近年来，随着各国隐私保护法案的陆续推出，个人数据隐私保护成为了全球范围内的重要议题。传统的集中式模型训练方法要求将所有参与方的数据集中到一个中心化的服务器进行模型训练，这引发了对数据隐私的担忧和法规限制。为了应对这一挑战，谷歌提出了一种新型的分布式机器学习技术——联邦学习。
2、联邦学习与传统的集中式模型训练方法有着显著的区别。在联邦学习中，模型的训练是在参与方的本地设备上进行的，而不需要将原始数据传输到中心服务器。参与方通过共享模型参数的加密更新来进行模型的训练和改进，而不必共享具体的个体数据。这种去中心化的训练方式极大地降低了对数据隐私的侵犯风险，并且减轻了来自隐私法案的压力。
3、然而，尽管联邦学习在数据隐私方面有优势，但研究表明它也容易受到后门攻击的影响。后门攻击是一种恶意攻击，攻击者通过操纵训练数据或模型参数，嵌入后门功能或漏洞，以在模型部署后触发特定行为。在联邦学习中，后门攻击可以通过模型投毒的方式来实施。当这些带有后门的模型更新与其他参与方的模型更新进行聚合时，全局模型将携带后门功能。这可能导致在实际系统中，当输入数据满足特定条件时，模型将执行意外的、恶意的操作，从而危及系统的安全性和可靠性。
4、因此，联邦学习下的攻防研究显得尤为重要，可以帮助解决联邦学习中的安全和隐私问题，提高联邦学习的实际应用价值。
技术实现思路
1、本专利技术要解决现有技术
2、为实现上述目的，本专利技术提供了一种联邦学习领域的抵御后门攻击的方法，服务器收集一部分干净数据作为服务器数据来源，并且使用这些数据预训练一个全局模型，并且记录模型预训练期间的模型更新量。预训练得到的模型可以使各个参与方首次参与联邦系统时即可获得较高的精度，而更新量则可用于训练一个循环神经网络模型，这个循环神经网络模型可以用于预测下一轮全局模型的更新方向。除此以外，服务器本地数据可以输入至当前轮次的模型中，得到的模型更新量也可以对模型更新方向进行一定的指导。
3、一种联邦学习领域的抵御后门攻击的方法，包括如下步骤：
4、s1：参与方和服务器通过各自的数据收集方式获取数据；
5、s2：服务器通过自身数据集预训练全局模型若干轮，记录下模型更新量和最终得到的预训练模型，并且使用模型更新量训练一个循环神经网络模型；
6、s3：参与方下载全局模型并且使用自身数据集训练若干轮，并且将更新量上传至服务器；
7、s4：首先，服务器接收各个参与方上传的更新向量后，使用循环神经网络模型预测模型更新方向，并对各参与方更新量评分；其次服务器将本地数据输入模型，得到的模型更新量与各参与方更新量对比并评分。服务器对双评分加权求和，将汇总评分低于阈值的客户端更新从本轮训练中排除；
8、s5：利用联邦平均算法聚合来自高评分客户端和服务器本地的模型更新得到新一轮的模型更新量，更新全局模型和循环神经网络模型，并且记录模型更新量；
9、s6：重复s3-s5的过程，直至模型收敛。
10、优选地，所述步骤s2具体包括：
11、s2.1：将模型更新扁平化后的向量用于训练一个循环神经网络模型。然而全局模型的更新扁平化得到的向量维度非常高，这导致了训练循环神经网络模型需要付出更加高昂的计算代价。从预训练过程中记录的模型更新量中顺序取出(n+1)轮次的模型更新量，将前n个轮次的模型更新量x扁平化后，组成一个扁平化向量组x∈rn×d，d代表扁平后向量的维度，通过右乘一个可训练的降维矩阵w∈rd×l进行降维，其中l表示降维后向量维度，具体公式如下：
12、x′＝x×w (1)
13、s2.2：将降维后的向量组输入循环神经网络模型，并且保证循环神经网络模型的输出向量为m维，即真实标签为第(n+1)轮次的模型更新量扁平化后得到的向量，由于两者维度不统一，因此也需要通过右乘w矩阵降维得到y。使用mse损失函数计算loss，更新循环神经网络模型，具体公式如下：
14、
15、s2.3：循环神经网络模型选用可以是rnn、gru、lstm等，可自行调整。
16、优选地，所述步骤s4具体包括：
17、s4.1：服务器接收到各个参与方上传的更新向量后，首先将前n个轮次的模型更新量扁平化为向量x，输入至循环神经网络模型中，得到预测向量；
18、s4.2：将各个参与方上传的更新向量单独右乘降维矩阵进行降维得到y，随后逐个与预测向量计算欧式距离，得到各个距离值distancernn，并且计算各个客户端得分，具体公式为：
19、
20、
21、s4.3：将各个rewardrnn除以最大的rewardrnn，得到各个参与方循环神经网络预测的分数gradernn，具体公式为：
22、
23、s4.4：服务器模型将本地数据输入模型中，获得更新向量z，将该向量与各个客户端上传的模型更新向量逐个计算欧式距离，得到各个距离值distanceserver，并且计算各个客户端得分，具体公式为：
24、
25、
26、s4.5：将各个rewardserver除以最大的rewardserver，得到各个参与方的分数gradeserver，具体公式为：
27、
28、s4.6：将各个参与方的两项分数进行加权求和，得到最终评分：
29、grade＝α×gradernn+β×gradeserver (9)
30、α+β＝1 (10)
31、若参与方评分低于阈值δ，则认为其本轮上传的更新向量为恶意的，使其无法参与模型聚合。
32、本专利技术的第二个方面涉及实施本专利技术的一种联邦学习领域的抵御后门攻击的方法的系统，包括参数获取与处理模块、更新评分模块和联邦聚合模块；
33、所述参数获取与处理模块，用于收集并处理用作模型的参数，具体包括：参与方模型更新向量的获取，参与方评分计算。
34、所述更新评分模块，用于对各个参与方上传的模型更新进行评分，筛除低分的更新。
35、所述联邦聚合模块，各参与方在本地训练若干轮次后，上传其模型更新参数。服务器将高评分的更新参数与全局模型聚合获得新的全局模型重新发送给各个客户端。参与方更新模型继续下一批次的训练，直至模型收敛。
36、本专利技术的第三个方面涉及一种联邦学习领域的抵御后门攻击的装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本专利技术的一种联邦学习领域的抵御后门攻击的方法。
37、本专利技术的第四个方面涉及一种计算机可读存储介质，其特征本文档来自技高网...
【技术保护点】
1.一种联邦学习领域的抵御后门攻击的方法，由中心服务器和至少一个客户端实现，包括如下步骤：
2.如权利要求1所述的一种联邦学习领域的抵御后门攻击的方法，其特征在于，所述步骤S2具体包括：
3.如权利要求1所述的一种联邦学习领域的抵御后门攻击的方法，其特征在于，所述步骤S4具体包括：
4.实施权利要求1所述的一种联邦学习领域的抵御后门攻击的方法的系统，其特征在于：包括参数获取与处理模块、更新评分模块和联邦聚合模块；
5.一种联邦学习领域的抵御后门攻击的装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-3中任一项所述的一种联邦学习领域的抵御后门攻击的方法。
6.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-3中任一项所述的一种联邦学习领域的抵御后门攻击的方法。
【技术特征摘要】
1.一种联邦学习领域的抵御后门攻击的方法，由中心服务器和至少一个客户端实现，包括如下步骤：
2.如权利要求1所述的一种联邦学习领域的抵御后门攻击的方法，其特征在于，所述步骤s2具体包括：
3.如权利要求1所述的一种联邦学习领域的抵御后门攻击的方法，其特征在于，所述步骤s4具体包括：
4.实施权利要求1所述的一种联邦学习领域的抵御后门攻击的方法的系统，其特征在于：包括参数获取与处理模块、更新评...
【专利技术属性】
技术研发人员：俞山青，徐少聪，李盼盼，周嘉俊，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。