【技术实现步骤摘要】
本专利技术涉及一种基于秘密共享的隐私保护的鲁棒联邦学习方法及系统，属于隐私保护和鲁棒聚合。
技术介绍
1、联邦学习(fl)作为一种有前景的分布式机器学习范例而出现，使多个参与者能够联合训练机器学习模型，而无需将数据发送到中央服务器。在fl中，参与者根据本地数据和从协调服务器接收的全局模型来计算模型更新，并将结果更新发送给协调服务器。服务器聚合收到的更新以获得新的全局模型，该模型在参与者之间重新分配。这种合作对各方来说都是互惠互利的。由于训练数据不会离开参与者的设备，因此fl是处理个人数据的场景的合适选择，例如面部识别、语音助理、医疗保健、下一个单词预测，或者物联网网络中的入侵检测。尽管fl前景广阔，但由于其分布式特性，很容易受到中毒攻击。例如，恶意客户端可能通过毒害自己的训练数据集或发送到服务器的本地模型梯度来敌对地操纵全局模型，从而破坏全局模型以做出错误的预测。另外，关于隐私问题，一些强大的隐私攻击表明可以通过反转更新的梯度来重建原始训练数据，即以明文状态传输梯度数据可能面临隐私泄露的风险。
2、数据隐私和抵御中毒攻击(拜占庭鲁棒性)是fl中的两个关键问题，协调隐私和安全性对fl来说是一个挑战。一方面，诚实参与者发送的良好更新可能会泄露他们的私有本地信息，而恶意参与者发送的有毒更新可能会损害模型的可用性或完整性。另一方面，隐私保护机制往往使数据难以区分从而会损害安全性，因为它不允许服务器过滤掉单个有毒更新。但是目前已有的fl聚合方案大多集中在鲁棒性实现上而忽视了隐私保护问题。
3、隐私保护的联邦学习鲁棒
技术实现思路
1、有鉴于此，本专利技术致力于解决上述联邦学习中平衡鲁棒聚合与隐私保护的问题，提出一种基于秘密共享的隐私保护的鲁棒联邦学习方法及系统。
2、为了达到上述目的，本专利技术采取如下技术方案：
3、第一方面，本申请实施例一种基于秘密共享的隐私保护的鲁棒联邦学习方法，该方法所针对的系统包括客户端和服务器两类实体，具体过程为：
4、初始模型分发：服务器将初始化全局模型参数分发给各客户端；
5、本地模型训练：客户端利用全局模型参数更新本地模型，并利用本地数据集训练本地模型，训练更新后通过秘密共享将其发送给服务器；
6、模型聚合分发：服务器接收来自客户端的本地模型更新参数，进行聚类操作，将聚类获得的全局模型参数分发给客户端，客户端根据接收的结果进行本地模型更新。
7、进一步地，本专利技术所述本地模型训练的具体过程为：
8、步骤2.1：客户端i利用全局模型参数更新本地模型，并利用本地数据集对本地模型进行训练，得到模型更新参数gi；
9、步骤2.2：计算模型更新参数gi的正则化结果
10、步骤2.3：根据算数秘密共享规则将gi拆分为同理将拆分为然后将共享和分别发送给聚合服务器s0和辅助服务器s1。
11、进一步地，本专利技术其中mod表示取模运算，l表示gi的比特数。
12、进一步地，本专利技术所述聚合操作在加密状态下进行，具体过程包括：
13、步骤3.1：聚合服务器s0和辅助服务器s1计算两客户端发送的模型更新参数gi,gj之间的余弦距离cdi,j，计算模型更新参数gi,gi之间的欧氏距离edi,j；
14、步骤3.2：对本地模型更新参数进行正则化检查，筛选出通过正则化检查本地模型更新参数；
15、步骤3.3：利用筛选出本地模型更新参数所对应的余弦距离和欧式距离计算聚类特征，针对所述聚类特征进行聚类操作，得到集合c；
16、步骤3.4：将集合c中的模型更新进行加权聚合得到全局模型更新g并更新全局模型。
17、进一步地，本专利技术所述步骤3.1中余弦距离cdi,j计算的具体过程为：
18、首先，服务器s0计算和服务器s1计算和其中，表示模型更新参数gj的正则化结果，和为根据秘密共享规则的拆分结果；u和v为随机值，和为u根据秘密共享规则的拆分结果，和为v根据秘密共享规则的拆分结果；
19、其次，服务器s0和服务器s1交换和即可恢复
20、再次，服务器s1在本地计算并将结果发送给s0；
21、最后，服务器s0计算后，进行秘密重构即可得到模型更新gi,gj之间的余弦相似度cos(gi,gj)进而计算距离cdi,j；
22、进一步地，本专利技术所述步骤3.1中欧氏距离edi,j计算的具体过程为：
23、首先，服务器s0在本地计算和服务器s1在本地计算和
24、其次，服务器s0和服务器s1交换和即可恢复
25、再次，服务器s1在本地计算并将结果发送给s0；
26、最后，服务器s0计算后，进行秘密重构即可得到继而得到模型更新gi,gj之间的欧氏距离edi,j。
27、进一步地，本专利技术所述步骤3.2的具体过程为：
28、服务器s0和服务器s1分别持有其正则化结果的共享s0,s1基于算数共享计算的结果，然后进行判断：若则说明是合法的正则化结果，只有通过正则化检查为合格的本地模型更新才被保留下来允许继续参与后续的聚类操作，而检查结果为不合法的都会被丢弃掉。
29、进一步地，本专利技术所述步骤3.3的具体过程为：
30、步骤3.3.1：对筛选出的模型更新间的欧氏距离edi,j进行最值归一化处理得到ed′i,j，然后计算综合指标di,j＝cdi,j+ed′i,j作为本地模型更新的聚类特征；
31、步骤3.3.2：根据恶意客户端的占比情况采取不同的聚类算法进行聚类：
32、如果恶意客户端占比小于50％，使用hdbscan聚类算法进行聚类操作，即c＝hdbscan(di,j)；
33、如果恶意客户端占比大于50％，使用凝聚层次聚类算法进行聚类操作，即c＝ahc(di,j)。
34、进一步地，本专利技术所述步骤3.4的具体过程为：
35、步骤3.4.1：根据步骤3.3.1得到的综合指标di,j计算模型更新gi的聚合权重其中，n是集合c中所含模型更新的数量,i∈n；
36、步骤3.4.2：基于乘法三元组bt(<z>,<u>,<v>)进行加权聚合，具体为：
37、将其聚合权重sci随机拆分为后分别发送给服务器s0和服务器s1，此外两个服务器还分别持有模型更新gi的共享然后计算<gi>·<sci>，进一步地计算全局模型更新参数
38、步骤3.4.3：更新全局模型参数w＝w+α·g本文档来自技高网...
【技术保护点】
1.一种基于秘密共享的隐私保护的鲁棒联邦学习方法，该方法所针对的系统包括客户端和服务器两类实体，其特征在于，具体过程为：
2.根据权利要求1所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述本地模型训练的具体过程为：
3.根据权利要求2所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，其中mod表示取模运算，l表示gi的比特数。
4.根据权利要求1所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述聚合操作在加密状态下进行，具体过程包括：
5.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述步骤3.1中余弦距离cdi,j计算的具体过程为：
6.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述步骤3.1中欧氏距离edi,j计算的具体过程为：
7.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述步骤3.2的具体过程为：
8.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征
9.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述步骤3.4的具体过程为：
10.一种基于秘密共享的隐私保护的鲁棒联邦学习系统，包括客户端和服务器两类实体，其特征在于，
...【技术特征摘要】
1.一种基于秘密共享的隐私保护的鲁棒联邦学习方法，该方法所针对的系统包括客户端和服务器两类实体，其特征在于，具体过程为：
2.根据权利要求1所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述本地模型训练的具体过程为：
3.根据权利要求2所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，其中mod表示取模运算，l表示gi的比特数。
4.根据权利要求1所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述聚合操作在加密状态下进行，具体过程包括：
5.根据权利要求4所述基于秘密共享的隐私保护的鲁棒联邦学习方法，其特征在于，所述步骤3.1中余弦距离cd...
【专利技术属性】
技术研发人员：徐畅，沈啸东，梅佳佳，祝烈煌，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。