【技术实现步骤摘要】
本专利技术属于隐私保护的，更具体地，涉及面向保隐私异构去中心化学习的正则约束自适应调整方法。
技术介绍
1、联邦学习（federated learning, fl）是一种新兴的分布式机器学习框架，旨在在不直接共享原始数据的前提下，利用多个分散的客户端协作训练全局模型。通过仅交换本地梯度或模型更新，联邦学习在数据隐私保护方面展现了巨大潜力，因此在金融、医疗、物联网等对隐私敏感的领域得到了广泛应用。然而，在联邦学习的实际应用中，数据隐私保护和计算效率仍然面临诸多挑战。首先是数据隐私性问题，尽管客户端不直接共享数据，但交换的梯度或模型更新中可能泄露关于原始数据的敏感信息。然而，在联邦学习的实际应用中，数据隐私保护、通信效率和模型性能仍然面临诸多挑战，亟待深入研究与改进。
2、首先，在数据隐私性方面，尽管联邦学习通过在客户端本地完成数据处理避免了直接共享原始数据，但交换的梯度或模型更新中仍可能泄露关于原始数据的敏感信息。近年来，差分隐私（differential privacy, dp）被提出作为一种有效的隐私保护机制，通过在梯度或模型更新中添加噪声来限制潜在的信息泄露，从而使攻击者难以通过通信内容推断出原始数据。尽管如此，如何在隐私保护与模型性能之间取得平衡仍是一个重要的研究课题。
3、其次，在通信架构方面，现有的大多数联邦学习框架依赖于中心化的通信架构，即所有客户端通过一个中心服务器进行通信和参数聚合。然而，这种架构在实际部署中可能受到通信成本高、单点故障风险以及系统瓶颈等限制，从而降低其在大规模分布式系统中
4、最后，数据异质性（non-iid）问题在联邦学习中尤为突出，在实际场景中，客户端的数据通常呈现非独立同分布，这导致各客户端本地模型的学习过程可能存在显著差异，给联邦学习带来了模型偏差和性能不一致的问题。
5、中国专利文献cn115510482a公开一种融合自适应差分隐私与联邦学习的群智感知数据隐私保护方法，该专利技术采用联邦学习方法，它不需要共享感知数据，在本地对感知用户提交的数据进行存储、训练形成本地模型。其次利用差分隐私加入高斯噪声来扰动感知用户上传的本地模型，防止信息泄露。将处理后的本地模型上传到感知平台进行聚合。最后采用自适应差分隐私机制，实时调整剪裁值，减少噪声和参数剪裁所造成的误差，降低通信代价。然而该方法仍需要中心服务器的参与，无法适用于适用于有向、和时变的通信拓扑，而且采用实时调整剪裁值来约束本地模型的大小，不可避免的会存在裁剪偏差。
6、有鉴于此，本专利技术设计一种面向保隐私异构去中心化学习的正则约束自适应调整方法，以实现对去中心化拓扑中非独立同分布（non-iid）数据的高效优化。
技术实现思路
1、本专利技术旨在克服上述现有技术的至少一种缺陷，提供面向保隐私异构去中心化学习的正则约束自适应调整方法，旨在平衡数据隐私保护和模型性能，在保护数据隐私的同时，减轻数据异质性和差分隐私噪声对模型性能的负面影响。具体地，本方法通过结合随机梯度推送方法、正则化优化和自适应参数调整机制，实现了对去中心化拓扑中非独立同分布（non-iid）数据的高效优化。
2、本专利技术详细的技术方案如下：
3、面向保隐私异构去中心化学习的正则约束自适应调整方法，所述方法包括：
4、s1、将每个客户端的本地模型划分为共享模型和保留模型，对共享模型进行正则化约束，以限制模型参数的更新幅度；
5、s2、客户端使用上一轮聚合后的共享模型和本地保留模型，基于本地数据集进行梯度下降更新；
6、s3、通过kl散度对正则化参数进行动态更新调整；
7、s4、为保护共享模型的隐私，对共享模型进行差分隐私保护，然后将加噪后的共享模型广播给邻居客户端，确保隐私保护的同时完成去中心化通信；
8、s5、客户端i的邻居客户端接收加噪后的共享模型并进行聚合，以得到下一迭代轮次的本地模型。
9、根据本专利技术优选的，所述步骤s1具体如下：
10、s11、对本地模型的深度神经网络进行分层处理，将本地模型被划分为共享模型和保留模型，其中，共享模型用于在邻居客户端之间交换，保留模型保留在本地以维护个性化特征；
11、s12、对共享模型进行正则化约束来限制模型偏差，将客户端的损失函数重新表示为：
12、（1）
13、（2）
14、式（1）和式（2）中，是交叉熵损失函数，是正则化参数，是裁剪阈值，和分别表示本轮和上一轮的共享模型，表示正则化项，表示第轮迭代中的去偏参数，当t=0时，=。
15、根据本专利技术优选的，所述梯度下降更新的规则如下：
16、（3）
17、式（3）中，是学习率，是基于本地数据的损失函数，表示去偏参数，表示本地数据集。
18、根据本专利技术优选的，所述kl散度用于衡量当前共享模型与上一轮共享模型分布之间的差异，所述通过kl散度对正则化参数进行动态更新调整具体如下：
19、（4）
20、式（4）中，是步长参数，和分别表示第t轮和t-1轮的共享模型，表示kl散度，表示更新后得到的第t+1轮正则化参数，表示本轮的正则化参数。
21、根据本专利技术优选的，所述对共享模型进行差分隐私保护是指：通过向共享模型添加噪声实现差分隐私，所述噪声服从高斯分布，具体如下：
22、（5）
23、（6）
24、式（5）和式（6）中，代表需要共享给邻居客户端的共享模型参数，代表裁剪阈值，是期望为0，方差为的高斯噪声，满足差分隐私的隐私预算要求，代表对加噪后的共享模型参数。
25、根据本专利技术优选的，所述步骤s5具体如下：客户端i的邻居客户端接收加噪后的共享模型并进行聚合，以得到下一迭代轮次的本地模型，具体为：
26、（7）
27、式（7）中，代表聚合得到的第t+1轮的本地模型，表示第t轮的本地模型，代表第t轮时客户端j到客户端i的权重，表示第t轮更新得到的邻居客户端的标量推送权重，表示第t+1轮更新得到的邻居客户端的标量推送权重；表示自客户端在第轮迭代中的去偏参数。
28、与现有技术相比，本专利技术的有益效果为：
29、（1）本专利技术采用了随机梯度推送方法，消除了对中央节点的依赖，适用于时变的有向通信拓扑，并为每个客户端提供隐私保护。
30、（2）本专利技术设计了一种自适应参数优化机制，通过kl散度对正则化参数进行动态更新调整，提高模型的泛化能力，同时为非凸优化问题提供本文档来自技高网...
【技术保护点】
1.面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，步骤S1具体如下：
3.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述梯度下降更新的规则如下：
4.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述KL散度用于衡量当前共享模型与上一轮共享模型分布之间的差异，所述通过KL散度对正则化参数进行动态更新调整具体如下：
5.根据权利要求4所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述对共享模型进行差分隐私保护是指：通过向共享模型添加噪声实现差分隐私，所述噪声服从高斯分布，具体如下：
6.根据权利要求5所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述步骤S5具体如下：客户端i的邻居客户端接收加噪后的共享模型并进行聚合，以得到下一迭代轮次的本地模型，具体为：
【技术特征摘要】
1.面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述方法包括：
2.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，步骤s1具体如下：
3.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述梯度下降更新的规则如下：
4.根据权利要求1所述的面向保隐私异构去中心化学习的正则约束自适应调整方法，其特征在于，所述kl散度用于衡量当前共享模型与上一轮共享模型分布...
【专利技术属性】
技术研发人员：吴晓明，刘腾，杨明，王鑫，刘臣胜，穆超，陈振娅，贺云鹏，吴法宗，徐硕，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。