【技术实现步骤摘要】
本专利技术属于联邦学习，尤其涉及基于个性化本地差分隐私的去中心化联邦学习方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、随着云计算、物联网、大数据等技术的迅猛发展，生活中的各种生产会不断生成大量数据，这些数据用传统方法难以处理，这就需要利用机器学习方法对海量数据进行处理，以执行各种任务；但随着隐私和机密保护方面逐渐被重视，出现了数据孤岛问题。在处理数据时，传统的集中式机器学习方法需要中央服务器通过无线传输，收集所有设备的原始数据后再进行处理和分析；但是，这不仅带来了很大的传输成本，同时某些客户端的数据会涉及敏感信息，原始数据的传输可能会导致它们的隐私泄露，进而导致这些客户端为了保护数据隐私，不愿参与训练过程，从而形成数据孤岛。
3、为解决这一问题，联邦学习应运而生；联邦学习作为一种受隐私保护的分布式机器学习，可以保护数据安全并保证数据权责的一致性，可以更好地解决数据孤岛、数据隐私等问题；目前，联邦学习已广泛应用于各个领域中。
4、然而，现有的联邦学习主要依靠参数服务器来生成或更新全局模型参数，是典型的中心化架构。这种架构存在单点故障、隐私泄露和性能瓶颈等问题，因为所有的模型参数都依赖于一个中心服务器；并且全局模型的可信度依赖于参数服务器，并受到中心化信用模型的约束；整个训练过程很容易受到服务器故障的影响；恶意参数服务器甚至可以毒害模型，生成不准确的全局更新，然后扭曲所有局部更新，从而使整个协作训练过程出错；因此，在模型训练过程中，采
5、此外，一些研究表明，未加密的中间参数可用于推断训练数据中的重要信息，使参与者的隐私数据被暴露，研究者们大多采用同态加密、shami r秘密共享和差分隐私等技术来抵抗这种推断攻击；但加密方案中的加密和解密操作可能会给模型训练带来额外的计算开销并且大幅降低模型的精度；而差分隐私通过对模型添加噪声来混淆权重的真实信息，尽管以牺牲准确性为代价；因此，平衡隐私与准确性是差分隐私方法设计中的一个焦点。
6、在具有异构数据分布的背景下，全局模型聚合过程变得尤为关键；不同参与者拥有的本地数据在质量和数量上存在显著差异，因此聚合这些局部节点的噪声参数以形成综合模型对于成功应用差分隐私方法至关重要；然而，引入噪声以及可能存在的恶意攻击者可能会阻碍聚合算法的正确执行；目前，关于基于差分隐私的隐私增强方法的研究相对不足，一些方法仅适用于数据集具有独立同分布(i id)的情况，这在实际的联邦学习场景中可能显得不够适用；尽管这些方法在特定条件下已被证明有效，但在处理非i id数据集时存在限制，并且它们在联邦学习背景下的鲁棒性可能不足以应对现实世界中的各种挑战。
7、因此，现有联邦学习方法在平衡隐私、准确性和聚合鲁棒性上存在不足。
技术实现思路
1、为克服上述现有技术的不足，本专利技术提供了基于个性化本地差分隐私的去中心化联邦学习方法及系统，将联邦学习与区块链相结合，并使用了个性化的隐私预算分配和基于参数的加权聚合算法，保证了联邦学习隐私性、准确性和鲁棒性之间实现的有效权衡。
2、为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
3、本专利技术第一方面提供了基于个性化本地差分隐私的去中心化联邦学习方法。
4、基于个性化本地差分隐私的去中心化联邦学习方法，包括：
5、初始化用于联邦学习的区块链网络，包括将任务发布者和参与训练的若干个客户端注册为区块链节点、任务发布者将训练任务发布到区块链网络中、分配客户端的初始隐私预算；
6、每个客户端从区块链上接受训练任务，使用本地数据集对从区块链中下载的全局模型进行本地迭代训练，并对隐私预算进行自适应分配和对本地模型参数进行本地差分隐私处理，直到满足迭代停止的条件，得到训练后的本地模型参数，上传到区块链中；
7、区块链对客户端上传的本地模型参数进行加权聚合，得到聚合后的全局模型，并回传给任务发布者；
8、其中，所述隐私预算，采用个性化的隐私预算分配策略，包括基于数据集加权的隐私预算初始分配、基于模型精度的隐私预算自适应分配。
9、进一步的，所述分配客户端的初始隐私预算，是采用基于数据集加权的隐私预算初始分配，具体为：
10、每个客户端的权重根据本地数据量计算；
11、每个客户端的初始隐私预算，根据权重对任务发布者设置的总预算进行分配。
12、进一步的，所述对隐私预算进行自适应分配，是采用基于模型精度的隐私预算自适应分配，具体为：
13、如果当前轮的本地模型精度低于前一轮，则为下一轮的隐私预算增加预设值。
14、进一步的，所述对本地模型参数进行本地差分隐私处理，具体为：
15、基于更新后的模型参数，计算训练数据的敏感度；
16、根据隐私预算和敏感度，计算要添加到梯度中的高斯噪声；
17、将计算得到的噪声添加到梯度中；
18、基于梯度，使用选择随机梯度下降算法，更新模型参数。
19、进一步的，所述本地迭代训练，具体步骤为：
20、(1)从区块链中下载最新的全局模型；
21、(2)将训练数据输入模型，通过前向传播计算模型的预测值；
22、(3)将模型的预测值与真实标签进行比较，构建损失函数；
23、(4)通过反向传播算法，计算损失函数相对于模型参数的梯度信息；
24、(5)基于最新的梯度信息，对本地模型参数进行本地差分隐私处理，得到参数更新后的模型；
25、(6)重复(2)-(5)步骤，直到达到停止条件。
26、进一步的，所述区块链对客户端上传的本地模型参数进行加权聚合，具体为：
27、当区块链中的本地模型参数达到预设数量后，触发模型聚合智能合约，使用基于参数的加权聚合算法来聚合本地模型参数，并使用聚合后的参数更新全局模型。
28、进一步的，所述基于参数的加权聚合算法，具体为：
29、计算客户端上传的本地模型和全局模型的余弦相似度，得到客户端的可信度；
30、根据客户端的可信度、数据量和隐私预算，计算聚合参数；
31、基于聚合参数，对全局模型与客户端上传的本地模型参数进行加权聚。
32、本专利技术第二方面提供了基于个性化本地差分隐私的去中心化联邦学习系统。
33、基于个性化本地差分隐私的去中心化联邦学习系统，包括：
34、初始化模块，被配置为：初始化用于联邦学习的区块链网络，包括将任务发布者和参与训练的若干个客户端注册为本文档来自技高网...
【技术保护点】
1.基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，包括：
2.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述分配客户端的初始隐私预算，是采用基于数据集加权的隐私预算初始分配，具体为：
3.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述对隐私预算进行自适应分配，是采用基于模型精度的隐私预算自适应分配，具体为：
4.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述对本地模型参数进行本地差分隐私处理，具体为：
5.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述本地迭代训练，具体步骤为：
6.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述区块链对客户端上传的本地模型参数进行加权聚合，具体为：
7.如权利要求6所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述基于参数的加权聚合算法，具体为：
8.基于个性化本地差
9.一种电子设备，其特征是，包括：
10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述计算机可读指令由计算机执行时，执行权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，包括：
2.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述分配客户端的初始隐私预算，是采用基于数据集加权的隐私预算初始分配，具体为：
3.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述对隐私预算进行自适应分配，是采用基于模型精度的隐私预算自适应分配，具体为：
4.如权利要求1所述的基于个性化本地差分隐私的去中心化联邦学习方法，其特征在于，所述对本地模型参数进行本地差分隐私处理，具体为：
5.如权利要求1所述的基于个性化本地差分隐私的去中心化...
【专利技术属性】
技术研发人员：王连海，李琪，徐淑奖，张淑慧，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。