一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法技术

本发明专利技术公开了一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，具体实施步骤为：客户端初始化时随机生成标量参数的初始值；客户端执行权重策略选择权重参数；客户端广播模型参数给邻居，同时接收来自内邻居广播的模型参数，再将模型更新参数聚合；客户端更新本地模型参数；客户端更新梯度下降参数。本发明专利技术的在跨筒仓联邦学习中保护本地隐私的梯度下降方法，克服了面向跨筒仓/跨设备联邦学习的几种经典梯度下降方法中的隐私缺陷，在训练线性回归任务时可以更好的保护本地模型隐私。私。私。

【技术实现步骤摘要】
一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法


[0001]本专利技术涉及一种在联邦学习中的隐私保护方法，具体的来说，即一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法。

技术介绍

[0002]随着人们对私有信息隐私保护问题的日益重视，数据安全和隐私保护分析成为众多领域的重要研究热点。联邦学习是一种分布式机器学习的优化算法，可以降低传统机器学习方法蕴藏的隐私风险。联邦学习的一个主要优点是原始数据存储在客户端本地，在客户端和服务器之间交换相关参数的本地训练过程中，可以避免潜在的敌手窃听用户敏感私有的原始数据。
[0003]虽然联邦学习在保护个体敏感信息方面具有突出优势，但仍然存在泄漏隐私的风险。在基于联邦学习协调训练全局共享最优模型的过程中，客户端与服务器(或客户端)之间存在传输模型更新等相关参数的通信信道，当客户端接收到服务器发送的模型参数后，客户端根据下载的本地模型更新模型参数，例如，利用随机梯度下降方法优化本地模型，但此过程中存在着潜在的客户端隐私泄露的风险，即隐藏的敌手可能会通过窃取训练过程中信道上的传输信息推断出客户端的本地模型。已有相关研究工作表明敏感信息隐藏在模型内部。例如，2014年，Fredrikson等人的研究工作中引入了一种模型反演攻击方法，并将其应用于个性化医学中的线性分类器研究中，结果表明用户隐私可能通过滥用对机器学习模型的对抗性访问来获取。2015年，Fredrikson等人又提出了一种利用置信度信息的新型模型反演攻击方法，表明在神经网络和机器学习作为系统服务的情况下，有能力对模型进行预测查询的敌手可以通过得知置信度的值，在仅给定相关姓名及访问机器学习模型权限的条件下恢复用户面部图像。
[0004]联邦学习有两种经典设置，分别是跨设备联邦学习和跨筒仓联邦学习，区别在于前者有中心服务器，客户端将模型参数上传给服务器，而后者仅由客户端构成，由客户端之间进行端对端传输。相比前者允许客户端大规模并行运算的特征，后者客户端的规模会小很多，但在低带宽和高延迟的网络上运行时，跨筒仓联邦设置可以降低高昂的通信成本，提高通信效率。
[0005]Mcmahan等人提出了一种面向跨设备联邦学习的梯度下降方法，即FedAvg方法。FedAvg方法是一种基于迭代模型平均的去中心化方法，即让训练数据分布在移动设备(客户端)上，并通过服务器聚合本地模型更新与移动设备协作学习共享模型。但FedAvg方法引入了通信瓶颈。因此，而面向跨筒仓联邦学习的梯度下降工作，一种面向跨筒仓联邦学习的名为CBGD的梯度下降方法被首次提出用于分布式(去中心)的优化，它对筒仓间的通信网络具有很强的自适应能力。但是，CBGD方法需要将整个模型参数传输给邻居客户端，这个过程存在隐私隐患，恶意敌手在对梯度下降方法流程有足够认知的情况下，可以从其梯度更新步骤中解密出客户端的本地模型。因此，PSGD方法被提出，该方法中客户端只需要向邻居发送部分模型参数。然而，已经有工作证明，假设存在一个具有窃听能力及了解这三种梯度下
降方法流程的好奇敌手，当客户端在训练线性回归任务时，敌手有能力推导出客户端本地模型。因此经典的FegAvg方法、CBGD方法和PSGD方法均不能保护客户端本地隐私。

技术实现思路

[0006]有鉴于此，本专利技术的目的是提出一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法。
[0007]实现本专利技术目的的具体技术方案是：
[0008]一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，该方法包括以下步骤：
[0009]步骤1：客户端初始化，即每个客户端初始化本地模型参数，随机生成标量参数的初始值；
[0010]步骤2：每个客户端执行权重策略选择权重参数；
[0011]步骤3：每个客户端将训练后的模型更新参数广播给相邻可通信的客户端，同时接收来自内邻居客户端广播给自己的模型参数，并将本地的模型参数与接收到的邻居客户端的模型更新参数聚合；
[0012]步骤4：客户端更新本地模型参数；
[0013]步骤5：执行梯度下降操作，每个客户端更新梯度下降参数；
[0014]步骤6：循环步骤3
‑
5，直到网络中传输的模型更新参数不再变化为止，即客户端计算出一致的共享最优模型，停止训练，跳出循环。
[0015]进一步地，所述步骤1的客户端初始化方法的作用在于防止敌手通过知道客户端标量参数的初始值而解密更多的参数信息。具体初始化方法为：假设网络中有个客户端，每个客户端选择训练本地模型的算法。令x
i
为客户端i的梯度下降参数，w
i
为其本地模型参数，y
i
(0)为其标量参数。起始轮时，客户端初始化本地模型参数，令以及标量值0<并且为了防止敌手通过知道客户端标量参数y
i
(0)的初始值而解密更多的参数信息，客户端i从一个正值非零范围的分布随机生成标量参数y
i
(0)的初始值。
[0016]进一步地，所述步骤2的权重策略的作用在于确保敌手即使知道客户端的外邻居数，也无法推测出权重参数的值。具体策略为：令p
j,i
(t)为第t轮当客户端发送其部分模型参数给邻居时的模型权重参数为，令为客户端的外邻居数为。当第t轮可以接收客户端i发送的消息的节点数满足时，对从范围为[ζ
′
，β]的分布中选择权重参数p
i，i(t)
，计算赋给p
j，i
(t)，注意若不满足，则权重参数p
i，i(t)
的值为1。
[0017]进一步地，所述步骤3的将训练后的模型更新参数广播给相邻可通信的客户端，同时接收来自内邻居广播给自己的模型参数，具体为：客户端i更新模型后将训练后的模型参数p
j，i
(t)x
i
(t)，p
j，i
(t)y
i
(t)上传给网络中的邻居客户端注意此过程只上传模型参数而不会将全部参数上传，同时接收来自内邻居客户端的模型参数p
i，j
(t)x
i
(t)，p
i，j
(t)y
i
(t)。
[0018]进一步地，所述步骤3的客户端聚合模型参数，即聚合本地的模型参数与其邻居客户端发送的模型更新参数，其目的在于综合考虑多个客户端的模型参数，有利于进行模型优化。聚合结果的计算公式如下：
[0019][0020][0021]其中z
i
为客户端i聚合并计算所有接收到的模型参数与自己的模型参数的加权平均值。
[0022]进一步地，所述步骤4的客户端更新本地模型参数方法，即利用聚合的结果来的到下一轮的模型参数，计算公式如下：
[0023]进一步地，所述步骤5的更新梯度下降参数方法，即利用聚合的结果、下一轮的模型参数更新梯度下降参数，计算公式如下：其中η为学习速率，l
i
为损失函数，损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向跨筒仓联邦学习的保护本地隐私的梯度下降方法，其特征在于，该方法包括以下步骤：步骤1：客户端初始化，即每个客户端初始化本地模型参数，随机生成标量参数的初始值；步骤2：每个客户端执行权重策略选择权重参数；步骤3：每个客户端将训练后的模型更新参数广播给相邻可通信的客户端，同时接收来自内邻居客户端广播给自己的模型参数，并将本地的模型参数与接收到的邻居客户端的模型更新参数聚合；步骤4：客户端更新本地模型参数；步骤5：执行梯度下降操作，每个客户端更新梯度下降参数；步骤6：循环步骤3
‑
5，直到网络中传输的模型更新参数不再变化为止，即客户端计算出一致的共享最优模型，停止训练，跳出循环。2.根据权利要求1所述的梯度下降方法，其特征在于，步骤1所述每个客户端初始化本地模型参数，具体为：若网络中有n个客户端，每个客户端选择训练本地模型的算法；令x
i
为客户端i的梯度下降参数，w
i
为其本地模型参数，y
i
(0)为其标量参数；起始轮时，客户端i初始化本地模型参数，令以及在区间的范围中任取标量值ζ
′
和β，使和β，使并且为了防止敌手通过知道客户端标量参数y
i
(0)的初始值而解密更多的参数信息，客户端i从一个正值非零范围的分布随机生成标量参数y
i
(0)的初始值。3.根据权利要求1所述的梯度下降方法，其特征在于，步骤2所述权重策略：令p
j，i
(t)为第t轮当客户端i发送其部分模型参数给邻居j时的模型权重参数，令为客户端i的外邻居数；当第t轮能够接收客户端i发送的消息的节点数满足时，对从范围为[ζ
′
，β]的分布中选择权重参数p
i，i(t)
，计算赋给p
j，i
(t)，即客户端i发送消息x
i
(t...

【专利技术属性】
技术研发人员：何道敬，陆欣彤，潘凯云，刘川意，田志宏，张宏莉，蒋琳，廖清，
申请(专利权)人：上海境山科技有限公司，
类型：发明
国别省市：