一种基于随机选举验证区块链的差分隐私化联邦学习方法技术

一种基于随机选举验证区块链的差分隐私化联邦学习方法

【技术实现步骤摘要】
一种基于随机选举验证区块链的差分隐私化联邦学习方法


[0001]本专利技术属于分布式数据领域，特别涉及一些应用场景，如金融
、
医疗
、
零售等，具体涉及一种基于随机选举验证区块链的差分隐私化联邦学习方法
。

技术介绍

[0002]随着现代化社会的不断发展，数字经济作为效率提升和经济结构优化的重要推动力，正在成为重组全球要素资源
、
改变全球竞争格局的关键力量
。
互联网
、
人工智能
、
区块链
、
大数据等技术创新推动了数字经济发展，机器学习的模型取得了重大的进展，众所周知，模型的训练需要大量数据集的支撑，在大数据时代得背景下，数据的隐私保护已经显得越来重要
。
[0003]为了解决数据孤岛问题，谷歌提出了联邦学习，参与训练的客户端在本地进行训练模型，然后将训练好的局部模型梯度上传至中央服务器，中央服务器将局部模型梯度聚合成全局模型，每个设备下载全局模型更新局部模型，直到达到一定精准阈值的全局模型训练完成
。
这种方法用户不需要共享自己的数据，只需分享局部模型的梯度，确保了用户的隐私安全
。
[0004]尽管联邦学习是一种多方数据共享的隐私保护方法，但它仍然存在许多挑战，主要如以下几点
:
首先中央服务器的权利是最高的，可以随意篡改上传的本地模型，更新恶意的全局模型，中心化的系统很难取得本地节点的信任，本地节点对中央服务器的依赖，单点故障的问题无法避免；其次本地节点上传模型的不可透明性，这使得中央服务器容易遇到恶意节点的模型投毒攻击，在大规模模型训练场景下，少数异常节点就足够让全局模型发散；最后上传的梯度可以反推出原始数据，这无疑使得原始数据可以被恶意节点窃取，所以对于加强节点间模型的隐私保护也是非常重要的
。

技术实现思路

[0005]本专利技术针对上述问题，设计一种基于随机选举验证区块链的差分隐私化联邦学习方法，通过区块链的去中心化，并引用了一种随机选择机制来确定验证领导节点，确保了验证节点出块的公平性，验证节点通过异常检测机制来防卫恶意节点的攻击保证全局模型安全，训练节点利用了差分隐私保护本地模型的安全，并根据节点对模型的贡献程度设计了一种激励机制来激励节点训练高质量模型
。
[0006]本专利技术是通过以下技术方案实现的：一种基于随机选举验证区块链的差分隐私化联邦学习方法，其步骤为：
[0007]1)
构建基于身份认证的区块链联邦学习系统；
[0008]身份认证的区块链的联邦学习系统构建：
[0009]由一组设备组成分布式架构，由公钥基础设施组成身份和交易的认证，节点通过证书颁发机构给予身份证书，每个授权节点通过证书认证准入系统，一部分节点用于训练本地模型，训练节点上传本地模型，验证节点把交易池的合法交易打包到区块，并通过智能
合约给予一定的奖励，负责聚合的节点，通过智能合约将区块链上的本地模型聚合，并上传全局模型，验证通过的全局模型交易上链；训练节点和聚合节点不维护局部模型以及全局模型账本，由验证节点更新账本并存储到本地数据库；
[0010]对于每一个训练节点来说，每次从区块链系统访问全局模型，区块的训练节点通过全局模型用本地数据集得到局部模型，并上传局部模型的版本号，以方便验证节点排除异常交易，防止本地模型交易攻击骗取奖励；聚合节点每间隔设定时间触发智能合约聚合最新的局部模型交易，并更新全局模型版本号，在规定时间内没有提交的局部模型交易不会参与以后模型的聚合
。
[0011]2)
进行随机选择的共识机制和验证节点的异常检测；
[0012]随机选择的共识机制和验证节点的异常检测：
[0013]对于加入的节点，分为共识节点和普通节点，普通节点参与发布局部模型事务以及聚合局部模型事务，基于公平和安全，对于共识节点领导者采取随机选择的方式，具体是每个参与节点等待指定的时间段，然后参与每轮的区块领导人选举，每个节点向网络广播其等待时间，以进行区块领导人选举；
[0014]等待时间最短的节点向区块链提交新块，共识领导节点对事务的签名进行验证，然后用自己本地的测试集验证局部模型精确度，达到精确度和时间限制阈值的交易打包到区块
。
[0015]3)
构建本地差分隐私化局部模型，并根据节点对模型的贡献程度设计激励机制来激励节点训练高质量模型；
[0016]步骤3‑1模型训练
[0017]设备在加入联邦学习训练之前，需要通过身份认证，节点通过初始块加入群组后，一组设备集合
D
＝
{1
，2，3，
...
，
N
D
}
称为训练节点，
|D|
＝
N
D
，
D
i
为
D
中的第
i
个节点，
D
i
的训练数据集为
S
i
，
|S
i
|
＝
N
i
，其中
N
i
为
S
i
中的样本个数，初期生成原始块来初始化全局模型，记为
w0，训练节点通过下载全局模型，
D
i
在自己的数据样本
S
i
，随机不重复选取小批量样本考虑到每轮选取小批量样本总数作为第
i
个数据样本，分
β
批次训练本地模型机器学习的损失函数采用均方误差损失函数，可表示为：
[0018][0019]损失函数的全局梯度可定义为：
[0020][0021]每个训练节点学习目标找到最小的局部损失函数：
[0022][0023]从而最佳的全局权重参数
w
*
可以得到：
[0024]w
*
＝
argminL(w)
，
[0025][0026]步骤3‑2模型差分隐私化
[0027]在步骤3‑1训练模型的基础上，将差分隐私机制引入到联邦学习当中，在本地模型训练的过程中，通过一种随机机制来近似模型权重，让每个客户端安全地贡献自己的模型；
[0028]定义1差分隐私：一个随机的机制
M
：
D
→
R
，记数据集为
D
，参数空间为
R
，对于深度学习来说，训练机制将训练数据集作为输入，采用随机梯度下降训练，输出训练后的参数，记作
M
：
D
→
R
，这一训练机制满足
(∈
，
δ
)
‑
差分隐私，如果任何两个相邻的数据集
d
，...

【技术保护点】

【技术特征摘要】
1.
一种基于随机选举验证区块链的差分隐私化联邦学习方法，其特征在于，其步骤为：
1)
构建基于身份认证的区块链联邦学习系统；
2)
进行随机选择的共识机制和验证节点的异常检测；
3)
构建本地差分隐私化局部模型，并根据节点对模型的贡献程度设计激励机制来激励节点训练高质量模型
。2.
根据权利要求1所述的一种基于随机选举验证区块链的差分隐私化联邦学习方法，其特征在于，所述的
1)
中具体方法为：身份认证的区块链的联邦学习系统构建：由一组设备组成分布式架构，由公钥基础设施组成身份和交易的认证，节点通过证书颁发机构给予身份证书，每个授权节点通过证书认证准入系统，一部分节点用于训练本地模型，训练节点上传本地模型，验证节点把交易池的合法交易打包到区块，并通过智能合约给予一定的奖励，负责聚合的节点，通过智能合约将区块链上的本地模型聚合，并上传全局模型，验证通过的全局模型交易上链；训练节点和聚合节点不维护局部模型以及全局模型账本，由验证节点更新账本并存储到本地数据库；对于每一个训练节点来说，每次从区块链系统访问全局模型，区块的训练节点通过全局模型用本地数据集得到局部模型，并上传局部模型的版本号，以方便验证节点排除异常交易，防止本地模型交易攻击骗取奖励；聚合节点每间隔设定时间触发智能合约聚合最新的局部模型交易，并更新全局模型版本号，在规定时间内没有提交的局部模型交易不会参与以后模型的聚合
。3.
根据权利要求1所述的一种基于随机选举验证区块链的差分隐私化联邦学习方法，其特征在于，所述的
2)
中具体方法为：随机选择的共识机制和验证节点的异常检测：对于加入的节点，分为共识节点和普通节点，普通节点参与发布局部模型事务以及聚合局部模型事务，基于公平和安全，对于共识节点领导者采取随机选择的方式，具体是每个参与节点等待指定的时间段，然后参与每轮的区块领导人选举，每个节点向网络广播其等待时间，以进行区块领导人选举；等待时间最短的节点向区块链提交新块，共识领导节点对事务的签名进行验证，然后用自己本地的测试集验证局部模型精确度，达到精确度和时间限制阈值的交易打包到区块
。4.
根据权利要求1所述的一种基于随机选举验证区块链的差分隐私化联邦学习方法，其特征在于，所述的
3)
中具体方法为：步骤3‑1模型训练设备在加入联邦学习训练之前，需要通过身份认证，节点通过初始块加入群组后，一组设备集合
D
＝
{1
，2，3，
...
，
N
D
}
称为训练节点，
|D|
＝
N
D
，
D
i
为
D
中的第
i
个节点，
D
i
的训练数据集为
S
i
，
|S
i
|
＝
N
i
，其中
N
i
为
S
i
中的样本个数，初期生成原始块来初始化全局模型，记为
w0，训练节点通过下载全局模型，
D
i
在自己的数据样本
S
i
，随机不重复选取小批量样本考虑到每轮选取小批量样本总数作为第
i
个数据样本，分
β
批次训练本地模型机器学习的损失函数采用
均方误差损失函数，可表示为：损失函数的全局梯度可定义为：每个训练节点学习目标找到最小的局部损失函数：从而最佳的全局权重参数
w
*
可以得到：
w
*
＝
argminL(w)
，步骤3‑2模型差分隐私化在步骤3‑1训练模...

【专利技术属性】
技术研发人员：陈廷伟，张嘉诚，王俊陆，宋宝燕，纪婉婷，
申请(专利权)人：辽宁大学，
类型：发明
国别省市：