一种基于区块链的异步联邦学习方法及系统技术方案

本发明专利技术提供一种基于区块链的异步联邦学习方法及系统，在联邦学习的基础上引入区块链网络，选取声誉较高的边缘设备节点作为议会节点用于模型的聚合和对所有节点的声誉更新，以实现联邦学习过程的去中心化；将全局模型发送至边缘设备，利用边缘设备产生的丰富数据进行训练并返回对全局模型的更新参数，并基于议会节点分别进行模型聚合、声誉更新并进行共识认证，最终在共识成功的条件下实现完整的联邦学习。所述方法在模型训练过程中，边缘设备的数据不离开本地，降低数据泄漏风险，保护用户隐私；基于区块链网络和共识算法去中心化，避免单点故障，提高系统鲁棒性和拓展性。提高系统鲁棒性和拓展性。提高系统鲁棒性和拓展性。

【技术实现步骤摘要】
一种基于区块链的异步联邦学习方法及系统


[0001]本专利技术涉及电子数据处理
，尤其涉及一种基于区块链的异步联邦学习方法及系统。

技术介绍

[0002]随着物联网和4G/5G无线蜂窝网络技术的在过去的十年内的普及和发展，网络边缘的智能终端数量大幅度增长，大规模的数据采集和数据交互导致数据在边缘网络富集。这些海量的终端数据可以服务于广泛的人工智能应用，丰富人们的生活、提高社会的生产力和工作效率。通过结合边缘计算与AI技术，可以直接利用物联网设备的本地数据集，并为物联网设备提供实时决策和状态感知能力，可以更好地应对复杂的现实环境。但是如果直接利用终端设备的大量数据进行训练，需要将原始数据或者中间数据传输到终端设备以外，这个过程显然需要处理隐私保护的问题。
[0003]作为具有隐私保护属性的解决方案，联邦学习可以在数据本地化的条件下，利用终端设备上的数据，完成学习一个单一的全局统计模型的任务。联邦学习不仅可以有效地防止隐私泄漏，还可以基于异构网络与非独立同分布数据集进行训练，适合边缘网络复杂的环境和数据来源。然而联邦学习架构在应用于边缘网络时仍存在一定的缺陷，例如中心化的联邦学习需要使用中心服务器进行调度与模型聚合，这使得联邦学习架构面临着严重的单点故障问题；此外，在无法绝对信任服务器节点的边缘环境下，节点的来源复杂，可能存在互不信任、数据不一致的问题，攻击者可以通过劫持节点或向系统注入恶意节点，扰乱模型聚合过程。

技术实现思路

[0004]鉴于此，本专利技术实施例提供了一种基于区块链的异步联邦学习方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷，以解决联邦学习过程中各单点互不信任、数据不一致，以及恶意节点扰乱聚合的问题。
[0005]本专利技术的技术方案如下：
[0006]一方面，本专利技术提供一种基于区块链的异步联邦学习方法，所述方法用于在多个边缘设备构成的区块链网络上运行，每个边缘设备作为一个节点，所述方法基于回合制运行，在每一个回合中，所述方法包括：
[0007]按照上一回合中各节点的声誉评分对各节点进行排序，选取所述声誉评分较高的第一设定数量个节点作为议会节点，剩余节点作为普通节点；其中，所述议会节点用于模型本地训练、模型聚合、共识和对各节点的声誉更新，所述普通节点仅用于模型本地训练；
[0008]各节点获取所述区块链网络中当前的全局模型，根据本地数据集对所述全局模型进行本地训练，并向所有议会节点广播所述全局模型的更新参数；
[0009]各议会节点对参与广播的节点进行声誉评分认证，剔除声誉评分低于第一设定值的节点广播的更新参数，各议会节点利用本地数据对剩余节点广播的更新参数进行本地测
试得到验证评分，以及对各节点的更新参数进行聚合更新全局模型；所述验证评分为一个或多个性能参数计算得到；
[0010]每个议会节点将本地计算的各节点的验证评分交给其他议会节点，每个议会节点在本地综合计算各节点的最终验证评分，并根据各节点的最终验证评分计算更新声誉评分；
[0011]每个议会节点将本地计算的各节点的更新声誉评分、聚合更新后的全局模型打包，并在各议会节点间进行共识认证；
[0012]在共识成功后，所述区块链网络根据共识结果更新各节点的声誉评分以及全局模型。
[0013]在一些实施例中，每个议会节点将本地计算的各节点的验证评分交给其他议会节点之后，还包括：
[0014]每个议会节点将本地聚合更新的全局模型交给其他议会节点，各议会节点利用本地数据集对当前全局模型以及其他议会节点发送的更新后的全局模型进行性能测试，所述性能测试至少包括准确率；
[0015]每个议会节点在性能测试过程中，若存在其他议会节点发送的更新后的全局模型的性能低于当前全局模型，则进行广播提示。
[0016]在一些实施例中，每个议会节点将本地计算的各节点的验证评分交给其他议会节点之后，还包括：
[0017]每个议会节点将本地聚合更新的全局模型交给其他议会节点，各议会节点利用本地数据集对当前全局模型以及其他议会节点发送的更新后的全局模型进行性能测试，所述性能测试至少包括准确率；
[0018]每个议会节点在性能测试过程中，若存在其他议会节点发送的更新后的全局模型的性能低于当前全局模型，且差距超过设定阈值，则进行广播提示。
[0019]在一些实施例中，所述方法还包括：设置终止条件，所述终止条件为所有节点都至少一次上传更新参数或回合达到第二设定数量。
[0020]在一些实施例中，每个议会节点将本地计算的各节点的验证评分交给其他议会节点，每个议会节点在本地综合计算各节点的最终验证评分，包括：
[0021]对于议会节点m，接收其他议会节点计算的关于节点n的验证评分H1、H2、H3…
H
c
，c为所述区块网络中除议会节点m外其他议会节点的数量；
[0022]对验证评分H1、H2、H3…
H
c
进行加权求和，各验证评分的权重正比于相应议会节点的声誉评分。
[0023]在一些实施例中，对各节点的更新参数进行聚合更新全局模型，计算式表示为：
[0024]w
′
global
←
α
×
w
i
+(1
‑
α)
×
w
global
；
[0025]其中，w
i
是第i个节点上传的更新参数，w
global
是全局模型的参数，w
′
global
是更新后的全局模型的参数，α是聚合系数。
[0026]在一些实施例中，所述聚合系数的计算式为：
[0027][0028]其中，l(t
‑
τ)为度量更新陈旧程度的函数，t是当前时间，τ是节点i所使用的全局
模型的生成时间；
[0029][0030]其中，r
i
是节点i的声誉评分；是与节点i本地数据量相关的因式；
[0031][0032]其中，d
i
是节点i的数据集大小，d
all
是所有节点的数据集大小，β和γ是比例系数。
[0033]在一些实施例中，根据各节点的最终验证评分计算更新声誉评分，计算式为：
[0034]r
k
＝ζ
×
r
k
+(1
‑
ζ)
×
(s
k
/s
compare
)2；
[0035]其中，r
k
是节点k的声誉评分，s
k
是节点k的本地更新质量，所述本地更新质量用节点k的最终验证评分衡量，ζ是平衡历史数据和当前数据的系数，s
compare
是归一化分数。
[0036]在一些实施例中，所述验证评分式将准确度和损失函数值进行归一化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于区块链的异步联邦学习方法，其特征在于，所述方法用于在多个边缘设备构成的区块链网络上运行，每个边缘设备作为一个节点，所述方法基于回合制运行，在每一个回合中，所述方法包括：按照上一回合中各节点的声誉评分对各节点进行排序，选取所述声誉评分较高的第一设定数量个节点作为议会节点，剩余节点作为普通节点；其中，所述议会节点用于模型本地训练、模型聚合、共识和对各节点的声誉更新，所述普通节点仅用于模型本地训练；各节点获取所述区块链网络中当前的全局模型，根据本地数据集对所述全局模型进行本地训练，并向所有议会节点广播所述全局模型的更新参数；各议会节点对参与广播的节点进行声誉评分认证，剔除声誉评分低于第一设定值的节点广播的更新参数，各议会节点利用本地数据集对剩余节点广播的更新参数进行本地测试得到验证评分，以及对各节点的更新参数进行聚合更新全局模型；所述验证评分为一个或多个性能参数计算得到；每个议会节点将本地计算的各节点的验证评分交给其他议会节点，每个议会节点在本地综合计算各节点的最终验证评分，并根据各节点的最终验证评分计算更新声誉评分；每个议会节点将本地计算的各节点的更新声誉评分、聚合更新后的全局模型打包，并在各议会节点间进行共识认证；在共识成功后，所述区块链网络根据共识结果更新各节点的声誉评分以及全局模型。2.根据权利要求1所述的基于区块链的异步联邦学习方法，其特征在于，每个议会节点将本地计算的各节点的验证评分交给其他议会节点之后，还包括：每个议会节点将本地聚合更新的全局模型交给其他议会节点，各议会节点利用本地数据集对当前全局模型以及其他议会节点发送的更新后的全局模型进行性能测试，所述性能测试至少包括准确率；每个议会节点在性能测试过程中，若存在其他议会节点发送的更新后的全局模型的性能低于当前全局模型，则进行广播提示。3.根据权利要求2所述的基于区块链的异步联邦学习方法，其特征在于，每个议会节点将本地计算的各节点的验证评分交给其他议会节点之后，还包括：每个议会节点将本地聚合更新的全局模型交给其他议会节点，各议会节点利用本地数据集对当前全局模型以及其他议会节点发送的更新后的全局模型进行性能测试，所述性能测试至少包括准确率；每个议会节点在性能测试过程中，若存在其他议会节点发送的更新后的全局模型的性能低于当前全局模型，且差距超过设定阈值，则进行广播提示。4.根据权利要求1所述的基于区块链的异步联邦学习方法，其特征在于，所述方法还包括：设置终止条件，所述终止条件为所有节点都至少一次上传更新参数或回合达到第二设定数量。5.根据权利要求1所述的基于区块链的异步联邦学习方法，其特征在于，每个议会节点将本地计算的各节点的验证评分交给其他议会节点，每个议会节点在本地综合计算各节点的最终验证评分，包括：对于议会节点...

【专利技术属性】
技术研发人员：高志鹏，李璜琦，林怡静，张莹，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：