一种基于联盟链的可信联邦学习方法及系统技术方案

本发明专利技术公开了一种基于联盟链的可信联邦学习方法及系统，包括：S1：利用中央管理链对多个参与训练的参与方的算力进行检测后分配到多个算力不同的私链中以构建私链；S2：每条私链通过选举算法产生一个或多个参与方作为参与中央管理链共识的领导节点；S3：各参与方基于本地数据进行模型训练得到本地模型参数，将所有当前参与方的本地模型参数上传到当前私链中，私链将融合后的本地模型参数上传到中央管理链；S4：中央管理链对上传的融合后的本地模型参数执行模型更新合约后得到全局模型参数，将全局模型参数回传到私链中作为下一轮参与方训练的本地数据，传输回给各参与方，直至模型训练结束；该学习方法及系统提升了整个系统的安全性。统的安全性。统的安全性。

【技术实现步骤摘要】
一种基于联盟链的可信联邦学习方法及系统


[0001]本专利技术涉及计算机
，尤其涉及一种基于联盟链的可信联邦学习方法及系统。

技术介绍

[0002]近年来，深度学习因其可以做出智能决策的潜力获得了巨大的关注。通过使用大量标记数据训练，深度学习可以自动从数据的基本形式中提取高级潜在的空间特征，得到不同的可重用的模型，在图像分类、目标检测、自动驾驶、疾病预测和语音控制等不同领域都有广泛的应用。多源、高质量的数据的采集、标记至关重要，会直接影响到最终得到的深度模型的质量和性能。但是大多数深度学习技术都考虑了集中存储和处理来训练，容易出现单点故障和对手更改数据的模型，用于深度学习操作的数据的任何更改都可能破坏训练模型。此外，深度模型需要大量的数据来更新模型和优化用户体验，但这期间可能会造成数据泄露和隐私问题，并且这期间操作透明度、可追溯性、可靠性、安全性和可信数据来源不能保证。
[0003]区块链是一种去中心化技术，它在去中心化网络的参与者之间维护了一个共享的数据账本，并且确保账本中记录的数据是一致并且经过验证，由于其去中心化和点对点的架构，区块链有了防篡改、数据透明、可追溯和操作可见性等优势。
[0004]目前在区块链中可以设置自动执行的智能合约来实现交易的自动化，可以依托区块链快速、低成本的搭建可靠的系统。
[0005]联邦学习方法旨在解决深度学习方法中的数据机密性和安全性问题。联邦学习代表一个不依赖中央机构来收集和处理用户数据的系统，其使用分散的服务器模型以资源有效的方式生成模型，即是一种分散式的学习。联邦学习的工作方式是用户使用私有数据在本地训练模型，将训练结果由每个参与设备与集中协调器共享来更新全局的模型。
[0006]深度学习对数据集的要求较高，对重复、丢失或者噪声数据都比较敏感，数据的可用性是人工智能模型的基本要求。但是传统的联邦学习的组织形式无法有效防范恶意参与方，容易引入虚假数据或者有害数据，并且由于各个参与方的计算能力不同，数据机构差异大，会导致通信效率进一步下降。

技术实现思路

[0007]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于联盟链的可信联邦学习方法及系统，提升了整个系统的安全性。
[0008]本专利技术提出的一种基于联盟链的可信联邦学习方法，联盟链包括中央管理链和私链，中央管理链和私链通过跨链路由程序转发请求进行通信，可信联邦学习方法包括：S1：利用中央管理链对多个参与训练的参与方的算力进行检测后分配到多个算力不同的私链中以构建私链，每个私链中的参与方算力相当；S2：每条私链通过选举算法产生一个或多个参与方作为参与中央管理链共识的领
导节点，每个领导节点均安装跨链路由程序作为私链与中央管理链通信的中介；S3：各参与方基于本地数据进行模型训练得到本地模型参数，每经过一轮模型训练后，将所有当前参与方的本地模型参数上传到当前私链中，利用私链中模型融合合约将融合后的本地模型参数上传到中央管理链，同时将融合所得到的模型参数储存在私链数据库中；S4：中央管理链对上传的融合后的本地模型参数执行模型更新合约后得到全局模型参数，将全局模型参数回传到私链中，私链中的模型融合合约将全局模型参数和储存于私链数据库中的模型参数进行融合作为下一轮参与方训练的本地数据，传输回给各参与方，直至模型训练结束。
[0009]进一步地，在S1中，具体包括：中央管理链对要参与训练的参与方识别地址标识，判断该地址标识之前有无作恶，若有，则参与方加入失败，若无，则中央管理链通过算力配准合约检测参与方的算力，并将检测的算力按照一定范围划分为不同的算力等级；若当前算力等级中之前没有参与方，则当前算力等级的参与方暂时不构建私链，单独作为一个节点参与模型的训练；若当前算力等级中之前有一个参与方，则将当前算力等级的两个参与方组成的私链初始化并运行共识算法，在区块的元数据中加入算力等级；若当前算力等级的私链已经存在，则直接让当前算力等级的参与方加入该私链中。
[0010]进一步地，在步骤S2中，选举算法产生领导节点的具体过程如下：从中央管理链中获取总节点数和总的私链数；计算每条私链需要选举的领导节点个数，在私链中通过计算节点没有发布作恶信息持续时间的长短，将时间长短称为信任值；将满足设定信任值的节点作为领导节点的选举依据，若有多个节点满足所述选举依据，则从这些节点中随机选取；重复计算私链中节点的信任值，直到选举了足够数量的领导节点；已经被选为领导节点的参与方，在下一轮领导节点选举开始时，信任值清零，并且不参与新一轮的选举。
[0011]进一步地，在步骤S3中，具体包括：在训练模型的过程中，所有参与方基于本地数据同时执行同一个算法对模型进行训练得到本地模型参数；每经过一轮模型训练后，将所有当前参与方的本地模型参数上传到当前私链中，利用私链中模型融合合约对上传的本地模型参数进行平均加权取平均值得到融合后的本地模型参数；将融合后的本地模型参数通过领导节点调用跨链路由程序上传到中央管理链，同时将融合所得到的模型参数储存在私链数据库中。
[0012]进一步地，在步骤S4中，具体包括：中央管理链接收到领导节点跨链路由请求后执行模型更新合约得到全局模型参数，将全局模型参数回传到私链中，私链的模型融合合约将全局模型参数和储存于私链数
据库中的模型参数进行加权去平均值融合后作为下一轮参与方训练的本地数据，传输回给各参与方，并基于全局模型参数更新联邦学习模型；每个参与方完成本地数据的训练模型之后，向中央管理链发送训练结束的操作信号，结束本次模型训练，中央管理链输出联邦学习全局模型。
[0013]一种基于联盟链的可信联邦学习系统，联盟链包括中央管理链和私链，中央管理链和私链通过跨链路由程序转发请求进行通信，所述可信联邦学习系统包括分配模块、选举模块、数据上传模块和数据回传模块；分配模块用于利用中央管理链对多个参与训练的参与方的算力进行检测后分配到多个算力不同的私链中以构建私链，每个私链中的参与方算力相当；选举模块用于每条私链通过选举算法产生一个或多个参与方作为参与中央管理链共识的领导节点，每个领导节点均安装跨链路由程序作为私链与中央管理链通信的中介；数据上传模块用于各参与方基于本地数据进行模型训练得到本地模型参数，每经过一轮模型训练后，将所有当前参与方的本地模型参数上传到当前私链中，利用私链中模型融合合约将融合后的本地模型参数上传到中央管理链，同时将融合所得到的模型参数储存在私链数据库中；数据回传模块用于中央管理链对上传的融合后的本地模型参数执行模型更新合约后得到全局模型参数，将全局模型参数回传到私链中，私链中的模型融合合约将全局模型参数和储存于私链数据库中的模型参数进行融合作为下一轮参与方训练的本地数据，传输回给各参与方，直至模型训练结束。
[0014]本专利技术提供的一种基于联盟链的可信联邦学习方法及系统的优点在于：本专利技术结构中提供的一种基于联盟链的可信联邦学习方法及系统，将算力相当的参与方接入不同的私链，提升通信效率；不同算力的私链通过与中央管理链建立跨链通信，中央管理链可以对私本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联盟链的可信联邦学习方法，其特征在于，联盟链包括中央管理链和私链，中央管理链和私链通过跨链路由程序转发请求进行通信，可信联邦学习方法包括：S1：利用中央管理链对多个参与训练的参与方的算力进行检测后分配到多个算力不同的私链中以构建私链，每个私链中的参与方算力相当；S2：每条私链通过选举算法产生一个或多个参与方作为参与中央管理链共识的领导节点，每个领导节点均安装跨链路由程序作为私链与中央管理链通信的中介；S3：各参与方基于本地数据进行模型训练得到本地模型参数，每经过一轮模型训练后，将所有当前参与方的本地模型参数上传到当前私链中，利用私链中模型融合合约将融合后的本地模型参数上传到中央管理链，同时将融合所得到的模型参数储存在私链数据库中；S4：中央管理链对上传的融合后的本地模型参数执行模型更新合约后得到全局模型参数，将全局模型参数回传到私链中，私链中的模型融合合约将全局模型参数和储存于私链数据库中的模型参数进行融合作为下一轮参与方训练的本地数据，传输回给各参与方，直至模型训练结束。2.根据权利要求1所述的基于联盟链的可信联邦学习方法，其特征在于，在S1中，具体包括：中央管理链对要参与训练的参与方识别地址标识，判断该地址标识之前有无作恶，若有，则参与方加入失败，若无，则中央管理链通过算力配准合约检测参与方的算力，并将检测的算力按照一定范围划分为不同的算力等级；若当前算力等级中之前没有参与方，则当前算力等级的参与方暂时不构建私链，单独作为一个节点参与模型的训练；若当前算力等级中之前有一个参与方，则将当前算力等级的两个参与方组成的私链初始化并运行共识算法，在区块的元数据中加入算力等级；若当前算力等级的私链已经存在，则直接让当前算力等级的参与方加入该私链中。3.根据权利要求1所述的基于联盟链的可信联邦学习方法，其特征在于，在步骤S2中，选举算法产生领导节点的具体过程如下：从中央管理链中获取总节点数和总的私链数；计算每条私链需要选举的领导节点个数，在私链中通过计算节点没有发布作恶信息持续时间的长短，将时间长短称为信任值；将满足设定信任值的节点作为领导节点的选举依据，若有多个节点满足所述选举依据，则从这些节点中随机选取；重复计算私链中节点的信任值，直到选举了足够数量的领导节点；已经被选为领导节点的参与方，在下一轮领导节点选举开始时，信任值清零，...

【专利技术属性】
技术研发人员：张信明，尹校军，刘青林，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：