一种基于超网络和区块链的个性化联邦学习方法及设备技术

本发明专利技术提供了一种基于超网络和区块链的个性化联邦学习方法及设备，方法包括：接收联邦中心节点初始化的超模型；初始化节点标识向量,通过区块链网络获取本节点的标签加密向量；输入到超模型,生成本地模型；利用本地数据集训练本地模型,得到训练后的梯度变化，并获取超模型的梯度变化，发送到联邦中心节点并对所有的梯度变化量进行平均,将运用梯度下降的方式更新到超模型中；接收更新后的超模型,重复上述步骤；联邦边缘计算节点获得与自己匹配的个性化层参数,并将获得的个性化层参数融入到本地模型的个性化层中。使用本发明专利技术中的方法进行联邦学习，使模型的准确率和持续学习性能大幅提高，并可以提高各联邦边缘节点参与训练的可信性。的可信性。的可信性。

【技术实现步骤摘要】
一种基于超网络和区块链的个性化联邦学习方法及设备


[0001]本专利技术属于联邦学习方法领域，特别涉及一种基于超网络和区块链的个性化联邦学习方法及设备。

技术介绍

[0002]联邦学习(Federated Learning,FL)是一种分布式神经网络训练的方法,它使多个终端协作训练一个共享的神经网络模型,同时保证训练数据存在于终端上。联邦学习过程中，存在模型针对边缘节点个性化能力不足的问题，遇到新标签时预测性能大幅下降。同时，联邦学习中，模型在网络传递过程中容易遭到攻击，被窃取者盗取模型，进而造成数据泄露。并且在联邦学习过程中，各节点对其他节点的信任不足，不愿意提供数据进行训练模型共享。

技术实现思路

[0003]为解决上述
技术介绍
中存在的问题，本专利技术第一方面提供了一种基于超网络和区块链的个性化联邦学习方法，所述方法应用于联邦中心节点和K个联邦边缘计算节点的场景中，每个边缘计算节点均与联邦中心节点进行相连，所述方法包括如下步骤：
[0004]步骤1，联邦边缘计算节点接收联邦中心节点初始化的超模型HNet，开始联邦学习过程；
[0005]步骤2，联邦边缘计算节点初始化节点标识向量V，通过区块链网络获取本节点的标签加密向量；
[0006]步骤3，联邦边缘计算节点将节点标识向量与标签加密向量输入到由联邦中心节点下发的超模型，生成本地模型LocalNet；
[0007]步骤4，联邦边缘计算节点利用本地数据集D，训练本地模型LocalNet，得到训练后的梯度变化Δθ；
>[0008]步骤5，联邦边缘计算节点根据本地模型的梯度变化Δθ，计算超模型的梯度变化Δφ，并将梯度变化发送到联邦中心节点；
[0009]步骤6，联邦边缘计算节点将超模型的梯度变化Δφ发送到联邦中心节点，联邦中心节点对所有的梯度变化量进行平均，并将平均后的超模型梯度变化量，运用梯度下降的方式更新到超模型HNet中；
[0010]步骤7，联邦边缘计算节点接收联邦中心节点所发送的更新后的超模型，重复步骤2到步骤6，直到达到指定轮次；
[0011]步骤8，联邦边缘计算节点，使用步骤7最终生成的超模型生成各节点模型，评估Fisher信息矩阵，并通过区块链智能合约提交自己的Fisher信息矩阵，评估模型价值，最后获得与自己匹配的个性化层参数，并将获得的个性化层参数融入到本地模型的个性化层中。
[0012]优选的，所述步骤2中通过区块链的网络获取本节点的标签加密向量，所述加密向
量在训练前通过区块链网络获得，并包括如下过程：
[0013]S21，在区块链中使用SIBFT共识算法，将共识网络划分成多个子网，并在各个子网分别选举出子网领导者节点SLL和子网候选者领导者节点SCL；
[0014]S22，使用智能合约中接收标签函数接收来自节点的标签向量Label vector，子网领导者节点SLL对节点是否含有该标签的数据进行验证，确保信息的真实性；
[0015]S23，经验证后，智能合约中加密标签函数使用RSA加密算法生成公钥，使用公钥将Label vector进行非对称加密,并下发到拥有该Label的联邦边缘计算节点。
[0016]优选的，所述步骤3中生成本地模型LocalNet的具体过程为：
[0017]S31，将节点标识向量V与标签加密向量e输入到超网络HNet的Embedding模块中；
[0018]S32，超网络HNet的Embedding模块生成参数模块辨识的中间量Embed；
[0019]S33，将生成的Embed输入到由一个多层自动感知机组成的生成参数模块，生成该模型的参数特征Features；
[0020]S34，将参数特征Features输入参数存储模块，分别生成本地模型LocalNet主体的各层网络的权重和偏置量；
[0021]S35，根据生成本地模型LocalNet主体的各层权重和偏置量，填入模型类中，加载成可供训练和使用的模型。
[0022]优选的，所述本地模型LocalNet含有一层本地化层，具体如下：
[0023]各联邦边缘计算节点各含有一个属于本节点的本地模型，本地模型包含了模型主体和一层用于本地化的全连接层；
[0024]其中模型主体先由超网络HNet在每次训练前进行生成，本地化层在第一次训练前由本地进行初始化，其余轮次在本地节点由之前的训练后保留；
[0025]在联邦边缘节点使用本地数据进行训练时，数据先输入到模型主体，模型主体的输出作为个性化层的输入，个性化层的输出作为整个模型的输出，各部分分别进行梯度下降，更新模型参数。
[0026]优选的，所述超网络HNet根据输入的标签加密向量会输出不同的模型，具有模型加密作用，所述加密具体方式如下：
[0027]当向超网络HNet输入的正确的标签加密向量时，输出的模型可以正确地预测本地数据的标签，当输入错误的或非法的标签向量时，超网络HNet输出的模型不会正确地预测本地数据的标签。
[0028]优选的，所述步骤8的具体过程如下：
[0029]S81，各联邦边缘节点修改节点标识向量，并将修改后的节点标识向量和自身的标签加密向量输入到超模型HNet中，得到各节点模型相对于自身标签分布的模型；
[0030]S82，根据生成的各模型与本地模型LocalNet计算Fisher信息矩阵，得出Fisher信息值，该值标识其他节点的模型与本节点的本地模型相关性；
[0031]S83，将得到的Fisher信息矩阵通过区块链的智能合约提交到区块链中；
[0032]S84，区块链收集到各联邦边缘节点提交的Fisher信息矩阵，通过VCG拍卖过程计算得出各节点模型的实际价值与全局利益最优的模型分配方式；
[0033]S85，各节点根据区块链分配的模型，向对应节点获取本地个性化层，并进行本地个性化层的平均联邦，得到联邦后的本地个性化层。
[0034]优选的，所述通过VCG拍卖过程计算得出各节点模型的实际价值与全局利益最优的模型分配方式的具体过程如下：
[0035]S841，将经过Fisher信息矩阵计算出准确度N*N的二维数组作为VCG机制计算的输入，每个节点对其他节点模型的Fisher值，可认为该节点对其他模型的出价；
[0036]S842，使用KM算法计算出在得到全局最大价值的情况下的全局最大价值MaxValue以及模型分配方式，以及去掉各个节点后的全局最大价值；
[0037]S843，然后进行N次计算相减出每个节点模型的实际价值RealCost；
[0038]S844，将每个模型的实际价值与全局价值最大的模型分配方式作为输出进行输出。
[0039]优选的，所述超模型HNet，包括Embedding模块、生成参数模块和参数存储模块；
[0040]所述Embedding模块用于将输入的节点标识向量V转换成可供生成参数模块辨识的中间量Embed；...

【技术保护点】

【技术特征摘要】
1.一种基于超网络和区块链的个性化联邦学习方法，其特征在于，所述方法应用于联邦中心节点和K个联邦边缘计算节点的场景中，每个边缘计算节点均与联邦中心节点进行相连，所述方法包括如下步骤：步骤1，联邦边缘计算节点接收联邦中心节点初始化的超模型HNet，开始联邦学习过程；步骤2，联邦边缘计算节点初始化节点标识向量V，通过区块链网络获取本节点的标签加密向量；步骤3，联邦边缘计算节点将节点标识向量与标签加密向量输入到由联邦中心节点下发的超模型，生成本地模型LocalNet；步骤4，联邦边缘计算节点利用本地数据集D，训练本地模型LocalNet，得到训练后的梯度变化Δθ；步骤5，联邦边缘计算节点根据本地模型的梯度变化Δθ，计算超模型的梯度变化Δφ，并将梯度变化发送到联邦中心节点；步骤6，联邦边缘计算节点将超模型的梯度变化Δφ发送到联邦中心节点，联邦中心节点对所有的梯度变化量进行平均，并将平均后的超模型梯度变化量，运用梯度下降的方式更新到超模型HNet中；步骤7，联邦边缘计算节点接收联邦中心节点所发送的更新后的超模型，重复步骤2到步骤6，直到达到指定轮次；步骤8，联邦边缘计算节点，使用步骤7最终生成的超模型生成各节点模型，评估Fisher信息矩阵，并通过区块链智能合约提交自己的Fisher信息矩阵，评估模型价值，最后获得与自己匹配的个性化层参数，并将获得的个性化层参数融入到本地模型的个性化层中。2.如权利要求1所述的一种基于超网络和区块链的个性化联邦学习方法，其特征在于，所述步骤2中通过区块链网络获取本节点的标签加密向量，所述加密向量在训练前通过区块链网络获得，并包括如下过程：S21，在区块链中使用SIBFT共识算法，将共识网络划分成多个子网，并在各个子网分别选举出子网领导者节点SLL和子网候选者领导者节点SCL；S22，使用智能合约中接收标签函数接收来自节点的标签向量Label vector，子网领导者节点SLL对节点是否含有该标签的数据进行验证，确保信息的真实性；S23，经验证后，智能合约中加密标签函数使用RSA加密算法生成公钥，使用公钥将Label vector进行非对称加密,并下发到拥有该Label的联邦边缘计算节点。3.如权利要求1所述的一种基于超网络和区块链的个性化联邦学习方法，其特征在于，所述步骤3中生成本地模型LocalNet的具体过程为：S31，将节点标识向量V与标签加密向量e输入到超网络HNet的Embedding模块中；S32，超网络HNet的Embedding模块生成参数模块辨识的中间量Embed；S33，将生成的Embed输入到由一个多层自动感知机组成的生成参数模块，生成该模型的参数特征Features；S34，将参数特征Features输入参数存储模块，分别生成本地模型LocalNet主体的各层网络的权重和偏置量；S35，根据生成本地模型LocalNet主体的各层权重和偏置量，填入模型类中，加载成可
供训练和使用的模型。4.如权利要求1所述的一种基于超网络和区块链的个性化联邦学习方法，其特征在于，所述本地模型LocalNet含有一层本地化层，具体如下：各联邦边缘计算节点各含有一个属于本节点的本地模型，本地模型包含了模型主体和一层用于本地化的全连接层；其中模型主体先由超网络HNet在每次训练前进行生成，本地化层在第一次训练前由本地进行初始化，其余轮次在本地节点由之前的训练后保留...

【专利技术属性】
技术研发人员：张卫山，包致成，刘宇儒，刘原歌，彭亿，聂宇铭，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：