一种支持异构多源工业互联网高效个性化联邦学习方法技术

本发明专利技术提供了一种支持异构多源工业互联网高效个性化联邦学习方法，涉及工业互联网隐私保护工业互联网个性化联邦学习领域，用于解决客户端异构性带来的挑战。本发明专利技术引入雾节点作为中间件，减少客户端与云服务器之间的频繁通信，为此，本发明专利技术设计了一种数据感知分组算法，以确定客户端与雾节点之间的关联，有效地减少了训练过程中的通讯开销；本发明专利技术采用多输入函数加密(MIFE)确保用户数据在训练过程中的隐私性和安全性。本发明专利技术实现了隐私保护和高效的个性化联邦学习，还减少了训练过程中的通讯开销。讯开销。讯开销。

【技术实现步骤摘要】
一种支持异构多源工业互联网高效个性化联邦学习方法


[0001]本专利技术涉及工业互联网隐私保护工业互联网个性化联邦学习领域，特别是涉及一种支持异构多源工业互联网高效个性化联邦学习方法。

技术介绍

[0002]工业互联网个性化联邦学习作为解决工业互联网联邦学习中客户异构问题的潜在解决方案，以及在工业互联网跨设备场景下，客户端每天都会产生大量敏感数据，给工业互联网个性化联邦学习带来通信瓶颈和隐私风险。现有方法主要集中在模型参数压缩、模型蒸馏、差分隐私、同态加密等方面，但这些方法可能会导致模型准确性下降、通信和计算复杂度增加等问题。因此，需要一种新的框架来解决工业互联网异构性和隐私泄露挑战，实现工业互联网个性化隐私保护高效联邦学习。

技术实现思路

[0003]本专利技术的目的是提供一种支持异构多源工业互联网高效个性化联邦学习方法，主要针对异构设备支持的工业互联网工业互联网个性化联邦学习的隐私保护和高效框架，采用雾节点作为中间件减少客户端与工业互联网工业互联网云服务器的频繁通信，从而降低通信成本，并采用数据感知分组算法确保局部模型在相应的雾节点上聚合。此外，本专利技术采用异构模型结构和个性化知识转移，以提高联邦学习的效率和性能。同时，为了保护训练过程中的隐私，本专利技术采用多输入功能加密技术。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种支持异构多源工业互联网高效个性化联邦学习方法，包括：
[0006]步骤1)系统参数初始化，可信机构将客户端和雾节点通过数据感知分组算法分组：
[0007]初始化每个雾节点k的雾节点成员集FM
k
和雾节点处理集FP
k
为空集；
[0008]将所有客户端C复制为未分配客户端的集合S；
[0009]对于每个雾节点k∈FN，计算每个未分配客户端i∈S与雾节点k之间的通信代价Γ
(i,k)
，并选择具有最低通信代价的客户端C
i
与雾节点k关联；将客户端C
i
分配给雾节点k，将i添加到雾节点成员集FM
k
中，从未分配客户端的集合S中移除i，并将FP
k
设置为客户端数据分布CP
i
；其中，FN为雾节点集合；
[0010]当仍存在未分配客户端时，对于每个未分配客户端i∈C，计算客户端数据分布CP
i
与雾节点处理集FP
k
之间的Kullback
‑
Leibler散度和通信代价Γ
(i,k)
，并选择具有最低代价的雾节点FN
k
与客户端C
i
关联；将客户端C
i
分配给雾节点k，将i添加到雾节点成员集FM
k
中，从未分配客户端的集合S中移除i，并更新FP
k
为当前FP
k
和客户端数据分布CP
i
的平均值，直到未分配客户端的集合S为空集；
[0011]为每个客户端分别生成MIFE密码系统的主公钥为每个客户端分别生成MIFE密码系统的主公钥和主私钥
msk＝(B,(u
i
)
i∈[1,n])，公开公钥)，公开公钥并把公开公钥通过安全的信道分别发送给客户端，其中是一个素数阶群，同时，也同样地为每个雾节点分别生成MIFE密码系统的主公钥同样地为每个雾节点分别生成MIFE密码系统的主公钥和主私钥公开公钥公开公钥并把公开公钥通过安全的信道分别发送给客户端；m为雾节点的个数。
[0012]步骤2)云服务器初始化多个初始模型，所述初始模型允许是异构模型；云服务器再将所述初始模型通过雾节点发送给与所述雾节点关联的每个客户端；同时，云服务器初始化知识系数矩阵ξ并保存；
[0013][0014]其中，ξ
mm
为第m行第m列的云服务器初始化知识系数；
[0015]步骤3)每个客户端对自己的私有数据进行训练并更新本地模型：
[0016][0017]其中，ψ
i
表示第i个客户端局部训练中使用的小批量数据，α1表示第一学习率；
[0018]经过多次本地迭代后，客户端使用pk
i
将本地模型进行加密上传到雾节点：
[0019][0020]步骤4)当雾节点从客户端接收到加密的模型参数时，等待整个客户端集合的预定义响应持续时间；
[0021]在所述预定义响应持续时间之后，雾节点将通过执行安全聚合步骤继续训练；使用一个由组内所有人初始化的融合向量v跟踪活跃客户端的数量，并将无响应方的比例更新为0，即初始化为其中n
k
表示连接到该雾节点的客户端数量；雾节点计算组内各客户端的总权重，即v＝(μ1,
…
,μ
i
,
…
)，其中，是整个数据集的样本总数；为了防止共谋攻击和推理攻击，如果融合向量v非零个数合适的话，可信机构会返回函数派生密钥回函数派生密钥
[0022]步骤5)雾节点FN
k
使用dk
f,v
对收集到的加密后的局部模型进行解密，得到的结果便是该雾节点接收到的客户端的局部模型和融合向量v的内积
[0023][0024]步骤6)雾节点将聚合后的模型发送给相对应的客户端，重复步骤3)
‑
步骤5)T
g
轮之后，得到雾节点聚合模型
[0025]步骤7)每个雾节点使用当前的雾节点聚合模型对公共数据集进行软预测
[0026][0027]其中，k代表第k个雾节点，是公共数据集的数据点，Q是类的个数，z
k
是第k个雾节点FN
k
的雾节点聚合模型上最后一个完全连接层的输出logits，T是softmax函数的温度超参数；雾节点使用将软预测加密后上传给云服务器；
[0028][0029]步骤8)云服务器接收到每个雾节点加密后的软预测，可信机构会为每个雾节点的软预测返回函数派生密钥软预测返回函数派生密钥然后云服务器使用对每个加密后的软预测进行解密，得到的结果便是云服务器生成个性化软预测SP
per,k
：
[0030][0031]其中，ξ
kj
表示知识系数，用于评估雾节点j对雾节点k的贡献；云服务器将个性化软预测发给对应的雾节点；
[0032]步骤9)雾节点接收到个性化软预测后，更新雾节点聚合模型：
[0033][0034]其中，SP
k
为α2代表第二学习率；同时，更新知识系数矩阵ξ：
[0035][0036]其中，α3代表第三学习率，E是一个所有元素都为1的单位矩阵，ρ是大于0的正则参数；雾节点将更新后的雾节点聚合模型发送给相应的客户端，重复步骤2)
‑
步骤9)直到损失函数收敛。
[0037]可选的，步骤1)中，可信机构将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持异构多源工业互联网高效个性化联邦学习方法，其特征在于，包括：步骤1)系统参数初始化，可信机构将客户端和雾节点通过数据感知分组算法分组：初始化每个雾节点k的雾节点成员集FM
k
和雾节点处理集FP
k
为空集；将所有客户端C复制为未分配客户端的集合S；对于每个雾节点k∈FN，计算每个未分配客户端i∈S与雾节点k之间的通信代价Γ
(i,k)
，并选择具有最低通信代价的客户端C
i
与雾节点k关联；将客户端C
i
分配给雾节点k，将i添加到雾节点成员集FM
k
中，从未分配客户端的集合S中移除i，并将FP
k
设置为客户端数据分布CP
i
；其中，FN为雾节点集合；当仍存在未分配客户端时，对于每个未分配客户端i∈C，计算客户端数据分布CP
i
与雾节点处理集FP
k
之间的Kullback
‑
Leibler散度和通信代价Γ
(i,k)
，并选择具有最低代价的雾节点FN
k
与客户端C
i
关联；将客户端C
i
分配给雾节点k，将i添加到雾节点成员集FM
k
中，从未分配客户端的集合S中移除i，并更新FP
k
为当前FP
k
和客户端数据分布CP
i
的平均值，直到未分配客户端的集合S为空集；为每个客户端分别生成MIFE密码系统的主公钥为每个客户端分别生成MIFE密码系统的主公钥和主私钥msk＝(B,(u
i
)
i∈[1,n]
)，公开公钥)，公开公钥并把公开公钥通过安全的信道分别发送给客户端，其中是一个素数阶群，a
←
R
Z
p
，，同时，也同样地为每个雾节点分别生成MIFE密码系统的主公钥地为每个雾节点分别生成MIFE密码系统的主公钥和主私钥公开公钥公开公钥并把公开公钥通过安全的信道分别发送给客户端；m为雾节点的个数；步骤2)云服务器初始化多个初始模型，所述初始模型允许是异构模型；云服务器再将所述初始模型通过雾节点发送给与所述雾节点关联的每个客户端；同时，云服务器初始化知识系数矩阵ξ并保存；其中，ξ
mm
为第m行第m列的云服务器初始化知识系数；步骤3)如图3所示，每个客户端对自己的私有数据进行训练并更新本地模型：其中，ψ
i
表示第i个客户端局部训练中使用的小批量数据，α1表示第一学习率；经过多次本地迭代后，客户端使用pk
i
将本地模型进行加密上传到雾节点：步骤4)当雾节点从客户端接收到加密的模型参数时，等待整个客户端集合的预定义响应持续时间；在所述预定义响应持续时间之后，雾节点将通过执行安全聚合步骤继续训练；使用一
个由组内所有人初始化的融合向量v跟踪活跃客户端的数量，并将无响应方的比例更新为0，即初始化为其中n
k
表示连接到该雾节点的客户端数量；雾节点计算组内各客户端的总权重，即v＝(μ1,
...

【专利技术属性】
技术研发人员：韩嵩，潘俊江，陈晓丰，王志波，贺诗波，吴明晖，
申请(专利权)人：浙大城市学院杭州趣链科技有限公司，
类型：发明
国别省市：