基于马尔可夫链共识的工业物联网分布式联邦学习方法技术

本发明专利技术涉及一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，包括以下步骤：步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵；步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并作为当前网络的拓扑图，利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；步骤S4：各个物联网设备分别训练一个本地神经网络模型，并根据调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。新的本地模型。新的本地模型。

【技术实现步骤摘要】
基于马尔可夫链共识的工业物联网分布式联邦学习方法


[0001]本专利技术物联网
，具体涉及一种基于马尔可夫链共识的工业物联网分布式联邦学习方法。

技术介绍

[0002]随着物联网技术的飞速发展及其在智能工厂、工业自动化、智能制造等工业领域的广泛应用，工业物联网技术受到了学术界和工业界的广泛关注。然而，在工业物联网中，由各种传感器设备或物联网设备生成的数据呈爆炸式增长。如果将设备产生的大量数据直接传输到远程云端平台进行进一步的处理和分析，可能会导致严重的网络拥塞和无法忍受的传输延迟。同时，在传输原始数据时，很可能会导致数据隐私的泄露，产生一些不良的结果。由于这些问题使得传统的云计算解决方式很难在未来的工业物联网中被使用。
[0003]为了解决上述的问题，在2016年McMahan等人提出了联邦学习。在联邦学习中，边缘端和中心服务器端仅互相传输神经网络的模型参数。因此，中心服务器不会直接获取到边缘设备的本地的私有数据，从而保证了数据隐私的安全性。而且联邦学习对于接入设备的数量没有限制，所以可以很容易的覆盖大规模的设备。但是随着接入设备的不断增加，在中心服务器端，很容易产生网络拥塞，造成很大的时间延迟。而且当服务器出现异常状况时，会直接造成边缘设备也不能正常工作，产生“单点故障”。对于一些距离较远的边缘设备，由于受环境资源的限制，不能及时的传输参数到中心服务器，进而会阻碍联邦学习的进程。
[0004]近年来，随着5G技术和工业物联网的不断发展，设备可以直接通过短距离设备到设备(D2D)链路来与在其通信距离内的设备通信。同时，传感器、工厂网关等边缘设备(节点)具有存储、处理和分析本地数据的能力。从而形成了下一代无中心化工业物联网网络，其中边缘设备(传感器)与附近的邻居设备协作，执行大规模、复杂的任务。在此基础上，为了避免联邦学习遇到的问题，一种无中心化分布式联邦学习被提出。在这种无中心化的分布式联邦学习中，中心服务器被移除，所有参与的设备仅与其邻居节点建立通信链路来相互交换模型并聚合达到协作学习的效果。这个方法不仅可以保护数据隐私，而且避免了由于中心服务器的接入设备过多产生的通信瓶颈和由中心服务器故障导致的单点故障。然而由于设备的地理位置和通信距离的限制，使得设备仅可以和部分设备成为邻居并交换信息，导致信息在网络中的混合速度较慢，并影响了分布式联邦学习的效率。在之前的一些研究中，模型聚合的方式往往都是简单的加权平均，或是使用最大度权重或最优恒定边权重等方法来聚合模型。这些方法都不能很好的解决在无中心化分布式联邦学习中信息混合速度慢的问题。此外，这些方法并不会稀疏网络拓扑图，这使得设备在同步通信阶段会消耗很大的时间。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于马尔可夫链共识的工业物联网分布式
联邦学习方法，能够利用当前的网络拓扑情况求出一个最优的共识矩阵来指导参数聚合过程，不仅可以加速设备网络中信息的混合速度，提高设备之间合作的效率，而且对于较为密集的网络拓扑，经过优化共识矩阵后会得到一个稀疏的网络拓扑，从而减少同步通信的时间。
[0006]为实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，提供一系统，包括调度器和若干物联网设备，包括以下步骤：
[0008]步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；
[0009]步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵，并将其发送给每个物联网设备；
[0010]步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并将该稀疏拓扑图作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信，并利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；
[0011]步骤S4：各个物联网设备根据本地存储的数据分别训练一个本地神经网络模型，并在调度器的调度下根据步骤S3得到的调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；
[0012]步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。
[0013]进一步的，所述步骤S1具体为：
[0014]对于部署在预设区域内的物联网设备，通过短距离的D2D链路与在其通信范围内的邻居设备进行通信，构成一个无中心化的网络；
[0015]将物联网设备的连接情况发送给调度器，得到一个完整的网络拓扑图
[0016]G＝(V,E)
[0017]其中，V代表网络中的设备，E代表设备之间的边也就是设备之间的连接情况。
[0018]进一步的，所述步骤S2具体为：
[0019]将快速混合马尔可夫链优化问题表示为如下问题：
[0020]minρ
[0021][0022]其中，ρ表示共识矩阵C的第二大特征值，设λ
k
(C)表示C的数值上第k大特征值，则ρ＝max{|λ2(C)|,|
‑
λ
m
(C)|}，1表示一个数值全为1 的列向量，c
i,j
表示矩阵C中第i行第j列的元素值，即设备i和j 相连的边的权重，其中矩阵C为优化变量；
[0023]通过解决上述优化问题，得到一个有最小第二大特征值的共识矩阵C，进一步的，将上式改写为如下所示的半正定优化问题：
[0024]min s
[0025][0026]其中，是一个加权拉普拉斯矩阵，是根据拓扑图G得到的关联矩阵，I表示单位矩阵，e＝(e1,...,e
m
)是拓扑图中所有边的权重组成的向量，diag(e)是一个对角矩阵其对角线元素为e中的元素；和 s是优化变量；
[0027]通过标准的半正定优化器来优化上述优化问题，最终共识矩阵通过得到。
[0028]进一步的，所述步骤S3具体为：
[0029]步骤S31:根据最优共识矩阵，对矩阵中权重为0的边不建立通信链路，进一步得到稀疏网络拓扑图G'；
[0030]步骤S32:将稀疏网络拓扑图G'作为当前的网络拓扑图，使设备仅与其在G'中的邻居建立通信；
[0031]步骤S33:使用IEEE 802.15.4e中的时隙信道跳频TSCH媒体接入层协议建立一个高可靠低延迟的工业物联网网络；
[0032]步骤S34:对于TSCH的调度策略，首先根据已经得到的稀疏的网络拓扑图G'来构造一个辅助拓扑图并对得到的辅助拓扑图执行贪婪图着色算法。
[0033]进一步的，所述物联网设备的本地神经网络模型的训练，具体为：
[0034][0035]其中w
i,t
表示在第t次迭代时，设备i本地的模型，μ为学习率，表示本地损失函数的梯度。
[0036]进一步的，所述步骤S5具体为：在每个设备都收到来自所有邻居的模型之后，在本地执行模型聚合的过程如下：
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于马尔可夫链共识的工业物联网分布式联邦学习方法，提供一系统，包括调度器和若干物联网设备，其特征在于，包括以下步骤：步骤S1：调度器获取预设区域内物联网设备的连接情况，得到网络拓扑图；步骤S2：调度器根据网络拓扑图，利用快速混合马尔可夫链优化问题计算出最优共识矩阵，并将其发送给每个物联网设备；步骤S3：调度器根据最优共识矩阵得到一个稀疏拓扑图，并将该稀疏拓扑图作为当前网络的拓扑图，使得设备仅与其在稀疏拓扑图中的邻居通信，并利用该稀疏拓扑图构造一个辅助图来制定通信资源的调度策略；步骤S4：各个物联网设备根据本地存储的数据分别训练一个本地神经网络模型，并在调度器的调度下根据步骤S3得到的调度策略，将训练好的本地神经网络模型广播到它在稀疏拓扑图中的所有邻居设备；步骤S5：当各个物联网设备都接收到来自邻居的模型之后，在本地根据步骤S2得到的共识矩阵来聚合模型得到新的本地模型。2.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S1具体为：对于部署在预设区域内的物联网设备，通过短距离的D2D链路与在其通信范围内的邻居设备进行通信，构成一个无中心化的网络；各个物联网设备将当前的连接情况发送给调度器来获取设定区域内的完整的网络拓扑图G＝(V,E)。其中，V代表网络中的设备，E代表设备之间的边也就是设备之间的连接情况。3.根据权利要求1所述的基于马尔可夫链共识的工业物联网分布式联邦学习方法，其特征在于，所述步骤S2具体为：将快速混合马尔可夫链优化问题表示为如下问题：minρ其中，ρ表示共识矩阵C的第二大特征值，设λ
k
(C)表示C的数值上第k大特征值，则ρ＝max{|λ2(C)|,|
‑
λ
m
(C)|}，1表示一个数值全为1的列向量，c
i,j
表示矩阵C中第i行第j列的元素值，即设备i和j相连的边的权重，其中矩阵C为优化变量；通过解决上述优化问题，得到...

【专利技术属性】
技术研发人员：郑海峰，杜孟轩，冯心欣，陈由甲，
申请(专利权)人：福州大学，
类型：发明
国别省市：