【技术实现步骤摘要】
本专利技术涉及联邦学习，特别是涉及一种面向工业物联网的高效异构联邦学习方法。
技术介绍
1、随着深度学习、边缘计算和5g等关键技术的快速发展，工业物联网正迅速崛起。数据隐私保护的重要性随之日益凸显。为实现高效且安全的数据挖掘以处理工业物联网设备生成的海量数据，联邦学习应运而生。联邦学习作为一种隐私保护式分布式机器学习方案，能够在不共享本地数据的前提下实现协同学习。在联邦学习中，工业物联网边缘设备可基于本地数据独立训练模型，同时通过服务器协同构建一个全局模型，并利用同步或异步方法进行高效的全局训练。然而，在将联邦学习应用于工业物联网边缘计算时，系统异构性是不可忽视的核心挑战。工业物联网边缘设备的硬件资源和计算能力存在显著差异，这种异构性导致本地训练时间的显著不均衡，进一步加剧了落后者问题。具体而言，边缘模型权重聚合过程需要等待性能较弱设备完成训练，这不仅导致高性能设备的空闲时间增加，还显著延长了整体训练时间，尤其是在同步训练机制中。系统异构性影响了全局模型的训练效率，更降低了模型的收敛精度。此外，资源消耗（如cpu、网络带宽、内存和能耗）在资源受限的联邦边缘学习中尤为关键。由于不同设备的资源情况各不相同，如何在资源限制下优化模型的准确性、训练效率与资源消耗之间的平衡，成为一个复杂且具有挑战性的问题。
2、针对系统异构性对训练效率和收敛性能的影响；现有技术中常通过异步训练方法来减少设备的空闲时间以提升训练效率；然而该方法可能导致全局模型向高性能设备倾斜，从而降低收敛精度。此外，异步更新可能导致同一轮次中存在多个版本的全局
3、因此，需要一种面向工业物联网的高效异构联邦学习方法。
技术实现思路
1、有鉴于此，本专利技术提供了一种面向工业物联网的高效异构联邦学习方法，利用异构联邦学习协作框架，通过资源感知的自适应边缘模型定制策略，根据工业物联网边缘设备的资源能力优化模型尺寸。同时，考虑到云端和边缘的互补优势，将内存密集型和计算要求高的部分模型分配到资源丰富的云端环境中，而将剩余计算任务分配至边缘设备执行，从而实现兼具效率与效能的异构联邦学习。
2、为此，本专利技术提供了以下技术方案：
3、一种面向工业物联网的高效异构联邦学习方法，包括：
4、将神经网络模型分割为边缘特征提取器和全局分类器；
5、所述边缘特征提取器部署在边缘设备上，所述全局分类器部署在服务器上；
6、所述边缘设备上还集成有边缘分类器，所述边缘分类器与所述边缘特征提取器结合构成边缘模型；
7、服务器基于同步时间聚合本轮边缘训练中边缘特征提取器的权重参数，更新全局模型；同时，通过运行时间模型计算每个边缘设备的运行时间；根据所述运行时间以及所述同步时间定制每个边缘模型的规格参数；将所述更新后的全局模型和边缘模型规格参数下发至对应边缘设备；
8、每个边缘设备根据下发的全局模型和模型规格参数生成用于下一轮边缘训练的边缘模型。
9、进一步地，所述通过运行时间模型计算每个边缘设备的运行时间，包括：
10、获取本轮边缘训练的计算工作量和通信量；
11、基于本轮边缘训练的计算工作量和通信量结合边缘设备的计算带宽和通信带宽，获得本轮边缘训练的计算时间和通信时间；
12、以所述计算时间和通信时间的总和作为运行时间。
13、进一步地，所述同步时间，包括：
14、以边缘设备执行一轮本地更新所需的时长作为初始同步时间；
15、将所有边缘设备按初始同步时间分组聚类，获得若干边缘设备小组；
16、将每个边缘设备小组中最长运行时间作为该边缘设备小组的同步时间。
17、进一步地，根据所述运行时间以及所述同步时间定制每个边缘模型的规格参数，包括：
18、当边缘设备小组的同步时间小于设定阈值，则增加该小组内边缘模型的迭代次数至预设阈值；
19、当边缘设备小组的同步时间大于设定阈值，则通过运行时间模型计算每个边缘设备的运行时间，根据运行时间定制该边缘设备小组内的边缘模型的神经元总数。
20、进一步地，所述根据运行时间定制该边缘设备小组内的边缘模型的神经元总数，包括：
21、将所述边缘模型规格参数定制过程表述为基于优先级的神经元选择优化问题；
22、以最大化选定神经元在资源受限下的贡献为目标，对所述基于优先级的神经元选择优化问题进行建模，获得基于优先级的神经元选择优化模型；
23、所述基于优先级的神经元选择优化模型的约束包括：边缘设备的能耗和内存；
24、结合所述运行时间和基于优先级的神经元选择优化模型，获得神经网络模型的总神经元数。
25、进一步地，所述服务器对所述边缘特征提取器的权重参数进行聚合，更新全局模型，包括：
26、基于知识蒸馏法训练全局分类器；
27、通过基线优先的加权聚合方法对所述边缘特征提取器的权重参数进行聚合形成全局特征提取器；
28、将训练后的全局分类器和全局特征提取器结合构造全局模型。
29、进一步地，所述基线优先的加权聚合方法，包括：
30、定义边缘模型神经元总数因子与本地迭代因子之比为边缘模型的基准值；
31、以边缘模型的基准值作为各边缘特征提取器进行聚合的权重。
32、进一步地，所述基于知识蒸馏法训练全局分类器，包括：
33、计算教师模型后验概率与学生模型预测概率间散度；
34、基于所述教师模型后验概率与学生模型预测概率间散度构建全局分类器函数。
35、本专利技术的优点和积极效果：
36、本专利技术通过基于设备异构性的运行时间估算模型，针对每个边缘设备的计算和通信能力，定制适合的模型大小，从而最小化训练时间差异，缓解因系统异构性引发的落后者问题。
37、本专利技术通过分割联邦学习，将神经网络分为特征提取器和全局分类器，分别部署在边缘设备和服务器上。同时为特征提取器集成轻量级分类器，形成完全可训练的边缘模型，减少了资源受限设备的内存和计算负担。
38、本专利技术利用设备分组策略，设置分组同步时间，同时为较慢设备定制模型，为较快设备增加迭代次数，优化全局模型的训练效率。
39、本专利技术利用边缘设备上传的特征映射和软标签，通过知识蒸馏方法本文档来自技高网...
【技术保护点】
1.一种面向工业物联网的高效异构联邦学习方法，其特征在于，包括：
2.根据权利要求1所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述通过运行时间模型计算每个边缘设备的运行时间，包括：
3.根据权利要求1所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述同步时间，包括：
4.根据权利要求3所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，根据所述运行时间以及所述同步时间定制每个边缘模型的规格参数，包括：
5.根据权利要求4所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述根据运行时间定制该边缘设备小组内的边缘模型的神经元总数，包括：
6.根据权利要求1所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述服务器对所述边缘特征提取器的权重参数进行聚合，更新全局模型，包括：
7.根据权利要求6所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述基线优先的加权聚合方法，包括：
8.根据权利要求6所述一种面向工业物联网的高效异构联邦学习方法，其
...【技术特征摘要】
1.一种面向工业物联网的高效异构联邦学习方法，其特征在于，包括：
2.根据权利要求1所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述通过运行时间模型计算每个边缘设备的运行时间，包括：
3.根据权利要求1所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，所述同步时间，包括：
4.根据权利要求3所述一种面向工业物联网的高效异构联邦学习方法，其特征在于，根据所述运行时间以及所述同步时间定制每个边缘模型的规格参数，包括：
5.根据权利要求4所述一种面向工业...
【专利技术属性】
技术研发人员：李梓健，蒋建栋，刘洪波，李沐南，邢永恒，王乃尧，韩增易，刘凯，于长东，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。