【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种基于异构边端设备的自适应联邦学习方法与系统。
技术介绍
1、在应急救援现场，数据的精准采集和目标的实时感知是至关重要的。这些数据可以帮助救援人员了解灾情的严重程度，受灾人口的分布情况，以及最需要救援的地点和资源分配情况。在如林区火灾等复杂灾区环境下，救援现场往往面临地形复杂、通信链路不畅等问题，大型救援设备也难以迅速到达。因此，为保障救援效率，边端设备扮演着至关重要的角色。这些设备位于现场或其附近，例如现场无人机、救援人员携带的设备等，它们能够迅速应对应急事件，具有实时数据采集、处理、传输和决策的能力，以更好地指导救援行动。
2、为进一步协助救援人员进行高效精准搜救，通常需设计智能灾情感知模型，如基于深度学习的目标检测、识别模型等，并将智能模型传输或下发到边端设备上。在应急救援的场景下，需快速处理大量数据，及时响应检测结果，然而，在应急场景下，使用传统的单机模型训练方式，由于边端设备的计算能力和存储容量有限，无法统一部署和处理庞大的数据集和复杂感知模型，导致训练过程缓慢，影响救援效率。
技术实现思路
1、本专利技术提供一种基于异构边端设备的自适应联邦学习方法与系统，用以解决现有技术中边端设备的计算能力和存储容量有限，无法统一部署和处理庞大的数据集和复杂感知模型，导致训练过程缓慢，影响救援效率的问题。
2、第一方面，本专利技术提供一种基于异构边端设备的自适应联邦学习系统，包括：
3、中心服务器，用于在当前轮次模型
4、k个边端设备，各所述边端设备存储有本地数据集，并部署有与其设备算力相符的子模型，所述子模型是业务模型的分片，其中，k为大于1的正整数。
5、根据本专利技术提供一种的基于异构边端设备的自适应联邦学习系统，所述k个边端设备根据设备算力划分为n个层级，第n+1层边端设备上部署的子模型的宽度是第n层边端设备上部署的子模型的宽度的两倍，其中，n为大于1的正整数，n为正整数，n+1≤n。
6、第二方面，本专利技术还提供一种基于异构边端设备的自适应联邦学习方法，应用于如第一方面所述的任一基于异构边端设备的自适应联邦学习系统，包括：
7、边端设备基于上一轮次的子模型和当前轮次子模型训练过程中的本地参数梯度，对所述上一轮次的子模型进行更新，得到当前轮次的子模型。
8、根据本专利技术提供一种的基于异构边端设备的自适应联邦学习方法，所述边端设备的子模型基于如下公式进行更新：
9、
10、其中，表示第t轮次的子模型，表示第t-1轮次的子模型，ηk表示所述边端设备的学习率，表示第t轮次子模型训练过程中的本地参数梯度。
11、根据本专利技术提供的一种基于异构边端设备的自适应联邦学习方法，所述本地参数梯度基于如下公式进行更新：
12、
13、
14、其中，表示第t轮次子模型训练过程中的本地参数梯度，表示第t-1轮次子模型训练过程中的本地参数梯度，表示第t轮次的平衡参数，用于平衡第t-1轮次和第t轮次的梯度更新，表示第t-1轮次的平衡参数，α表示第t轮次的平衡系数。
15、根据本专利技术提供的一种基于异构边端设备的自适应联邦学习方法，所述平衡系数α基于如下公式进行更新：
16、
17、其中，nt表示第t轮次中所述边端设备的本地数据集的数据量，nt-1表示第t-1轮次中所述边端设备的本地数据集的数据量。
18、根据本专利技术提供的一种基于异构边端设备的自适应联邦学习方法，所述边端设备基于上一轮次的子模型和当前轮次子模型训练过程中的本地参数梯度，对所述上一轮次的子模型进行更新，得到当前轮次的子模型，包括：
19、所述边端设备基于当前轮次子模型训练过程中的本地参数梯度和剪枝掩码，确定剪枝子模型；
20、基于所述剪枝子模型对所述上一轮次的子模型进行更新，得到当前轮次的子模型。
21、根据本专利技术提供的一种基于异构边端设备的自适应联邦学习方法，所述边端设备的子模型基于如下公式进行更新：
22、
23、其中，表示第t轮次的子模型，表示第t-1轮次的子模型，ηk表示所述边端设备的学习率，表示第t轮次子模型训练过程中的本地参数梯度，mk表示剪枝掩码。
24、根据本专利技术提供的一种基于异构边端设备的自适应联邦学习方法，所述剪枝掩码中的剪枝率基于如下步骤进行更新：
25、基于剪枝率增量对上一轮次的剪枝率进行更新；
26、基于更新后的剪枝率，在本地验证数据集上计算模型精度；
27、若所述模型精度大于预设阈值，则将更新后的剪枝率作为当前轮次的剪枝率；
28、若所述模型精度小于或等于预设阈值，则将所述上一轮次的剪枝率作为当前轮次的剪枝率。
29、第三方面，本专利技术还提供一种基于异构边端设备的自适应联邦学习方法，应用于如第一方面任一基于异构边端设备的自适应联邦学习系统包括：
30、中心服务器基于如下公式更新当前业务模型中的各子模型：
31、
32、其中，表示所述中心服务器上第t轮次的子模型us，ut-1表示所述子模型在第t-1轮次的参数，s表示具有所述子模型的边端设备的集合，n′k表示边端设备ck的本地数据集的数据量，所述边端设备ck属于所述集合s，n′表示所述集合s中所有边端设备的本地数据及的数据量总和，ηk表示所述边端设备ck的学习率，表示第t轮次子模型训练过程中的本地参数梯度，表示剪枝掩码。
33、本专利技术提供的基于异构边端设备的自适应联邦学习系统，包括：中心服务器，用于在当前轮次模型训练过程中，根据从各边端设备接收的底层模型参数，更新当前业务模型，更新后的业务模型作为下一轮次模型训练过程中的当前业务模型，其中，所述底层模型参数是输入侧的模型参数；k个边端设备，各所述边端设备存储有本地数据集，并部署有与其设备算力相符的子模型，所述子模型是业务模型的分片，其中，k为大于1的正整数。本专利技术多点协同训练，各边端设备持有独立的训练数据，充分利用各个边端设备分散的算力资源与本地数据，根据现场边端设备算力对大规模模型进行切分部署，通过在边端设备上部署与其设备算力相符的子模型，协调资源开销，解决应急场景下边端设备资源受限的问题，增强边端模型在森林火灾等场景中的实际救援价值；中心服务器聚合各边端设备的模型训练知识形成高效的全局模型，实现全局高效的模型训练策略。
本文档来自技高网...【技术保护点】
1.一种基于异构边端设备的自适应联邦学习系统，其特征在于，包括：
2.根据权利要求1所述的基于异构边端设备的自适应联邦学习系统，其特征在于，所述K个边端设备根据设备算力划分为N个层级，第n+1层边端设备上部署的子模型的宽度是第n层边端设备上部署的子模型的宽度的两倍，其中，N为大于1的正整数，n为正整数，n+1≤N。
3.一种基于异构边端设备的自适应联邦学习方法，其特征在于，应用于如权利要求1或2所述的基于异构边端设备的自适应联邦学习系统，所述基于异构边端设备的自适应联邦学习方法包括：
4.根据权利要求3所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述边端设备的子模型基于如下公式进行更新：
5.根据权利要求3所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述本地参数梯度基于如下公式进行更新：
6.根据权利要求5所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述平衡系数α基于如下公式进行更新：
7.根据权利要求3所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述边端设备基
8.根据权利要求7所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述边端设备的子模型基于如下公式进行更新：
9.根据权利要求7或8所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述剪枝掩码中的剪枝率基于如下步骤进行更新：
10.一种基于异构边端设备的自适应联邦学习方法，其特征在于，应用于如权利要求1或2所述的基于异构边端设备的自适应联邦学习系统，所述基于异构边端设备的自适应联邦学习方法包括：
...【技术特征摘要】
1.一种基于异构边端设备的自适应联邦学习系统，其特征在于，包括：
2.根据权利要求1所述的基于异构边端设备的自适应联邦学习系统，其特征在于，所述k个边端设备根据设备算力划分为n个层级，第n+1层边端设备上部署的子模型的宽度是第n层边端设备上部署的子模型的宽度的两倍，其中，n为大于1的正整数，n为正整数，n+1≤n。
3.一种基于异构边端设备的自适应联邦学习方法，其特征在于，应用于如权利要求1或2所述的基于异构边端设备的自适应联邦学习系统，所述基于异构边端设备的自适应联邦学习方法包括：
4.根据权利要求3所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述边端设备的子模型基于如下公式进行更新：
5.根据权利要求3所述的基于异构边端设备的自适应联邦学习方法，其特征在于，所述本地参数梯度基于如下公式进行更新：
6...
【专利技术属性】
技术研发人员：王莉，徐连明，费爱国，吴鑫，刘虓，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。