基于联邦学习的框架训练无人机集群的神经网络建模方法技术

本发明专利技术公开了一种基于联邦学习的框架训练无人机集群的神经网络建模方法，建立一个顶层无人机和一组底层无人机的双层无人机通信架构，考虑无人机执行任务时其轨迹是跟随目标变化、具有较强随机性的，采用随机游走模型来表示底层无人机的轨迹，适合目标追踪、侦察探测等轨迹未知的多数场景。同时考虑到移动场景下无人机飞行能耗远大于计算能耗和传输能耗，将每一轮划分为不等长时隙和不固定的时隙个数，在联邦学习模型性能和收敛速度的约束下，通过联合优化顶层无人机的速度和飞行方向与局部迭代次数，建立顶层无人机的飞行能耗最小化问题，并采用了深度强化学习算法来求解，简化状态空间和动作空间设计，可以直接部署在算力、能量受限的无人平台。能量受限的无人平台。能量受限的无人平台。

【技术实现步骤摘要】
基于联邦学习的框架训练无人机集群的神经网络建模方法


[0001]本专利技术涉及无人机通信
，尤其涉及一种基于联邦学习的框架训练无人机集群的神经网络建模方法。

技术介绍

[0002]无人机集群在军用、民用领域得到了广泛应用，比如目标识别、交通监控等。传统的集中式机器学习需要将原始数据传输到一个中央实体进行处理，比如云计算中心。但是这些传统方案不适合无人机网络，首先，大量原始数据的传输需要较大带宽，并且造成较大的无人机能量消耗；其次，这些原始数据传输带来的较高延迟不能应用于实时性要求高的场景，比如目标追踪；最后，原始数据的传输会造成隐私泄露，比如无人机的位置。
[0003]联邦学习作为分布式学习框架，以模型参数来代替原始数据进行传输，保护数据隐私的同时降低了传输数据量，适合通信能力和能量有限的无人机；此外，数据不是集中在一个无人机而是碎片化地分布在每个无人机上，这对计算能力降低了要求，也很适合计算能力有限的无人机。
[0004]现有技术中，方案1(Y.Shen,Y.Qu,C.Dong,F.Zhou and Q.Wu,"Joint Training and Resource Allocation Optimization for Federated Learning in UAV Swarm,"in IEEE Internet of Things Journal,doi:10.1109/JIOT.2022.3152829)描述了无人机集群按照固定轨迹执行园区监控等巡逻任务时，无人机集群根据采集的入侵者车辆等标记数据进行联邦学习训练，通过带宽和计算资源分配以及优化局部迭代精度和次数，在每轮计算时间和传输时间的约束下，优化了整个联邦学习期间模型训练无人机的传输能耗和计算能耗。该方案将此优化问题分为三个子问题，首先将整数变量局部迭代次数放宽为连续变量，并采用了逐次凸逼近(successive convex approximation，SCA)将非凸约束转为凸约束，然后利用matlab的CVX包通过迭代方式交替求解局部迭代精度、局部迭代次数、带宽和计算频率。然而，该方案考虑的是无人机集群在固定轨迹甚至固定队形下进行数据采集和模型训练，这不适合目标追踪、侦察探测等轨迹未知的多数场景。
[0005]现有技术中，方案2(CN114997737A)对无人机集群作为接入基站为地面用户提供服务的场景，通过分层联邦学习训练网络切片资源分配模型提高网络服务切片隔离性能。通过分层降低通信代价，通过分簇降低数据异质性，通过数据增广增大数据量，通过注意力机制进行模型聚合。然而，该方案依赖于基站，在很多偏远地区缺少基站或者基站距离远，通信代价大，不适用于目标追踪、边界巡逻、森林火灾检测、空气质量监测、资源探测等场景。此外，该方案在无人机集群部署联邦学习时需要预设轨迹，其并没有考虑无人机执行任务时其轨迹是跟随目标变化、具有较强随机性，只是动态部署无人机位置，因此也不适合目标追踪、侦察探测等轨迹未知的多数场景。
[0006]因此，需要提出一种无人机集群系统联邦学习方法来适应目标追踪、侦察探测等轨迹未知的多数场景，同时，解决因深度神经网络模型极其庞大、千万级别的模型参数对无人平台计算能力要求极高，导致在算力、能量受限的无人平台难以直接部署深度学习模型
的问题。

技术实现思路

[0007]本专利技术针对现有技术不适合轨迹未知的多数场景以及深度神经网络模型难以直接部署在算力、能量受限的无人平台的问题，提出一种基于联邦学习的框架训练无人机集群的神经网络建模方法。
[0008]为了实现上述目的，本专利技术提供如下技术方案：
[0009]本专利技术提出一种基于联邦学习的框架训练无人机集群的神经网络建模方法，包括以下步骤：
[0010]S1、建立由一个顶层无人机和一组底层无人机组成的双层无人机通信架构，其中顶层无人机用于完成联邦学习模型的参数聚合和全局模型训练控制，一组底层无人机用于完成局部模型训练以及执行智能化任务，每个底层无人机的移动模型建模为随机游走模型；
[0011]S2、建立包含传输模型、计算模型和飞行模型的系统模型，基于系统模型构建顶层无人机飞行能耗最小化问题，在全局模型收敛时间和收敛精度约束下，通过联合优化顶层无人机速度和方向与局部模型迭代精度和迭代次数来最小化顶层无人机的飞行能耗；
[0012]S3、采用了深度强化学习算法来解决所提出的顶层无人机飞行能耗最小化问题，该问题为非凸混合整数优化问题。
[0013]进一步地，步骤S1中，联邦学习一个全局模型迭代的具体过程为：
[0014]S11、顶层无人机进行本轮模型参数和联邦学习决策参数广播，其中包括底层无人机的局部迭代次数；
[0015]S12、底层无人机根据收到的模型参数、联邦学习决策参数和收集的数据进行局部模型训练，采用全梯度下降算法进行模型参数更新，局部迭代直到达到局部收敛要求；
[0016]S13、训练完成的底层无人机依次将模型参数以及无人机当前飞行状态进行上传；
[0017]S14、所有底层无人机的模型参数上传成功后顶层无人机进行模型参数加权聚合，并将当前集群状态输入经过强化学习算法训练的策略模型输出当前决策；
[0018]S15、顶层无人机进行模型参数和联邦学习决策参数广播，并根据当前决策实现飞行控制；
[0019]S16、重复步骤S11
‑
S15直到达到全局收敛要求。
[0020]进一步地，步骤S12中，局部迭代过程采用分布式近似牛顿算法，在局部迭代开始前，先计算一次局部梯度，然后上传至顶层无人机得到全局梯度。
[0021]进一步地，步骤S12中，局部模型迭代直到收敛表示为：
[0022][0023]即底层无人机k当前损失函数与最优损失函数差值小于初始损失函数与最优损失函数差值的η倍，η定义为局部模型的收敛精度，w
i
为当前全局模型参数，分别为初始、当前、最优的局部模型参数变化量；
[0024]进一步地，局部迭代损失函数设计为：
[0025][0026]其中，F
k
(w
i
+h
k
)为原底层无人机k损失函数，为训练前全局梯度，是训练前底层无人机k的局部梯度，ξ为可调的全局梯度权重。
[0027]进一步地，步骤S16，全局模型迭代达到收敛表示为：
[0028]F(w
i
)
‑
F(w
*
)≤ε(F(w0)
‑
F(w
*
))
[0029]其中，F(w0)，F(w
i
)，F(w
*
)分别为初始、当前、最优的全局模型损失函数，ε为全局模型精度。
[0030]进一步地，假设局部模型损失函数F
k
(w)为L
‑
连续和γ
‑
强凸，即则局部迭代次数I与局部迭代精度η关系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，包括以下步骤：S1、建立由一个顶层无人机和一组底层无人机组成的双层无人机通信架构，其中顶层无人机用于完成联邦学习模型的参数聚合和全局模型训练控制，一组底层无人机用于完成局部模型训练以及执行智能化任务，每个底层无人机的移动模型建模为随机游走模型；S2、建立包含传输模型、计算模型和飞行模型的系统模型，基于系统模型构建顶层无人机飞行能耗最小化问题，在全局模型收敛时间和收敛精度约束下，通过联合优化顶层无人机速度和方向与局部模型迭代精度和迭代次数来最小化顶层无人机的飞行能耗；S3、采用了深度强化学习算法来解决所提出的顶层无人机飞行能耗最小化问题，该问题为非凸混合整数优化问题。2.根据权利要求1所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，步骤S1中，联邦学习一个全局模型迭代的具体过程为：S11、顶层无人机进行本轮模型参数和联邦学习决策参数广播，其中包括底层无人机的局部迭代次数；S12、底层无人机根据收到的模型参数、联邦学习决策参数和收集的数据进行局部模型训练，采用全梯度下降算法进行模型参数更新，局部迭代直到达到局部收敛要求；S13、训练完成的底层无人机依次将模型参数以及无人机当前飞行状态进行上传；S14、所有底层无人机的模型参数上传成功后顶层无人机进行模型参数加权聚合，并将当前集群状态输入经过强化学习算法训练的策略模型输出当前决策；S15、顶层无人机进行模型参数和联邦学习决策参数广播，并根据当前决策实现飞行控制；S16、重复步骤S11
‑
S15直到达到全局收敛要求。3.根据权利要求2所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，步骤S12中，局部迭代过程采用分布式近似牛顿算法，在局部迭代开始前，先计算一次局部梯度，然后上传至顶层无人机得到全局梯度。4.根据权利要求3所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，步骤S12中，局部模型迭代直到收敛表示为：即底层无人机k当前损失函数与最优损失函数差值小于初始损失函数与最优损失函数差值的η倍，η定义为局部模型的收敛精度，w
i
为当前全局模型参数，分别为初始、当前、最优的局部模型参数变化量。5.根据权利要求4所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，局部迭代损失函数设计为：其中，F
k
(w
i
+h
k
)为原底层无人机k损失函数，为训练前全局梯度，是训
练前底层无人机k的局部梯度，ξ为可调的全局梯度权重。6.根据权利要求5所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，步骤S16，全局模型迭代达到收敛表示为：F(w
i
)
‑
F(w
*
)≤ε(F(w0)
‑
F(w
*
))其中，F(w0)，F(w
i
)，F(w
*
)分别为初始、当前、最优的全局模型损失函数，ε为全局模型精度。7.根据权利要求6所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，假设局部模型损失函数F
k
(w)为L
‑
连续和γ
‑
强凸，即则局部迭代次数I与局部迭代精度η关系为：全局迭代精度ε与局部迭代精度η、全局迭代轮数N的关系为：其中，I为单位矩阵，λ定义为模型学习率，L和γ为与损失函数相关的常数。8.根据权利要求1所述的基于联邦学习的框架训练无人机集群的神经网络建模方法，其特征在于，步...

【专利技术属性】
技术研发人员：刘宜明，张春雨，张治，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：