一种多无人机动态部署方法技术

本发明专利技术涉及一种多无人机动态部署方法，属于移动通信技术领域。该方法包括：S1：对于一个固定区域，将区域离散地划分为大小相等的AoI，利用A

【技术实现步骤摘要】
一种多无人机动态部署方法


[0001]本专利技术属于移动通信
，涉及一种多无人机动态部署方法。

技术介绍

[0002]近年来，拥有无线通信功能的无人机设备作为和6G网络中空天地一体化愿景的重要一环，引起了广泛的关注。传统固定的通信基础设施固然能在一定程度上提供稳定可靠的通信服务，但无法满足一些需要快速部署的紧急通信需求；反观无人机，得益于其较高的可操作性和随着技术迭代而不断提升的承载能力，能够充当为地面用户和设备提供网络接入服务的空中基站，为用户提供按需的服务，进一步完善无线网络的覆盖。
[0003]现有针对无人机部署的方法通常假定用户业务分布是先验已知且不随时间变化，而这种假设在实际场景中很难成立，因为受人类日常生活工作模式及某些外部突发因素的影响，蜂窝流量的时空分布往往具有高度随机性、时变形和非线性的特征。为了实现无人机的按需部署，运营商需要对流量的时空分布作出精准的预测。此外，动态无人机部署考虑的条件是时变的，且时刻间部署的优化变量存在耦合性。动态无人机部署可视作是无人机的联合轨迹设计和资源分配问题，由于其非凸的特征和优化变量的耦合性，得到全局最优解是非常困难的。
[0004]因此，亟需一种新的多无人机动态部署方法来解决上述问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种多无人机动态部署方法，利用融合注意力机制的ConvLSTM深度时空神经网络模型(A
‑
ConvLSTM模型)预测蜂窝基站流量与用户的时空分布，并利用混合网络结构的多智能体确定性策略深度强化学习算法(MADDPG算法)，求解在各种资源限制下，最大化用户满意度并最小化无人机能耗的最佳轨迹控制、用户关联和功率分配策略。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种多无人机动态部署方法，具体包括以下步骤：
[0008]S1：对于一个固定区域，将区域离散地划分为大小相等的兴趣区域(AoI)，在任意时隙开始时刻，利用A
‑
ConvLSTM模型预测该区域未来流量与用户分布情况；
[0009]S2：基于区域未来流量与用户分布的预测结果，在无人机为区域内用户提供下行信道接入的场景下，将单个无人机视作智能体，将多无人机的轨迹规划与资源分配建模为部分可观测马尔科夫博弈；优化多无人机的轨迹、用户选择和功率分配，以最大化区域整体的用户满意度和最小化无人机能耗为优化目标；
[0010]S3：构建具有混合网络结构的多智能体深度强化学习算法，利用集中式训练
‑
分布式执行的机制学习部分可观测马尔科夫博弈的最佳策略，使得单个智能体只需要观测本地状态并执行最优本地决策，实现与动态环境匹配的最佳无人机部署。
[0011]进一步，步骤S1中，所述A
‑
ConvLSTM模型将目标区域均匀离散地划分为若干个单
元即AoI，每个单元具有唯一标识，单个单元内的所有用户及其产生的流量作为该单元用户数与流量值，并将所有单元所有时隙用户与流量数据组成时空三维张量，以此为样本完成网络模型的训练和预测。
[0012]进一步，步骤S1中，所述A
‑
ConvLSTM模型由输入层、ConvLSTM层、注意力层、批量归一化层和输出层构成；输入层输入为流量历史时空序列，输出层输出为下一时刻流量预测矩。
[0013]进一步，步骤S1中，ConvLSTM层的每个时间单元都有一个记忆单元C
t
以积累状态信息，C
t
通过三个具有参数的控制门进行访问和修改，即输入门i
t
、忘记门f
t
和输出门o
t
；当一个时间步数据输入到ConvLSTM层时，如果输入门i
t
被激活，它所携带的信息存储到C
t
；如果忘记门f
t
被激活，表示忘记过去的单元状态；最终隐藏状态H
t
由输出门o
t
控制，它决定单元的输出C
t
是否传播到最终状态；各个门及C
t
、H
t
的运算规则如下：
[0014][0015][0016][0017][0018][0019]其中，“*”表示卷积运算，表示哈达玛积，σ表示sigmoid激活函数，tanh表示双曲正激活函；ConvLSTM在输入到状态、状态到状态的转换中将LSTM的全连接网络替换为卷积运算，是t时刻固定区域的流量矩阵；C
t
、H
t
、i
t
、f
t
、o
t
均是三维张量，前两个维度是空间维度，后一维度是通道；w、b代表可学习的卷积核参数，w
di
、w
xi
、w
ci
、w
df
、w
hf
、w
cf
、w
dc
、w
xc
、w
do
、w
ho
、w
co
及b
i
、b
f
、b
c
、b
o
表示各个门的卷积核参数。
[0020]进一步，步骤S1中，所述A
‑
ConvLSTM模型是在ConvLSTM网络基础上融合注意力机制，以学习整体网络对不同时刻的隐藏状态H
t
的关注程度；其中注意力机制具体为：
[0021]首先，通过卷积神经网络完成ConvLSTM的各个时间步的三阶张量隐藏状态到特征向量的转换，具体为通过多层卷积及池化的操作完成隐藏状态的空间特征提取和降维，然后重塑为特征向量；
[0022]其次，将特征向量通过多层感知机及softmax函数映射为注意力权重；
[0023]最后，将注意力权重与隐藏状态相乘并通过激活函数得到单步预测输出。该注意力机制能够实现网络关注权重随着输出的改变而改变，更多地关注具有重要信息的特征。
[0024]进一步，步骤S2中，基于每个单元的流量与用户预测数值，定义用户总体满意度来刻画用户的预测接入速率和既得接入速率之间的差异及公平性，通过优化多无人机的轨迹、用户选择和功率分配，以实现最大化区域整体的用户满意度和最小化无人机能耗的优化目标；
[0025]所述用户总体满意度为：
[0026][0027]其中，V
n
(t)表示AoI n的用户总体满意度，表示t时隙利用A
‑
ConvLSTM网络
预测到的AoIn的用户数，表示AoIn内的用户预期速率，R
n
(t)表示AoIn内用户得到的下行接入速率；
[0028]所述优化目标为：
[0029][0030][0031][0032][0033][0034][0035][0036][0037][0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多无人机动态部署方法，其特征在于，该方法具体包括以下步骤：S1：对于一个固定区域，将区域离散地划分为大小相等的AoI，在任意时隙开始时刻，利用A
‑
ConvLSTM模型预测该区域未来流量与用户分布情况；其中，AoI表示兴趣区域，A
‑
ConvLSTM模型表示融合注意力机制的卷积长短期记忆深度时空网络模型；S2：基于区域未来流量与用户分布的预测结果，在无人机为区域内用户提供下行信道接入的场景下，将单个无人机视作智能体，将多无人机的轨迹规划与资源分配建模为部分可观测马尔科夫博弈；优化多无人机的轨迹、用户选择和功率分配，以最大化区域整体的用户满意度和最小化无人机能耗为优化目标；S3：构建具有混合网络结构的多智能体深度确定性策略强化学习算法，利用集中式训练
‑
分布式执行的机制学习部分可观测马尔科夫博弈的最佳策略，使得单个智能体只需要观测本地状态并执行最优本地决策，实现与动态环境匹配的最佳无人机部署。2.根据权利要求1所述的多无人机动态部署方法，其特征在于，步骤S1中，所述A
‑
ConvLSTM模型将目标区域均匀离散地划分为若干个单元即AoI，每个单元具有唯一标识，单个单元内的所有用户及其产生的流量作为该单元用户数与流量值，并将所有单元所有时隙用户与流量数据组成时空三维张量，以此为样本完成网络模型的训练和预测。3.根据权利要求1所述的多无人机动态部署方法，其特征在于，步骤S1中，所述A
‑
ConvLSTM模型由输入层、ConvLSTM层、注意力层、批量归一化层和输出层构成；输入层输入为流量历史时空序列，输出层输出为下一时刻流量预测矩。4.根据权利要求3所述的多无人机动态部署方法，其特征在于，步骤S1中，ConvLSTM层的每个时间单元都有一个记忆单元C
t
以积累状态信息，C
t
通过三个具有参数的控制门进行访问和修改，即输入门i
t
、忘记门f
t
和输出门o
t
；当一个时间步数据输入到ConvLSTM层时，如果输入门i
t
被激活，它所携带的信息存储到C
t
；如果忘记门f
t
被激活，表示忘记过去的单元状态；最终隐藏状态H
t
由输出门o
t
控制，它决定单元的输出C
t
是否传播到最终状态；各个门及C
t
、H
t
的运算规则如下：i
t
＝σ(w
di
*D
t
+w
xi
*H
t
‑1+w
ci
οC
t
‑1+b
i
)f
t
＝σ(ω
df
*D
t
+w
hf
*H
t
‑1+w
cf
οC
t
‑1+b
f
)C
t
＝f
t
οC
t
‑1+i
t
οtanh(w
dc
*D
t
+w
xc
*H
t
‑1+b
c
)o
t
＝σ(w
do
*D
t
+w
ho
*H
t
‑1+w
co
οC
t
+b
o
)H
t
＝o
t
οtanh(C
t
)其中，“*”表示卷积运算，“ο”表示哈达玛积，σ表示sigmoid激活函数，tanh表示双曲正激活函；ConvLSTM在输入到状态、状态到状态的转换中将LSTM的全连接网络替换为卷积运算，D
t
是t时刻固定区域的流量矩阵；C
t
、H
t
、i
t
、f
t
、o
t
均是三维张量，前两个维度是空间维度，后一维度是通道；w
di
、w
...

【专利技术属性】
技术研发人员：唐伦，蒲昊，汪智平，吴壮，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：