一种无人机计算卸载与充电服务效能优化方法技术

本发明专利技术公开了一种面向物联网的无人机计算卸载与充电服务效能优化方法，方法包括：预先构建强化学习网络；感知当前环境状态；基于感知状态数据，通过强化学习网络确定无人机的动作；基于无人机动作，确定无人机的飞行路径和对物联网传感器的计算卸载服务和充电服务决策。本发明专利技术考虑到无人机既可以作为移动边缘服务器提供计算卸载服务，也可以作为无线充电设备为物联网设备充电，通过对物联网传感器位置、无人机位置、无人机剩余电量、物联网传感器剩余电量、物联网传感器任务信息、无人机与物联网传感器之间的信道状态建模，将深度强化学习算法用于无人机航迹规划和用户服务决策，计算复杂度低，有效提升了物联网系统的计算能力和工作时长。和工作时长。和工作时长。

【技术实现步骤摘要】
一种无人机计算卸载与充电服务效能优化方法


[0001]本专利技术涉及移动边缘计算领域和无线能量传输领域，特别涉及到基于神经网络的深度强化学习算法领域，具体为一种无人机计算卸载与充电服务效能优化方法。

技术介绍

[0002]近年来，随着物联网技术的发展，各种新兴的物联网应用层出不穷，然而许多物联网设备计算能力有限甚至没有计算能力，因此其计算需求很高，同时由于其电池能量有限，因而工作时间有限。移动边缘计算通过将计算资源部署到物联网设备附近，以任务卸载的方式可以有效地满足物联网设备的流量需求，并降低任务时延。无人机由于其高机动性更容易作为移动边缘服务器来实现物联网设备任务卸载，此外，无人机也可以作为无线充电设备为物联网设备充电，但是无人机的能量供应有限，因此如何设计无人机的航迹规划与用户服务策略对于实现最大化系统效能至关重要。

技术实现思路

[0003]针对上述问题，本专利技术提出一种无人机计算卸载与充电服务效能优化方法，在无人机能量约束的条件下最大化系统长期奖励，通过合理设置奖励函数从而合理规划无人机航迹与用户服务机制，从而最大化系统效能。
[0004]本专利技术无人机计算卸载与充电服务效能优化方法，设计具体步骤为：
[0005]步骤1：构建基于DQN的深度强化学习网络。
[0006]步骤2：感知当前环境状态信息，通过步骤1中构建的深度强化学习网络确定无人机的可执行的动作。
[0007]步骤3：基于所述感知当前环境状态信息，通过深度强化学习网络预测在该状态下所有动作的价值，并选择价值最大的动作，进而确定无人机的飞行目标位置、无人机服务目标以及对物联网设备的服务类型决策，包括计算卸载服务和充电服务，同时计算无人机能耗。
[0008]步骤4：计算奖励函数，迭代更新DQN深度强化学习网络。
[0009]本专利技术的优点在于：
[0010]本专利技术无人机计算卸载与充电服务效能优化方法，在无人机能量约束的条件下最大化系统长期奖励，通过合理设置奖励函数从而合理规划无人机航迹与用户服务机制，并将该服务过程建模为马尔可夫决策过程，设计了基于深度强化学习的智能决策方法，对无人机飞行轨迹、用户分配与服务类型进行联合优化，使得无人机能够依据环境状态信息快速决策，克服了传统算法的高计算量问题，降低了决策成本。
附图说明
[0011]图1为本专利技术无人机计算卸载与充电服务效能优化方法流程图；
[0012]图2为本专利技术无人机计算卸载与充电服务效能优化方法中所应用的系统模型图；
[0013]图3为本专利技术无人机计算卸载与充电服务效能优化方法的实施例中累积奖励随着迭代次数的仿真图。
具体实施方式
[0014]下面结合附图对本专利技术做进一步详细说明。
[0015]本专利技术无人机计算卸载与充电服务效能优化方法，如图1所示，包括如下步骤：
[0016]步骤1：构建基于DQN的深度强化学习网络，初始化DQN神经网络参数。
[0017](1)构建DQN算法，包括现实网络和估计网络在内的神经网络结构，二者网络结构相同但参数不同，输入皆为当前环境状态和无人机采取的动作，输出为环境状态
‑
动作对的价值。
[0018](2)构建记忆库，来存储无人机与环境交互产生的数据，包括每一次交互产生的环境状态信息数据、无人机动作数据等，每次更新DQN算法中的估计网络参数时随机抽取记忆库中的一部分数据用于更新，以打破数据间的相关性和非稳态分布问题。
[0019]步骤2：感知当前环境状态信息，通过步骤1中构建的深度强化学习网络确定无人机的动作，包括无人机飞行目标位置选择、服务目标选择和服务类型选择。
[0020]利用无人机机载传感器感知各物联网设备的当前位置信息、无人机的当前位置信息、各物联网设备当前剩余电量信息、无人机当前剩余电量信息、各物联网设备计算任务大小信息(即所需处理的数据比特数)、无人机与所述各物联网设备之间的信道状态信息，作为状态信息。将上述环境状态信息数据表述为以下矩阵形式：
[0021][0022]其中，S(t)表示t时刻的环境状态信息，分别表示t时刻N个物联网设备的位置；l
V
(t)表示t时刻无人机的位置；分别表示t时刻N个物联网设备的剩余电量；E
V
(t)表示t时刻无人机的剩余电量；分别表示t时刻N个物联网设备的任务大小，单位为比特；分别表示t时刻N个物联网设备与无人机之间的信道增益。
[0023]基于所述感知状态数据，通过深度强化学习网络确定无人机动作，包括：无人机飞行目标位置选择、服务目标选择和服务类型选择。
[0024]将动作数据表述为矩阵形式：
[0025]A(t)＝[a
n
(t),a
m
(t),a
T
(t)][0026]其中，A(t)表示无人机在t时刻执行的动作，a
n
(t)表示t时刻无人机选择服务的物联网设备，a
n
(t)∈{1,2,
…
,N}；a
m
(t)表示t时刻无人机飞往的位置，a
m
(t)∈{1,2,
…
,M}，表示飞往预先设置的M个接入点中的某一接入点；a
T
(t)表示t时刻无人机选择的服务类型，a
T
(t)∈{0,1}，a
T
(t)＝0表示无人机提供计算卸载服务，a
T
(t)＝1表示无人机提供充电服务，则无人机共有M
×2×
2种可执行的动作。
[0027]步骤3：基于所述感知当前环境状态信息，通过深度强化学习网络预测在该状态下所有动作的价值，并选择价值最大的动作，进而确定无人机的飞行目标位置、无人机服务目标以及对物联网设备的服务类型决策，包括计算卸载服务和充电服务，同时计算无人机能
耗。
[0028]其中，无人机能量消耗包括4种能量消耗，如下：
[0029](1)无人机飞行能耗：指无人机水平飞行能耗，考虑无人机以恒定的水平飞行速度V
f
在高度为h的空中飞行，飞行功率为P
f
，t时刻无人机的飞行能耗与当前时刻位置和下一时刻位置有关，无人机在t时刻三维坐标系下的位置状态为l
V
(t)＝[x
V
(t),y
V
(t),h]，则无人机飞行能耗为：
[0030][0031](2)无人机盘旋能耗：指在t时刻无人机为物联网设备提供计算卸载服务或充电服务时的盘旋能耗，考虑无人机盘旋功率恒定为P
h
，在无人机提供计算卸载服务时，考虑信道为直视信道，物联网设备n的位置状态无人机与物联网设备n间的信道增益与数据传输速率分别为：
[0032][0033][0034]其中，B为信道带宽，ρ0为在参考距离1米处的信道功率增益，P
n
为物联网设备n的固定传输功率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机计算卸载与充电服务效能优化方法，其特征在于：设计具体步骤为：步骤1：构建基于DQN的深度强化学习网络；步骤2：感知当前环境状态信息，通过步骤1中构建的深度强化学习网络确定无人机的可执行的动作；步骤3：基于所感知当前环境状态信息，通过深度强化学习网络预测在该状态下所有动作的价值，并选择价值最大的动作，进而确定无人机的飞行目标位置、无人机服务目标以及对物联网设备的服务类型决策，包括计算卸载服务和充电服务，同时计算无人机能耗；步骤4：计算奖励函数，迭代更新DQN深度强化学习网络。2.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法，其特征在于：步骤1中，构建DQN算法，包括现实网络和估计网络在内的神经网络结构，二者输入皆为当前环境状态和无人机采取的动作，输出为环境状态
‑
动作对的价值；同时构建记忆库存储无人机与环境交互产生的数据，包括每一次交互产生的环境状态信息数据、无人机动作数据等。3.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法，其特征在于：步骤2中：当前环境状态信息包括各物联网设备的当前位置信息、无人机的当前位置信息、各物联网设备当前剩余电量信息、无人机当前剩余电量信息、各物联网设备计算任务大小信息、无人机与所述各物联网设备之间的信道状态信息，作为状态信息；无人机的可执行的动作包括：无人机飞行目标位置选择、服务目标选择和服务类型选择。4.如权利要求3所述一种无人机计算卸载与充电服务效能优化方法，其特征在于：步骤2中：将环境状态信息数据表述为下述矩阵形式：其中，S(t)表示t时刻的环境状态信息，分别表示t时刻N个物联网设备的位置；l
V
(t)表示t时刻无人机的位置；分别表示t时刻N个物联网设备的剩余电量；E
V
(t)表示t时刻无人机的剩余电量；分别表示t时刻N个物联网设备的任务大小，单位为比特；分别表示t时刻N个物联网设备与无人机之间的信道增益；将无人机的可执行的动作数据表述为矩阵形式：A(t)＝[a
n
(t),a
m
(t),a
T
(t)]其中，A(t)表示无人机在t时刻执行的动作，a
n
(t)表示t时刻无人机选择服务的物联网设备，a
n
(t)∈{1,2,
…
,N}；a
m
(t)表示t时刻无人机飞往的位置，a
m
(t)∈{1,2,
…
,M}，表示飞往预先设置的M个接入点中的某一接入点；a
T
(t)表示t时刻无人机选择的服务类型，a
T
(t)∈{0,1}，a
T
(t)＝0表示无人机提供计算卸载服务，a
T
(t)＝1表示无人机提供充电服务。5.如权利要求1所述一种无人机计算卸载与充电服务效能优化方法，其特征在于：步骤3中：无人机能量消耗包括4种能量消耗，如下：(1)无人机飞行能耗：指无人机水平飞行能耗，考虑无人机以恒定的水平飞行速度V
f
在高度为h的空中飞行，飞行功率为P
f
，t时刻无人机的飞行能耗与当前时刻位置和下一时刻位置有关，无人机在t时刻三维坐标系下的位置状态为l
V
(t)＝[x<...

【专利技术属性】
技术研发人员：丁文锐，王晨晨，罗祎喆，王玉峰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：