【技术实现步骤摘要】
基于DRL的无线可充电无人机数据上载路径优化方法
[0001]本专利技术涉及人工智能
、
电力与通信
，尤其是一种基于
DRL
的无线可充电无人机数据上载路径优化方法
。
技术介绍
[0002]得益于高度灵活的部署能力，近年来无人机已被广泛应用于物联网等新兴领域，旨在弥补现有基站通信的缺陷，无人机可扮演移动通信接入点连接地面用户提供紧急数据服务，确保大规模场景下移动用户的通信服务质量
。
然而受限于机载电池能量约束，无人机在提供服务时面临严重的能源短缺问题
。
[0003]无人机机载能量约束带来的效率低下问题主要表现在随着时间和任务的持续进行，无人机个体能量不断消耗使其在任务执行某时刻需要返回充电站，不能满足高实时性的数据上载需求
。
随着各种新兴能源供应技术的出现，电池补充方式得到了长足的进步，其中无线电力传输技术可以实现将能源的位置与传感位置解耦，将能源从能源丰富的地区转移到能源贫乏的地区，允许无人机在执行数据传输任务的过程中同时进行有效的能量收集
。
[0004]通过在无人机上搭载高增益的射频天线作为移动充电机，为执行数据上载任务的无人机提供充电服务可以作为一种有效的能量解决方案
。
而在任务机辅助物联网系统的通信情境中涉及到了用户数据上载与按需充电，因此更需要一种有效的无人机路径规划策略，保证无人机个体数据上载任务的高效执行
。
[0005]虽然目前相关研究人员对无人机...
【技术保护点】
【技术特征摘要】
1.
一种基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：该方法包括下列顺序的步骤：
(1)
构建物联网通信及无线充电场景系统，所述物联网通信及无线充电场景系统包括一架任务机
、
一台移动充电机和
M
台移动物联网设备；
(2)
对任务机机载电池消耗建立第一数学模型；
(3)
对数据上载信道建立第二数学模型；
(4)
建立无线充电过程执行时的能量补充数学模型即第三数学模型；
(5)
根据物联网通信及无线充电场景系统
、
第一数学模型
、
第二数学模型和第三数学模型，对路径优化目标建立第四数学模型；
(6)
根据物联网通信及无线充电场景系统
、
第一数学模型
、
第二数学模型
、
第三数学模型和第四数学模型，确定状态集合
S、
动作集合
A
和奖励函数
r
t
；
(7)
根据状态集合
S、
动作集合
A
和奖励函数
r
t
，利用改进的
Double DQN
算法进行离线学习，得到最优路径策略
π
*
。2.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：所述步骤
(1)
具体是指：将物联网通信及无线充电场景系统记为系统，系统空间划分为
N*N
的网格，每个网格为正方形单元且边长为
c
，其中，
N
为横
、
纵方向上网格的个数，场景内部署一架任务机执行上载任务，一台移动充电机给予无线充电服务，
M
台移动物联网设备各有值为
d
m
的数据量等待上载；记系统当前所处时隙为
t
，
t
＝
0,
τ
,2
τ
…
T
，
τ
为单个时隙的长度，
T
为系统终止状态的时刻，则移动物联网设备
m
在时隙
t
时所处的位置为表示，其中
m∈{1,2
…
M}
，表示移动物联网设备
m
在网格空间中的横坐标，表示移动物联网设备
m
在网格空间中的纵坐标，
h
m
表示移动物联网设备
m
的固定高度；假设移动物联网设备
m
在时隙
t
时的剩余待上载数据量表示为作为能量供应端的移动充电机在任务开始时从停靠点出发，按照预先部署的飞行轨迹与飞行速度
v
k
移动并向任务机提供能量，实时位置用表示，表示移动充电机在网格空间中的横坐标，表示移动充电机在网格空间中的纵坐标，
h
k
为移动充电机的固定飞行高度；任务开始时，任务机从停靠点出发以恒定飞行速率
v
u
飞行，实时位置用表示，其中，表示任务机在网格空间中的横坐标，表示任务机在网格空间中的纵坐标，
h
u
为任务机的固定飞行高度
。3.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：所述步骤
(2)
具体是指：任务机最大电池容量为
b
max
，表示在时隙
t
上的剩余电量，任务机每执行一个飞行动作消耗恒定能量值则不考虑充电的情况下，在时隙
t+1
上任务机的电池水平建立数学模型，并记为第一数学模型，表达式如下：式中，表示在时隙
t+1
上的剩余电量
。4.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征
在于：所述步骤
(3)
具体是指：任务机与移动物联网设备建立通信连接开始数据上载的过程中任务机飞行高度足够，此时移动物联网设备与任务机之间保证视距无线传输通信，则二者之间的信道增益的表达式如下：其中，
ρ0表示参考距离为
1m
处信道的信道增益，表示时隙为
t
时任务机与移动物联网设备
m
之间的欧氏距离，其表达式如下：其中，表示任务机和移动物联网设备
m
在横坐标上的欧氏距离，表示任务机和移动物联网设备
m
在纵坐标上的欧氏距离；
h
u
为任务机的固定飞行高度；建立在时隙
t
时的数据传输数学模型，记为第二数学模型：其中，是在时隙
t
任务机与移动物联网设备
m
建立的数据传输链路的传输速率，
W
是信号带宽，
P
IoT
是物联网设备的发射功率，
σ2是噪声功率
。5.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：所述步骤
(4)
具体是指：移动充电机配备传输无线电力的高增益射频天线，以固定部署的轨迹为任务机提供能源供应服务；任务执行过程中，任务机和移动充电机的距离在不同时隙上各不相同，两者距离增大时，无线充电的功率会急剧下降，在无线传输链路中假设全能量转换效率，通过
Friis
自由空间传播模型计算任务机处获得的功率表达为下式：其中，
P
t
是发射端功率，
G
t
和
G
r
是发射端和接收端的天线增益，
λ
是传输波长，是发射端和接收端之间的欧氏距离，表达为下式：其中，表示任务机与移动充电机在时隙
t
上横方向上的欧式距离，表示任务机与移动充电机在时隙
t
上纵方向上的欧式距离，
h
k,u
表示任务机与移动充电机的恒定高度差；建立无线充电过程执行时的能量补充数学模型并记为第三数学模型，其表达式为下：式中，为任务机在单个时隙上接收的能量值，
τ
为单个时隙的长度
。6.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：所述步骤
(5)
具体是指：针对任务机路径规划的优化问题的动态场景中的变量为移动物联网设备
、
移动充电机和任务机的位置信息
、
设备数据上载队列及任务机电池状态信息；优化目标在于找到一种路径策略，帮助任务机在平衡能耗与上载数据量的之间做出最佳决
策，从优化移动轨迹的角度最大化单次飞行过程中的数据上载效率，这一过程中考虑的主要因素为数据上载量和任务能耗，第四数学模型的表达式如下：其中，是在时隙
t
任务机与移动物联网设备
m
建立的数据传输链路的传输速率，为任务机每执行一个飞行动作消耗恒定能量值；记系统当前所处时隙为
t
，
t
＝
0,
τ
,2
τ
…
T
，
τ
为单个时隙的长度，
T
为系统终止状态的时刻；
m∈{1,2
…
M}。7.
根据权利要求1所述的基于
DRL
的无线可充电无人机数据上载路径优化方法，其特征在于：所述步骤
(6)
具体包括以下步骤：
(6a)
确定状态集合
S
：状态集合
S
的表达式如下：其中，
s
t
为时隙
t
时的系统状态，由
L
m
(t)、L
u
(t)、B
u
(t)
三部分组成；
L
m
(t)
对数据上载任务中各移动物联网设备的状态进行表示，用于对数据上载的任务目标进行引导，
L
m
(t)
中包括所有移动物联网设备的位置及剩余数据量信息，设上载任务进行过程中区域内最后一个序号的移动物联网设备
M
在时隙
t
上水平方向上的二维坐标与其当前剩余的待上载数据量则
L
m
(t)
表示式如下：
L
u
(t)
通过模拟任务机的视野，对任务机有效传输距离内不同位置上移动物联网设备的数据传输速率与任务机位置进行表示；根据系统特点，以任务机为中心，假设视野范围
n
个网格，任务区域外的位置用黑色网格进行表示，对应矩阵数值设为
‑1表示脱离任务区域，根据与任务机距离的差异，对不同位置的数据上载速率进行表示，任务机处的上载速率最大，对应矩阵元素设为...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。