可穿戴设备充电网络中的用户调度和无人机高度控制方法技术

本发明专利技术公开了一种可穿戴设备充电网络中的用户调度和无人机高度控制方法，本发明专利技术协同考虑了智能可穿戴设备的充电需求和无人机有限的电池容量，对无人机辅助可穿戴设备的实时充电网络中的网络吞吐量和能量消耗进行建模，以最大化网络吞吐量为目标描述优化问题。本发明专利技术将该优化问题转化为一个约束的马尔可夫决策过程，并利用一种基于拉格朗日原始对偶策略优化的，近端策略优化(PPO)

【技术实现步骤摘要】
可穿戴设备充电网络中的用户调度和无人机高度控制方法


[0001]本专利技术涉及无人机辅助智能可穿戴设备充电网络中的用户设备时隙调度和 无人机高度控制方法，尤其涉及到一种考虑无人机的覆盖范围和有限的电池能 量约束下，联合优化无人机高度控制和用户设备时隙调度的方法，并能够在无 人机电池容量允许的范围内，为智能可穿戴设备充电以满足设备的充电需求。

技术介绍

[0002]使用智能可穿戴设备可以实时监测病人的各种健康数据，从而减少与病人 的接触，然而，智能可穿戴设备的电池能量有限。无线电力传输(WPT)技术 的出现，使智能可穿戴设备无线充电成为可能。与传统部署的固定网络基础设 施不同，无人机具有易于部署和灵活机动的优势，可以将无人机作为WPT的载 体。然而，现有的研究所考虑的被服务用户是在无人机覆盖区域内依次执行任 务，在一个时间段内只为一个用户服务；并且一般都假设无人机在固定的水平 高度上运行，并没有考虑无人机调整高度对覆盖设备数量的影响。如何统筹考 虑无人机高度变化和用户设备时隙调度，并有效地解决由于无人机高度的变化 导致允许服务的用户设备变化和在不同的时隙为用户设备分配服务以满足用户 的需求问题有待于研究人员进一步探索。

技术实现思路

[0003]本专利技术的主要目的是针对现有研究的不足之处，以最大化网络吞吐量为目 标，提出一种考虑无人机的覆盖范围和有限的电池能量约束下，联合优化无人 机高度控制和用户设备时隙调度的方法。首先，本专利技术根据无人机的有限覆盖 范围以及可穿戴设备的服务需求因素，建立最大化可穿戴设备网络吞吐量并确 保无人机的电池能量非负的优化模型；其次，为了解决能量受限的无人机辅助 网络中可穿戴设备的时隙调度和无人机的高度控制问题，将该问题转化为约束 的马尔可夫决策过程(CMDP)；最后，本专利技术提出了一种基于拉格朗日原始对 偶策略优化的，近端策略优化(PPO)
‑
CMDP算法，为无人机决定调整高度的 移动距离和当前覆盖范围内选择服务的可穿戴设备提供一种新的有效方案。
[0004]本专利技术采用的技术方案是：可穿戴设备充电网络中的用户调度和无人机高 度控制方法，包括以下步骤：
[0005]步骤(1)：构建无人机辅助可穿戴设备的实时充电模型，包括网络结构、 信道模型、能耗模型。
[0006]步骤(2)：根据步骤(1)中的无人机辅助可穿戴设备的实时充电模型，以 最大化网络吞吐量为目标，构建优化问题P1。
[0007]步骤(3)：将步骤(2)中的可穿戴设备时隙调度和无人机高度决策问题转 化为约束的马尔可夫决策问题。
[0008]步骤(4)：求解步骤(3)中的约束的马尔可夫决策问题。
[0009]本专利技术的有益效果包括：
[0010]本专利技术基于WPT提供了一种无人机辅助智能可穿戴设备充电网络中用户设 备时隙调度和无人机高度控制方法。协同考虑了智能可穿戴设备的充电需求和 无人机有限的电池容量，本专利技术以最大化网络吞吐量为目标描述优化问题，将 该优化问题转化为一个约束的马尔可夫决策过程，并利用一种基于拉格朗日原 始对偶策略优化的，近端策略优化(PPO)
‑
CMDP算法方法求解最优的智能可 穿戴设备时隙调度决策和无人机高度调整策略。实验结果证明了本专利技术所提出 的算法的高效性。
附图说明
[0011]图1为本专利技术构建的无人机辅助智能可穿戴设备实时充电模型；
[0012]图2为本专利技术公开的PPO
‑
CMDP算法与置信区域策略优化(TRPO)算法 和演员
‑
评论家(AC)算法就预期总奖励的对比图；
[0013]图3为拉格朗日乘子随迭代次数的变化趋势；
[0014]图4为服务完成时间和可穿戴设备数量之间的关系；
[0015]图5为总能量消耗与可穿戴设备数量之间的关系；
[0016]图6为总能量消耗与时隙数量之间的关系；
[0017]图7为服务公平率与时隙数量之间的关系。
具体实施方式
[0018]如图1所示，在任务开始之前，无人机在充电站装满了能量。当智能可穿 戴设备发出充电请求时，无人机飞到在用户集群中心的正上方进行服务。
[0019]本专利技术实例提供了一种无人机辅助智能可穿戴设备充电网络中用户设备时 隙调度和无人机高度控制方法，该方法包括：
[0020]步骤(1)：构建无人机辅助可穿戴设备的实时充电模型，包括网络结构、 信道模型、能耗模型；
[0021]步骤(2)：根据步骤(1)中的无人机辅助可穿戴设备的实时充电模型，以 最大化网络吞吐量为目标，描述优化问题；
[0022]步骤(3)：将步骤(2)中的可穿戴设备时隙调度和无人机高度决策问题转 化为约束的马尔可夫决策过程(CMDP)；
[0023]步骤(4)：求解步骤(3)中的优化问题P2。
[0024]本专利技术构建了一个用于智能可穿戴设备网络无线充电的下行链路无人机辅 助系统。在目标用户集群区域A内，有(I表示可穿戴设备的数量) 智能穿戴设备和一个无人机。考虑到无人机的有限覆盖范围，它可以通过调整 高度为热点区域的智能可穿戴设备提供服务。用户集群中的智能可穿戴设备的 能量需求用g_{i}表示。我们假设无人机的大部分发射功率集中在无人机的正下 方，孔径角为α。
[0025]由于给智能可穿戴设备充电是一项延迟敏感的任务，例如在医疗应急情况 下，需要实时监测病人的各种生理数据，给智能可穿戴设备充电可以确保其长 期有效的健康监测。采用时隙
‑
帧结构，将时间以帧为单位划分为一个集合 能量传输应在L
max
中完成，L
max
表示最大的服务完成时间。每 个帧由K个时隙组成，时隙的集合用表示，每个时隙的持续时间为δ。随着无 人机高度位置的变化，目前无人机所覆盖的可穿戴设
备集合为数量为 C
k,l
≤I。此外，在该时隙安排的智能可穿戴设备被定义为一个服务设备组。可 选的候选服务设备组被记为最大数量为当前服务 的设备组z，在帧l的时隙k上的数量和集合用C
k,z,l
和表示。
[0026]假设智能可穿戴设备随机分布在热点区域，其位置坐标为(x
i
,y
i
,0)。充电桩 位置在无人机覆盖集群之外，(x
p
,y
p
,0)被认为是充电桩的位置。此外，无人机的 三维位置坐标为其中为无人机在用户集群中的高度。那么，无 人机覆盖的圆盘区域的半径为因此，无人机和智能可穿戴设备 之间的三维距离为无人机回程链路和无 人机
‑
用户设备链路占用的频谱部分是不产生相互干扰的，并且在无人机和用户 设备之间的通信链路，容易受到环境的影响。从无人机到智能可穿戴设备的路 径损耗表示为PL
i,u
，即：其中，f
c
是分配给智能可穿戴设 备的载波频率，c是光速，是视距(LoS)链路和非视距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.可穿戴设备充电网络中的用户调度和无人机高度控制方法，其特征在于，包括以下步骤：步骤(1)：构建无人机辅助可穿戴设备的实时充电模型，包括网络结构、信道模型、能耗模型；步骤(2)：根据步骤(1)中的无人机辅助可穿戴设备的实时充电模型，以最大化网络吞吐量为目标，构建优化问题P1；步骤(3)：将步骤(2)中的可穿戴设备时隙调度和无人机高度决策问题转化为约束的马尔可夫决策问题；步骤(4)：求解步骤(3)中的约束的马尔可夫决策问题。2.根据权利要求1所述可穿戴设备充电网络中的用户调度和无人机高度控制方法，其特征在于：所述网络结构：在目标用户集群区域A内，有智能穿戴设备和一个无人机，用户集群中的智能可穿戴设备的能量需求用g
i
表示，无人机的大部分发射功率集中在无人机的正下方，孔径角为α；所述信道模型：采用时隙
‑
帧结构，将时间以帧为单位划分为一个集合能量传输在L
max
中完成，每个帧由K个时隙组成，时隙的集合用表示，每个时隙的持续时间为δ，随着无人机高度位置的变化，目前无人机所覆盖的可穿戴设备集合为数量为C
k,l
≤I，将在该时隙内安排的智能可穿戴设备定义为一个服务设备组，可选的候选服务设备组记为最大数量为当前服务的设备组z，在帧l的时隙k上的数量和集合用C
k,z,l
和c
k,z,l
表示；智能可穿戴设备随机分布在热点区域，其位置坐标为(x
i
,y
i
,0)，充电桩位置在无人机覆盖集群之外，(x
p
,y
p
,0)被认为是充电桩的位置，无人机的三维位置坐标为其中为无人机在用户集群中的高度，那么，无人机覆盖的圆盘区域的半径为无人机和智能可穿戴设备之间的三维距离为从无人机到智能可穿戴设备的路径损耗表示为PL
i,u
，即：其中，f
c
是分配给智能可穿戴设备的载波频率，c是光速，是视距链路和非视距链路取值不同时的额外损耗；由于无人机可能在同一时隙为多个智能可穿戴设备服务，设备之间存在不可避免的干扰，定义为：其中P
t
表示传输功率；从无人机到智能可穿戴设备的信号干扰信噪比表示为：其中是信道增益，σ2是加性白高斯噪声的方差；可穿戴设备网络的总吞吐量定义为：其中B是系统带宽；所述能耗模型：无人机由一个初始能量为E
init
的电池供电。在l帧中的每个时隙k，无人
机在垂直方向上以一定速度η移动一段距离，然后在新的位置上悬停时与环境进行交互，无人机的飞行能耗为其中l
f<...

【专利技术属性】
技术研发人员：宁兆龙，冀宏婧，王小洁，陈博宇，亓伟敬，宋清洋，郭磊，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：