【技术实现步骤摘要】
本申请涉及移动计算，特别是涉及一种无人机数据收集与能源传输方法。
技术介绍
1、随着5g技术和物联网的迅猛发展，智能设备数量呈指数级上升，产生的计算任务也逐渐变得复杂和多样，在此基础上出现了云计算等集中化服务。为缓解云端峰值计算压力提出移动边缘计算（mobile edge computing，mec），智能设备的部分计算任务可以直接卸载到较近的边缘服务器上计算，同时也降低了处理时延。由于无人机（unmanned aerialvehicle，uav）的灵活性和机动性，可以在无线网络中提供可靠连接，因此被认为是经济高效和节能的解决方案。然而，由于智能设备和无人机的能量限制，这种服务模式不可持续。
2、为解决上述问题，当前研究越来越多的关注能量收集技术，如无线功率传输。对于需要更高功率的无人机，可使用基站进行定向激光充电；而对于分散在各处的智能设备，无线射频传输是一种更有效的充电方式。同时为确保数据收集的及时性，研究者们引入信息年龄（age of information）的概念，用以衡量数据生成时与接收时之间的时间差。受对信息年龄和能量收集研究日益增长的关注的启发，当前大多数关于无人机辅助移动边缘计算系统的研究主要集中于单一问题，限制了研究的广度，如仅降低信息年龄，仅提高能源收集效率。而降低信息年龄和提高能源收集效率在系统中存在冲突，降低信息年龄要求无人机频繁与更多的物联网设备交互，提高能源收集效率则要求无人机保持静止更长时间，以确保充电时间充足。以往研究在很大程度上忽视了这一冲突问题。
技术实
1、本申请的目的是提供一种无人机数据收集与能源传输方法，可得到同时考虑信息年龄最小、无人机能耗最小且收集能源最多的、质量更优的解决方案。
2、为实现上述目的，本申请提供了如下方案：本申请提供了一种无人机数据收集与能源传输方法，包括以下步骤。
3、构建无人机系统；所述无人机系统包括无人机、基站、高空平台及多个智能设备；所述无人机用于收集所述智能设备采集到的数据并卸载至所述高空平台、为所述智能设备传输能量；所述基站用于为所述无人机传输能量。
4、基于所述无人机系统，构建数据收集模型、能源收集模型及能源消耗模型；所述数据收集模型为基于所述智能设备采集到的数据对应的信息年龄构建。
5、基于所述数据收集模型、所述能源收集模型及所述能源消耗模型，以所有智能设备的平均信息年龄最小、无人机的总能耗最小且所有智能设备收集的平均能源最大为目标，构建多目标无人机飞行优化模型。
6、采用进化算法与强化学习算法交替处理的方式，对所述多目标无人机飞行优化模型求解，以得到无人机的飞行行为决策；所述飞行行为决策为飞行、悬停并收集数据、悬停并传输能量中的一项。
7、优选地，采用进化算法与强化学习算法交替处理的方式，对所述多目标无人机飞行优化模型求解，以得到无人机的飞行行为决策，包括：
8、对于所述多目标无人机飞行优化模型，基于马尔科夫决策，确定初始种群；所述初始种群包括多个智能体，每个所述智能体均包含权重向量、策略网络及价值网络；所述权重向量用于表征多个优化目标的重要性，多个优化目标包括所有智能设备的平均信息年龄、无人机的总能耗、所有智能设备收集的平均能源；
9、在当前迭代中，若迭代次数未达到预设次数，且处于预设强化学习执行轮次范围内，则对所述初始种群中多个智能体执行多目标近端策略优化，以得到新种群；
10、若迭代次数未达到预设次数，且处于预设进化操作执行轮次范围内，则对所述初始种群及精英种群执行进化操作，以得到新种群；其中，所述预设强化学习执行轮次范围内的轮次与所述预设进化操作执行轮次范围内的轮次，按大小顺序交替设置；
11、评估所述新种群中每个智能体的目标向量；所述目标向量依据所述智能体在每个时隙对应的向量值奖励确定；
12、基于所述新种群对精英种群进行更新，然后将所述新种群与缓冲种群合并以得到更新后缓冲种群，将所述新种群赋值给所述初始种群以得到更新后初始种群；
13、若所述迭代次数不满足预设倍值条件，则进入下一次迭代；
14、若所述迭代次数满足预设倍值条件，则基于所述新种群中每个智能体的目标向量，对所述更新后缓冲种群执行种群更新操作，以删除部分智能体得到优化种群，将所述优化种群赋值给所述初始种群以得到更新后初始种群，然后进入下一次迭代；
15、若迭代次数达到预设次数，则将所述精英种群标记为输出种群；
16、根据所述输出种群，确定无人机在多个时隙的飞行行为决策。
17、优选地，对所述初始种群中多个智能体执行多目标近端策略优化，以得到新种群，包括：
18、对于所述初始种群中任一智能体，采用策略网络进行多次环境交互，以得到每次环境交互对应的转移样本；所述转移样本包括当前状态、下一状态、向量值奖励及智能体动作；其中，所述当前状态包括每个智能设备的状态及无人机的状态；每个智能设备的状态包括智能设备与无人机之间的距离、智能设备的信息年龄及智能设备的剩余能量；所述无人机的状态包括无人机的坐标、无人机卸载队列中收集的任务数量及环境交互的次数；所述智能体动作为无人机的飞行行为决策；所述向量值奖励基于多个优化目标确定；
19、根据多次环境交互对应的转移样本，采用如下公式计算优势函数：
20、；
21、基于所述优势函数及多次环境交互对应的转移样本，采用如下公式更新策略网络的参数：
22、；
23、基于多次环境交互对应的转移样本，采用如下公式更新价值网络的参数：
24、；
25、其中，是折扣因子， t为时隙的数量，在每个时隙进行一次环境交互，为超参数，为权重向量，为第次环境交互的向量值奖励，为第次环境交互的状态，为第次环境交互的状态， l为计算优势函数的步数差值；为策略网络训练损失函数，为期望，为更新之前的策略网络，为第次环境交互的状态，为第次环境交互的智能体动作，表示裁剪函数，将限制在范围之内，为超参数；为价值网络训练损失函数，为第次环境交互的向量值奖励；
26、基于所述初始种群、更新后的策略网络的参数、更新后的价值网络的参数，确定新种群。
27、优选地，所述无人机系统中，所述无人机采用时分多址技术从所述智能设备收集数据，所述无人机采用频分多址技术对所述智能设备传输能量；基于所述无人机系统，构建数据收集模型、能源收集模型及能源消耗模型，包括：
28、根据所述无人机系统中所述无人机与所述智能设备的相对位置，确定智能设备至无人机的信道传输速率、无人机至高空平台的信道传输速率；
29、基于所述智能设备至无人机的信道传输速率，确定智能设备发送数据至无人机的时延；基于所述无人机至高空平台的信道传输速率，确定无人机卸载数据至高空平台的时延；
30、本文档来自技高网...
【技术保护点】
1.一种无人机数据收集与能源传输方法，其特征在于，所述无人机数据收集与能源传输方法包括：
2.根据权利要求1所述的无人机数据收集与能源传输方法，其特征在于，采用进化算法与强化学习算法交替处理的方式，对所述多目标无人机飞行优化模型求解，以得到无人机的飞行行为决策，包括：
3.根据权利要求2所述的无人机数据收集与能源传输方法，其特征在于，对所述初始种群中多个智能体执行多目标近端策略优化，以得到新种群，包括：
4.根据权利要求1所述的无人机数据收集与能源传输方法，其特征在于，所述无人机系统中，所述无人机采用时分多址技术从所述智能设备收集数据，所述无人机采用频分多址技术对所述智能设备传输能量；基于所述无人机系统，构建数据收集模型、能源收集模型及能源消耗模型，包括：
5.根据权利要求1所述的无人机数据收集与能源传输方法，其特征在于，所述多目标无人机飞行优化模型包括目标函数及约束条件；所述目标函数为：
6.根据权利要求4所述的无人机数据收集与能源传输方法，其特征在于，所述无人机系统中所述无人机与所述智能设备的相对位置包括无人机与智能
7.根据权利要求4所述的无人机数据收集与能源传输方法，其特征在于，所述数据收集模型包括：
8.根据权利要求6所述的无人机数据收集与能源传输方法，其特征在于，所述无人机的飞行状态包括无人机飞行速度(t)；所述无人机飞行能耗的计算模型为：
...【技术特征摘要】
1.一种无人机数据收集与能源传输方法，其特征在于，所述无人机数据收集与能源传输方法包括：
2.根据权利要求1所述的无人机数据收集与能源传输方法，其特征在于，采用进化算法与强化学习算法交替处理的方式，对所述多目标无人机飞行优化模型求解，以得到无人机的飞行行为决策，包括：
3.根据权利要求2所述的无人机数据收集与能源传输方法，其特征在于，对所述初始种群中多个智能体执行多目标近端策略优化，以得到新种群，包括：
4.根据权利要求1所述的无人机数据收集与能源传输方法，其特征在于，所述无人机系统中，所述无人机采用时分多址技术从所述智能设备收集数据，所述无人机采用频分多址技术对所述智能设备传输能量；基于所述无...
【专利技术属性】
技术研发人员：宋富洪，杨骑逊，邓明森，陈旭，安冯竞，喻曦，
申请(专利权)人：贵州财经大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。