【技术实现步骤摘要】
本专利技术属于无线通信，具体设计了一种基于无人机流量卸载的基站节能方法。
技术介绍
1、移动通信技术的快速发展使得智能联网设备的数量激增，这导致移动数据流量近年来呈指数级增长，这对当前通信系统容量提出了更高的要求。为应对该挑战，运营商在网络中密集部署小蜂窝基站(small-cell base station，sbs)并通过频谱复用方式来提高频谱利用率与网络容量。然而，支撑密集部署的sbs正常工作需要消耗大量的电能，这不仅使运营商和当地电网承担着相当大的负担，也对生态环境造成了不可忽视的影响。因此，寻求合适的绿色通信方案以降低基站能耗，提高网络资源利用效率受到了国内外研究人员的广泛关注。
2、北京邮电大学的许晓东团队在《adaptive cell zooming and sleeping forgreen heterogeneous ultradense networks》中调研指出现有的基站节能方案主要采用小区缩放(cell zooming，cz)或基站休眠的方式。具体来说，当一个小区内的流量负载较低或无流量负载时，运营商可以通过基站间协作的方式将本小区的用户流量卸载至相邻具有剩余带宽资源的基站。然后，该小区基站则可以降低发射功率以缩减覆盖范围，甚至关闭进行休眠。然而，这种节能方式存在一定限制，当sbs的部署密度较稀或周围流量均较高时，待卸载流量的sbs周围可能不存在可用的sbs，因而无法实现上述节能方案。相较于地面基站之间协作进行流量卸载，基于无人机的流量卸载方案能有效解决上述问题。得益于无人机可控的高机动性与可靠
3、目前，关于无人机辅助地面基站进行小区缩放的研究尚处于起步阶段，存在着以下挑战亟需解决。首先，地面用户位置在空间上分布不均，且随时间动态变化，这使得网络中的流量需求呈时空动态变化特点，无人机如何实时跟踪变化的需求并制定相应的飞行策略，寻找到可进行流量卸载的地面基站，帮助其进行小区缩放或休眠是一个难题。其次，除无人机的轨迹需要规划以外，无人机需要与地面基站进行联合调度以完成小区缩放或休眠，其中涉及到用户关联、信道分配、功率控制多方面联合调度，该问题同样具有挑战性。最后，无人机一般使用与地面通信相同的通信频段，其视距链接特性将对网络中的其他小区带来不可忽视的干扰，因此需要实现空地网络之间干扰协同。为解决上述问题，本专利技术首先设计了多智能体强化学习算法协同规划多无人机轨迹，然后采用位势博弈算法完成无人机与地面基站之间联合调度，协调空地网络之间的干扰，实现无人机对地面基站的流量卸载以及地面基站小区缩放或休眠以降低网络能耗。
技术实现思路
1、本专利技术针对由宏蜂窝网络，小蜂窝网络和无人机网络构成的异构网络场景，提出了一种基于无人机流量卸载的基站节能方法。
2、本专利技术的技术方案：
3、一种基于无人机流量卸载的基站节能方法，首先，考虑到网络中流量需求的时空动态性，为多架无人机建立多智能体强化学习qmix算法，把从动态环境中获取的本地观测信息映射为联合最优轨迹规划策略，让各无人机飞行到目标地点并在网络中部署，同时与sbs进行关联，形成空地联合agu小区；然后，通过位势博弈算法，综合能耗和吞吐量双重性能指标为各agu小区制定用户关联、信道分配和功率控制策略，让sbs实现小区缩放或休眠；整个方案决策是周期制定的，而每个决策周期按时间顺序依次分为两个阶段；阶段一为基于qmix算法的多无人机轨迹规划阶段；阶段二为基于位势博弈的agu小区联合策略制定阶段；
4、具体步骤如下：
5、s1、基于qmix算法的多无人机轨迹规划阶段
6、该阶段分为分布式执行与集中式训练两个模块；
7、(1)分布式执行模块
8、每架无人机上部署一个q网络，q网络由两层全连接神经网络和一层门控循环神经网络组成，用于制定飞行决策；对于每个决策周期t来说，无人机制定的飞行策略取决于其本地历史观测信息和历史决策；具体来说，无人机首先观测本地环境信息其包括无人机n当前位置、上一个决策周期其他无人机位置、当前无人机关联sbs索引、当前关联sbs上一个决策周期的能耗；然后，基于zn,t得到本地历史观测和决策记录其中，tτ表示观测时间长度，a表示飞行决策；q网络将τn,t作为网络输入并输出对应其可选动作个q值；基于输出的q值，无人机将通过ε贪婪策略决定飞行策略an,t＝{vn,t,ηn,t}，其中vn,t与ηn,t分别表示飞行的速度与方向；ε贪婪策略表示无人机n将以εt的概率随机从可选动作中选取一个飞行策略用于探索环境，以1-εt的概率选取对应q值最大的动作作为当前最佳飞行策略；飞行策略执行完毕后进入下一个决策周期并重复上述过程；
9、(2)集中式训练模块
10、为了改进无人机飞行策略，更新无人机本地q网络参数，将在基站部署集中训练模块，其由主网络与目标网络构成；主网络包括n个无人机q网络和一个混合网络qtot，目标网络包括n个无人机目标网络和一个目标混合网络混合网络qtot由两层超网络构成；第一层超网络的权重参数由一层全连接网络产生，其激活函数为绝对值激活函数；第一层超网络的偏置参数由一层全连接网络产生；第二层超网络的权重参数与第一层超网络的权重参数产生方式相同，但其偏置参数由两层全连接网络产生，其中第一层全连接网络的激活函数为relu激活函数；基站端各主网络与各目标网络一一对应且结构相同，基站端部署的n个无人机q网络与n架无人机的本地q网络一一对应且结构相同；
11、集中式训练需要经验数据信息{st,τt,at,rt,st+1,τt+1}，该信息通过无人机分布执行模块与环境交互得到并发送到基站端，存储在具有一定内存大小的记忆单元中，其中表示网络全局状态信息，所含四个元素依次表示为当前决策周期所有无人机位置、所有sbs位置、上一决策周期所有无人机的联合动作、上一决策周期所有agu小区sbs的能耗；rt表示无人机执行飞行决策后环境的反馈奖励值，定义为：
12、
13、其中，为权重系数；为公平性因子，以避免存在用户长期无法得到通信服务；为用户u的通信速率，表示网络总公平吞吐量；en,t与em,t分别表示无人机n与sbsm的能耗，表示网络的总能耗；反馈奖励值rt只有完成阶段一和阶段二才能计算得到；阶段一的无人机飞行策略规划决定了各无人机在网络中的部署位置，即决定了无人机能覆盖用户的范围以及形成的agu小区中的sbs是否具有小区缩放或休眠的能力；阶段二则帮助agu小区中的sbs进行小区缩放或休眠，以降低基站能耗，提高反馈奖励值rt；此外，无人机的飞行能耗会对反馈奖励值产生负面影响，因此各无人机需要精准捕获到网络中满足缩放或休眠的sbs小区，制定合适的飞行策略并为其卸载流量才能产生积极的奖励；
14、每一个决策周期t，无人机都将通过分布式执行模块与环境交互得到经验本文档来自技高网...
【技术保护点】
1.一种基于无人机流量卸载的基站节能方法，其特征在于，首先，考虑到网络中流量需求的时空动态性，为多架无人机建立多智能体强化学习QMIX算法，把从动态环境中获取的本地观测信息映射为联合最优轨迹规划策略，让各无人机飞行到目标地点并在网络中部署，同时与SBS进行关联，形成空地联合AGU小区；然后，通过位势博弈算法，综合能耗和吞吐量双重性能指标为各AGU小区制定用户关联、信道分配和功率控制策略，让SBS实现小区缩放或休眠；整个方案决策是周期制定的，而每个决策周期按时间顺序依次分为两个阶段；阶段一为基于QMIX算法的多无人机轨迹规划阶段；阶段二为基于位势博弈的AGU小区联合策略制定阶段；
【技术特征摘要】
1.一种基于无人机流量卸载的基站节能方法，其特征在于，首先，考虑到网络中流量需求的时空动态性，为多架无人机建立多智能体强化学习qmix算法，把从动态环境中获取的本地观测信息映射为联合最优轨迹规划策略，让各无人机飞行到目标地点并在网络中部署，同时与sbs进行关联，形成空地联合agu小区；然后，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。