基于DRQN的NR-U和WiFi共存网络信道接入初始竞争窗口优化方法技术

本发明专利技术公开了一种基于DRQN的NR

【技术实现步骤摘要】
基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法


[0001]本专利技术涉及无线通信
，尤其是一种基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法。

技术介绍

[0002]随着智能移动设备和各种新兴移动应用的普及，移动通信数据量呈爆炸式增长，给当前的移动蜂窝网络带来了沉重负担。由于频谱资源非常有限，很难通过获取新的授权频段来扩大网络容量。为了应对日益增加的蜂窝网络对频谱资源的需求，3GPP在Release 16中将传统的LTE LAA演进为5G NR
‑
U，使得5G网络能够在非授权频段上运行。当NR
‑
U系统与WiFi系统共享同一个非授权信道时，需要防止NR
‑
U系统的部署导致WiFi系统性能的严重下降。根据3GPP要求，NR
‑
U系统的部署不应对WiFi系统产生比在同一信道上增加一个WiFi系统更大的影响。为了解决这个问题，3GPP建议了两种NR
‑
U和WiFi共存网络信道接入机制，分别为LBT机制和CSAT机制。在5G NR
‑
U系统中，3GPP TR 38.899建议NR
‑
U用户采用CAT4 LBT机制竞争接入非授权信道。
[0003]在NR
‑
U用户竞争接入信道的过程中，NR
‑
U系统如果能够根据当前共存网络的状态自适应地优化并调整初始竞争窗口大小，则能够有效提高NR
‑
U用户的接入概率和NR
‑
U系统的吞吐量。但是，CAT4 LBT机制的随机性使得采用传统优化算法不适用于NR
‑
U用户初始竞争窗口大小的优化。随着人工智能技术的发展，机器学习被越来越广泛地用于解决移动蜂窝网络中的性能瓶颈问题。强化学习是一种典型的机器学习方法，它可以通过与环境的交互获得解决问题的优化策略，适用于动态变化的网络环境。因此，本专利技术将机器学习方法应用于CAT4 LBT机制中NR
‑
U用户初始竞争窗口大小的优化。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，用于解决在NR
‑
U和WiFi共存网络中NR
‑
U系统对WiFi系统的干扰问题，同时提高NR
‑
U系统的吞吐量。
[0005]为解决上述技术问题，本专利技术提供一种基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，该方法包括如下步骤：
[0006](1)初始化当前值网络、目标值网络和经验回放池；
[0007](2)NR
‑
U用户和WiFi节点竞争接入信道。WiFi节点采用CSMA/CA机制竞争接入信道，NR
‑
U用户采用CAT4 LBT机制竞争接入信道；
[0008](3)NR
‑
U用户初始竞争窗口大小优化。到达新的更新周期后，基站根据前一个更新周期内WiFi系统和NR
‑
U系统的吞吐量、共存网络的Jain公平性指数、用户等待队列中剩余的NR
‑
U用户数等参数，优化当前更新周期的初始竞争窗口大小。同时，根据最新的共存网络状态更新DRQN参数。
[0009]本专利技术方法中，步骤(1)中，初始化当前值网络、目标值网络和经验回放池，其步骤包括：
[0010](1.1)随机初始化当前值网络、目标值网络参数；
[0011](1.2)当经验数据样本数未达到经验回放池容量时，根据当前状态s
t
和当前值网络的输出选择动作a
t
。这里，状态定义为一个五元组，表示为：
[0012][0013]其中，W
l
表示前一周期NR
‑
U用户的初始竞争窗口大小，R
l
表示前一周期WiFi系统的吞吐量，R
w
表示前一周期NR
‑
U系统的吞吐量，B为表示前一周期共存网络Jain公平性指数是否满足约束条件的一个二进制参量，表示用户等待队列中剩余的NR
‑
U用户数，表示状态取值构成的集合。
[0014]Jain公平性指数J(R
w
，R
l
)定义为：
[0015][0016]其中，N表示共存网络中的WiFi节点数。为了保证WiFi系统的数据传输需求，共存网络Jain公平性指数应该满足一定约束条件，即：
[0017]J(R
w
，R
l
)＞Θ，
[0018]其中，Θ表示共存网络Jain公平性指数约束条件门限。若共存网络Jain公平性指数满足约束条件，则对应的参量B为1；否则，B为0。
[0019]动作定义为：为NR
‑
U用户选择一个初始竞争窗口大小，即：
[0020][0021]其中，W1，
…
，W
L
表示可选择的初始竞争窗口大小，L表示可选择的初始竞争窗口大小的数目，表示动作取值构成的集合。
[0022](1.3)执行动作a
t
，即选择一个NR
‑
U用户的初始竞争窗口大小；
[0023](1.4)计算奖励获取下一个更新周期状态s
t+1
；
[0024]这里，奖励函数定义为：当NR
‑
U系统吞吐量小于WiFi系统吞吐量时，奖励函数为NR
‑
U系统吞吐量；当NR
‑
U系统吞吐量超过WiFi系统吞吐量时，若共存网络Jain公平性指数满足约束条件，奖励函数为NR
‑
U系统吞吐量；若不满足约束条件，奖励函数为吞吐量的负值，即：
[0025][0026](1.5)将当前经验样本数据储存到经验回放池中，跳转到步骤(1.1)直到经验数据样本数达到经验回放池容量。
[0027]本专利技术中，步骤(2)中，NR
‑
U用户和WiFi节点竞争接入信道，其步骤包括：
[0028](2.1)当一个新的NR
‑
U用户到达共存网络时，先进入用户等待队列等待。若队列已满，则拒绝该用户；
[0029](2.2)WiFi节点采用CSMA/CA机制竞争接入信道，NR
‑
U用户采用CAT4LBT机制竞争接入信道。
[0030]本专利技术中，步骤(3)中，NR
‑
U用户初始竞争窗口大小优化，其步骤包括：
[0031](3.1)获取前一个更新周期内WiFi系统和NR
‑
U系统的吞吐量、用户等待队列中剩余的NR
‑
U用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，其特征在于，包括如下步骤：(1)初始化当前值网络、目标值网络和经验回放池；(2)NR
‑
U用户和WiFi节点竞争接入信道；(3)到达新的更新周期后，基站根据前一个更新周期内WiFi系统和NR
‑
U系统的吞吐量、共存网络的Jain公平性指数、用户等待队列中剩余的NR
‑
U用户数，优化当前更新周期的NR
‑
U用户初始竞争窗口大小，同时，根据最新的共存网络状态更新DRQN参数。2.根据权利特征要求1所述的基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，其特征在于，步骤(1)中，初始化当前值网络、目标值网络和经验回放池，其步骤包括：(1.1)随机初始化当前值网络、目标值网络参数；(1.2)当经验数据样本数未达到经验回放池容量时，根据当前状态s
t
和当前值网络的输出选择动作a
t
；(1.3)执行动作a
t
，即选择一个NR
‑
U用户的初始竞争窗口大小；(1.4)计算奖励获取下一个更新周期状态s
t+1
；(1.5)将当前经验样本数据储存到经验回放池中，跳转到步骤(1.1)直到经验数据样本数达到经验回放池容量。3.根据权利特征要求2所述的基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，其特征在于，步骤(1.2)中，状态定义为一个五元组，表示为：其中，W
l
表示前一周期NR
‑
U用户的初始竞争窗口大小，R
l
表示前一周期WiFi系统的吞吐量，R
w
表示前一周期NR
‑
U系统的吞吐量，B为表示前一周期共存网络Jain公平性指数是否满足约束条件的一个二进制参量，表示用户等待队列中剩余的NR
‑
U用户数，表示状态取值构成的集合；动作定义为：为NR
‑
U用户选择一个初始竞争窗口大小，即：其中，W1,
…
,W
L
表示可选择的初始竞争窗口大小，L表示可选择的初始竞争窗口大小的数目，表示动作取值构成的集合。4.根据权利特征要求3所述的基于DRQN的NR
‑
U和WiFi共存网络信道接入初始竞争窗口优化方法，其特征在于，Jain公平性指数J(R
w
,R

【专利技术属性】
技术研发人员：郑军，姜书瑞，
申请(专利权)人：东南大学，
类型：发明
国别省市：