基于强化学习的密集网络大规模终端接入与资源分配方法组成比例

本发明专利技术公开了一种基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，包括步骤一，对上行大连接多回程6G异构密集网络场景进行建模，分析用户接入速率与时延；步骤二，基于场景模型建立以最大化接入侧系统吞吐量为目标的用户接入与资源分配优化问题；步骤三，针对优化问题进行求解，提出基于Q学习的大连接多业务网络用户接入资源分配算法；步骤四，利用多智能体合作共享Q表加快问题求解的收敛速度。发明专利技术提出6G弹性覆盖系统多回程链路与功率分配联合优化算法，并且基于强化学习理论提出大规模终端接入与资源分配算法，优化多回程异构网络接入回程链路选择，优化系统资源分配，有效提高网络系统吞吐量。有效提高网络系统吞吐量。有效提高网络系统吞吐量。

【技术实现步骤摘要】
基于强化学习的密集网络大规模终端接入与资源分配方法


[0001]本专利技术涉及移动通信
，特别涉及一种基于强化学习的密集网络大规模终端接入与资源分配方法。

技术介绍

[0002]移动通信技术的快速发展，社会已经跨入了移动新时代，融合了人工智能、卫星通信、区块链等一系列6G(The 6th Generation Mobile Communication System)新兴技术网络逐渐构成。未来的移动网络需要应对巨大的流量，也需要服务多种业务，包括从服务机器到机器通信(低数据速率)业务到高清视频(高数据速率)业务。异构密集网络是5G/6G通信系统最重要的特点之一，其中移动设备可以根据其需求选择最兼容的无线接入技术(Radio Access Technology,RAT)。用户可以通过各种网络连接至互联网，其中许多用户设备都支持多个RATs。用户可以通过使用不同的RAT来选择可用性更好的异构网络服务，并且通过检查服务质量(Quality of Service，QoS)和所收取的价格来选择服务提供商(Service Provider,SP)连接到互联网。异构密集网络通过合理的资源分配算法来提高网络性能，满足网络用户QoS需求。
[0003]随着强化学习领域的发展，学术界已经提出了一些相对成熟的强化学习算法用来解决异构无线网络资源分配、接入与回程管理等方面等问题。针对异构网络中的接入控制问题，有学者提出利用人工智能、机器学习领域的智能算法，解决用户接入基站的相关问题、接入控制问题以及与接入资源分配问题，从满足多业务需求、提高资源分配效率等方面加强网络吞吐能力，提高网络通信性能。但是，面对大量终端连接情况以及更多低延时用户业务的要求，优化系统资源分配自己提高系统吞吐量仍是一个待研究的课题。

技术实现思路

[0004]本专利技术目的：为了满足未来网络中大量终端连接情况以及更多低延时用户业务的要求，异构密集网络需要考虑到网络接入与回程的优化设计问题。将宏基站大范围覆盖到环境中，用户通过接入到微基站，并且微基站通过与宏基站的回程链路连接到核心网，可以快速、高效地部署大规模网络，同时解决网络中流量产生不均的问题。因此本专利技术提出6G弹性覆盖系统多回程链路与功率分配联合优化算法，并且基于强化学习理论提出大规模终端接入与资源分配算法，优化多回程异构网络接入回程链路选择，优化系统资源分配，有效提高网络系统吞吐量。
[0005]本专利技术的技术方案是：一种基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，包括如下步骤:
[0006]步骤一，对上行大连接多回程6G异构密集网络场景进行建模，分析用户接入速率与时延；
[0007]步骤二，基于场景模型建立以最大化接入侧系统吞吐量为目标的用户接入与资源分配优化问题；
[0008]步骤三，针对优化问题进行求解，提出基于Q学习的大连接多业务网络用户接入资源分配算法；
[0009]步骤四，利用多智能体合作共享Q表加快问题求解的收敛速度。
[0010]进一步的，步骤一中，建立一个上行大连接多回程异构密集网络场景模型，该场景由一个宏基站MBS和n个微基站SBS组成，场景中的k个用户随机均匀地分布在网络中，且同时只能接入一个SBS，每个SBS具有三种回程方式，分别为毫米波回程、Mesh回程和卫星回程，并且分别对应SBS的三个回传信道，则网络中共有3n条相互正交的回传信道。
[0011]进一步的，步骤一中，假设在离散时刻t，网络中的第i个用户UE
i
,i∈{1,...,k}接入到SBS
j
,j∈{1,...,n}，则SBS
j
接收端接收到的信号包括UE
i
信号、来自其他用户的干扰、来自SBS的干扰以及热噪声，因此SBS
j
接收信干噪比表示为
[0012][0013]其中，P
i
(t)表示UE
i
的发射功率，P
l
(t)表示第l个SBS的发射功率，P
m
(t)表示第m个UE发射的信号；表示UE
i
到SBS
j
之间的信道增益，表示SBS
j
与SBS
l
之间的信道增益；同样的，表示第m个UE到第j个SBS之间的信道增益，σ2表示零均值正态高斯变量的方差；
[0014]根据香农公式可以得到，t时刻用户UE
i
接入到SBS
j
的接入速率为
[0015]R
ij
(t)＝B
ij
log2(1+SINR
ij
(t))
，
[0016]其中，B
ij
表示SBS
j
分配给用户的接入链路带宽；
[0017]接入到SBS后，SBS将UE
i
传输的数据包在三个回传链路中选择一个进行回传，同样可以根据香农公式得到t时刻归一化回传速率R
i,b
如下
[0018]R
i,b
(t)＝B
j,b
log2(1+SINR
j,b
(t)),b∈{MMW,WMB,SB}，
[0019]其中，B
j.b
表示SBS
j
对应的回程链路带宽，SINR
j,b
(t)表示SBS
j
不同回传链路与MBS的信干噪比，b表示SBS的三种回传信道集合，MMW表示毫米波回传信道，WMB表示无线Mesh信道，SB表示卫星回传信道。
[0020]进一步的，步骤一中，使用c
SBS
表示基站CPU的计算速率，使用c
i
表示用户CPU计算速率，且有c
SBS
＞c
i
；UE
i
将要卸载到SBS服务器的计算任务表示为(f
i
,b
i
)，其中f
i
表示CPU完成UE
i
计算任务所需要的周期数，b
i
表示UE
i
计算任务大小；假设UE
i
业务要求的最大接入时延为则当UE
i
的计算能力满足UE
i
的业务要求时不进行计算任务卸载，反之，当UE
i
的计算能力不满足要求时，将UE
i
的计算任务卸载到最近的SBS进行计算，从而降低UE
i
的业务时延；
[0021]移动终端i计算任务在本地执行完成的时间为将移动终端i计算任务卸载到
SBS
j
执行完成的时间为其中R
ij
表示UE
i
将计算任务传输到SBS
j
的传输速率，UE
i
将计算任务卸载到SBS服务器上进行处理需要满足本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，包括如下步骤:步骤一，对上行大连接多回程6G异构密集网络场景进行建模，分析用户接入速率与时延；步骤二，基于场景模型建立以最大化接入侧系统吞吐量为目标的用户接入与资源分配优化问题；步骤三，针对优化问题进行求解，提出基于Q学习的大连接多业务网络用户接入资源分配算法；步骤四，利用多智能体合作共享Q表加快问题求解的收敛速度。2.根据权利要求1所述的基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，步骤一中，建立一个上行大连接多回程异构密集网络场景模型，该场景由一个宏基站MBS和n个微基站SBS组成，场景中的k个用户随机均匀地分布在网络中，且同时只能接入一个SBS，每个SBS具有三种回程方式，分别为毫米波回程、Mesh回程和卫星回程，并且分别对应SBS的三个回传信道，则网络中共有3n条相互正交的回传信道。3.根据权利要求2所述的基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，步骤一中，假设在离散时刻t，网络中的第i个用户UE
i
,i∈{1,...,k}接入到SBS
j
,j∈{1,...,n}，则SBS
j
接收端接收到的信号包括UE
i
信号、来自其他用户的干扰、来自SBS的干扰以及热噪声，因此SBS
j
接收信干噪比表示为其中，P
i
(t)表示UE
i
的发射功率，P
l
(t)表示第l个SBS的发射功率，P
m
(t)表示第m个UE发射的信号；表示UE
i
到SBS
j
之间的信道增益，表示SBS
j
与SBS
l
之间的信道增益；同样的，表示第m个UE到第j个SBS之间的信道增益，σ2表示零均值正态高斯变量的方差；根据香农公式可以得到，t时刻用户UE
i
接入到SBS
j
的接入速率为R
ij
(t)＝B
ij log2(1+SINR
ij
(t))，其中，B
ij
表示SBS
j
分配给用户的接入链路带宽；接入到SBS后，SBS将UE
i
传输的数据包在三个回传链路中选择一个进行回传，同样可以根据香农公式得到t时刻归一化回传速率R
i,b
如下R
i,b
(t)＝B
j,b
log2(1+SINR
j,b
(t)),b∈{MMW,WMB,SB}，其中，B
j.b
表示SBS
j
对应的回程链路带宽，SINR
j,b
(t)表示SBS
j
不同回传链路与MBS的信干噪比，b表示SBS的三种回传信道集合，MMW表示毫米波回传信道，WMB表示无线Mesh信道，SB表示卫星回传信道。4.根据权利要求3所述的基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，步骤一中，使用c
SBS
表示基站CPU的计算速率，使用ci表示用户CPU计算速率，且
有c
SBS
＞c
i
；UE
i
将要卸载到SBS服务器的计算任务表示为(f
i
,b
i
)，其中f
i
表示CPU完成UE
i
计算任务所需要的周期数，b
i
表示UE
i
计算任务大小；假设UE
i
业务要求的最大接入时延为则当UE
i
的计算能力满足UE
i
的业务要求时不进行计算任务卸载，反之，当UE
i
的计算能力不满足要求时，将UE
i
的计算任务卸载到最近的SBS进行计算，从而降低UE
i
的业务时延；移动终端i计算任务在本地执行完成的时间为将移动终端i计算任务卸载到SBS
j
执行完成的时间为其中R
ij
表示UE
i
将计算任务传输到SBS
j
的传输速率，UE
i
将计算任务卸载到SBS服务器上进行处理需要满足条件：任务本地执行时间超过UE
i
业务要求的最大值且卸载到SBS
j
后的任务执行时间小于业务要求最大值，使用公式表示为否则计算任务将在UE
i
处本地执行；使用μ
i
表示UE
i
是否满足上面的卸载条件，如果满足则μ
i
＝1，否则μ
i
＝0，因此，用户终端i的接入时延τ
i
为5.根据权利要求4所述的基于强化学习的密集网络大规模终端接入与资源分配方法，其特征在于，步骤二中，在大连接多回程异构密集网络场景下，定义在t时刻用户分别接入到SBSs的发射信号向量为那么在满足不同业务用户需求的前提下，以最大化接入侧系统吞吐量为目标的用户接入与资源分配优化问题被表述成如下形式s.t.P
i
(t)≤P
max
,i＝1,...,k,,i＝1,...,k,β
j...

【专利技术属性】
技术研发人员：任伟，顾浩，李庆洋，朱晓荣，
申请(专利权)人：中电佰联通信科技南京有限公司，
类型：发明
国别省市：