基于MADDPG算法的多波束卫星通信系统资源分配方法技术方案

本发明专利技术涉及一种基于MADDPG算法的多波束卫星通信系统资源分配方法，属于无线通信技术领域。该方法包括以下步骤：S1：建模卫星通信网络模型及业务模型；S2：建模用户关联变量及功率分配变量；S3：建模卫星信道；S4：建模系统吞吐量；S5：建模系统回报函数；S6：建模系统资源分配约束条件；S7：建模系统状态及动作；S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；S9：基于MADDPG算法确定系统资源分配策略。本发明专利技术通过联合优化用户关联和波束功率分配策略，实现系统平均回报最大化。实现系统平均回报最大化。实现系统平均回报最大化。

【技术实现步骤摘要】
基于MADDPG算法的多波束卫星通信系统资源分配方法


[0001]本专利技术属于无线通信
，涉及一种基于MADDPG(Multi
‑
Agent Deep Deterministic Policy Gradient)算法的多波束卫星通信系统资源分配方法。

技术介绍

[0002]近年来，卫星通信系统作为对地面通信网络基础结构的一种补充，以其全球覆盖能力强、通信距离远、抗重大自然灾害、可提供固定及移动通信业务等优点，得到了广泛应用。为提升卫星系统频谱资源利用率及系统传输性能，可采用多波束卫星，通过使用多个高增益窄波束提升用户的覆盖能力，实现频谱复用增益。然而，针对多波束卫星通信系统用户需求多样化以及卫星通信系统拓扑动态性与时空分布不均匀性等特点，如何设计高效用户关联和波束功率分配策略，实现用户服务质量保障及系统性能提升成为重要的研究课题。
[0003]现有研究已经考虑了多波束卫星通信系统的资源分配问题，但是很少有工作针对地面用户的时空分布不同及业务需求不均衡等情况，研究基于系统平均性能优化的资源分配策略。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于MADDPG算法的多波束卫星通信系统资源分配方法，针对包含一个采用数字波束成型技术的多波束高通量卫星及多个卫星用户的多波束卫星通信系统，建模系统平均回报为优化目标，实现用户关联和波束功率分配策略，提高系统综合性能。
[0005]为达到上述目的，本专利技术提供如下技术方案：
[0006]一种基于MADDPG算法的多波束卫星通信系统资源分配方法，包括以下步骤：
[0007]S1：建模卫星通信网络模型及业务模型；
[0008]S2：建模用户关联变量及功率分配变量；
[0009]S3：建模卫星信道；
[0010]S4：建模系统吞吐量；
[0011]S5：建模系统回报函数；
[0012]S6：建模系统资源分配约束条件；
[0013]S7：建模系统状态及动作；
[0014]S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；
[0015]S9：基于MADDPG算法确定系统资源分配策略。
[0016]进一步，步骤S1中所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用S表示，令N表示卫星的波束数目，波束间采用频率复用技术，系统总时间为T，将T分为等长的时隙，每个时隙长度为τ，令P
tot
表示卫星总功率，P
max
表示单个波束最大发射功率，B
tot
表示卫星可用带宽，将总带宽划分为M个等长子信道，则每个子信道的带宽为B
tot
/M，令f
m
表示第m个子信道的载波频率，令k
(x,y)
表示用户存
在变量，k
(x,y)
∈{0,1}，若(x,y)处存在卫星用户，则k
(x,y)
＝1，反之k
(x,y)
＝0；
[0017]所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在L个卫星业务类型，令q
t,l,(x,y)
表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模q
t,l,(x,y)
为正态分布随机变量，均值为μ
l,(x,y)
、方差为令表示t时隙初(x,y)处卫星终端的业务需求总量，其中，Q
t,(x,y)
表示t时隙(x,y)处卫星终端的实际传输吞吐量。
[0018]进一步，步骤S2中所述建模用户关联变量，具体包括：令α
t,n,(x,y)
＝[α
t,n,1,(x,y)
,α
t,n,2,(x,y)
,...,α
t,n,M,(x,y)
]T
表示t时隙波束n与(x,y)处卫星用户关联向量，其中α
t,n,m,(x,y)
∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则α
t,n,m,(x,y)
＝1，反之，α
t,n,m,(x,y)
＝0；
[0019]建模功率分配变量，具体包括：令p
t,n
＝[p
t,n,1
,p
t,n,2
,...,p
t,n,M
]T
表示t时隙波束n的发射功率分配向量，其中p
t,n,m
表示t时隙波束n占用第m个子信道所对应的发射功率。
[0020]进一步，步骤S3中所述建模卫星信道，具体包括：令h
t,n,m,(x,y)
表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，h
t,n,m,(x,y)
建模为其中表示接收天线增益，建模为：
[0021][0022]其中u
t,(x,y)
＝2.07123sin(θ
t,(x,y)
)/sin(θ
3dB
)，θ
t,(x,y)
表示t时隙卫星与(x,y)处接收天线的方位角，θ
3dB
为3dB波束带宽对应的角度，g
max,r
为接收天线最大增益；表示卫星发射天线增益，建模为：
[0023][0024]其中φ
n
为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，其中c为光速，d
t,(x,y)
为t时隙卫星到(x,y)处的距离，表示t时隙卫星到地面链路的雨衰系数。
[0025]进一步，步骤S4中所述建模系统吞吐量，具体包括：令Q
t,n
表示t时隙波束n覆盖区域内的终端实际总吞吐量，则I
t,n,m,(x,y)
为t时隙波束n内占用子信道m的(x,y)处用户受到的波束间干扰，定义为：
令表示t时隙波束n覆盖范围内的需求吞吐量总和，则
[0026]进一步，步骤S5中所述系统回报函数，包括：
[0027]t时隙波束n覆盖区域内系统吞吐量相关的回报函数为：
[0028][0029]其中λ表示奖励因子，Z表示差异阈值，0≤Z≤Ω，其中Ω表示调整参数；
[0030]t时隙卫星覆盖区域内的平均回报函数为：
[0031][0032]进一步，步骤S6中所述建模系统资源分配约束条件，具体包括：
[0033]1)波束发射功率约束：单个波束存在最大发射功率限制，则有：
[0034][0035]波束总发射功率不超过系统总功率，则有：
[0036][0037]2)子信道分配约束：为防止过度的同频干扰，设同一子信道最大重用数为F，则有：
[0038][0039]3)用户关联约束：同一时隙一个地面用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于MADDPG算法的多波束卫星通信系统资源分配方法，其特征在于：包括以下步骤：S1：建模卫星通信网络模型及业务模型；S2：建模用户关联变量及功率分配变量；S3：建模卫星信道；S4：建模系统吞吐量；S5：建模系统回报函数；S6：建模系统资源分配约束条件；S7：建模系统状态及动作；S8：构建并训练多智能体深度确定性策略梯度MADDPG网络；S9：基于MADDPG算法确定系统资源分配策略。2.根据权利要求1所述的基于MADDPG算法的多波束卫星通信系统资源分配方法，其特征在于：步骤S1中所述卫星通信网络模型，包含一个采用数字波束成型技术的多波束高通量卫星及多个用户，卫星覆盖区域用S表示，令N表示卫星的波束数目，波束间采用频率复用技术，系统总时间为T，将T分为等长的时隙，每个时隙长度为τ，令P
tot
表示卫星总功率，P
max
表示单个波束最大发射功率，B
tot
表示卫星可用带宽，将总带宽划分为M个等长子信道，则每个子信道的带宽为B
tot
/M，令f
m
表示第m个子信道的载波频率，令k
(x,y)
表示用户存在变量，k
(x,y)
∈{0,1}，若(x,y)处存在卫星用户，则k
(x,y)
＝1，反之k
(x,y)
＝0；所述卫星业务模型具体包括：假设多波束卫星覆盖区域存在L个卫星业务类型，令q
t,l,
(
x,y
)表示t时隙内(x,y)处到达的第l类卫星业务需求量，建模q
t,l,(x,y)
为正态分布随机变量，均值为μ
l,(x,y)
、方差为令表示t时隙初(x,y)处卫星终端的业务需求总量，其中，Q
t,(x,y)
表示t时隙(x,y)处卫星终端的实际传输吞吐量。3.根据权利要求1所述的基于MADDPG算法的多波束卫星通信系统资源分配方法，其特征在于：步骤S2中所述建模用户关联变量，具体包括：令α
t,n,(x,y)
＝[α
t,n,1,(x,y)
,α
t,n,2,(x,y)
,...,α
t,n,M,(x,y)
]
T
表示t时隙波束n与(x,y)处卫星用户关联向量，其中α
t,n,m,(x,y)
∈{0,1}，若t时隙波束n占用第m个子信道与(x,y)处用户通信，则α
t,n,m,(x,y)
＝1，反之，α
t,n,m,(x,y)
＝0；建模功率分配变量，具体包括：令p
t,n
＝[p
t,n,1
,p
t,n,2
,...,p
t,n,M
]
T
表示t时隙波束n的发射功率分配向量，其中p
t,n,m
表示t时隙波束n占用第m个子信道所对应的发射功率。4.根据权利要求1所述的基于MADDPG算法的多波束卫星通信系统资源分配方法，其特征在于：步骤S3中所述建模卫星信道，具体包括：令h
t,n,m,(x,y)
表示t时隙卫星与位于(x,y)处卫星终端之间的链路占用波束n在第m个子信道的信道增益，h
t,n,m,(x,y)
建模为其中表示接收天线增益，建模为：
其中u
t,(x,y)
＝2.07123sin(θ
t,(x,y)
)/sin(θ
3dB
)，θ
t,(x,y)
表示t时隙卫星与(x,y)处接收天线的方位角，θ
3dB
为3dB波束带宽对应的角度，g
max,r
为接收天线最大增益；表示卫星发射天线增益，建模为：其中φ
n
为波束n对应的天线波束宽度，δ＜＜1，为t时隙卫星到地面(x,y)处在子信道m的自由路径损耗，其中c为光速，d
t,(x,y)
为t时隙卫星到(x,y)处的距离，表示t时隙卫星到地面链路的雨衰系数。5.根据权利要求1所述的基于M...

【专利技术属性】
技术研发人员：柴蓉，刘磊，杨国荣，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：