一种宽带容量优化方法及装置制造方法及图纸

本发明专利技术公开了一种宽带容量优化方法及装置，该方法包括：以智能可重构表面RIS取代无小区网络中的部分基站，构建RIS辅助无小区网络系统模型；设计RIS辅助无小区网络系统中的联合预编码问题，通过联合优化基站端的有源预编码和RIS端的无源预编码，最大化用户的和速率；并引入辅助变量：RIS的相移矩阵Θ和预编码向量矩阵W，将联合预编码问题转化为Θ和W的优化问题；分别使用深度强化学习算法对相移矩阵Θ和预编码向量矩阵W进行优化，使Θ和W都取最优解，以最大限度地提高用户的和速率性能，实现宽带容量优化。本发明专利技术所提供的宽带容量优化方法可以较好地解决无小区网络的成本和功耗问题。题。题。

【技术实现步骤摘要】
一种宽带容量优化方法及装置


[0001]本专利技术涉及无线通信
，特别涉及一种宽带容量优化方法及装置。

技术介绍

[0002]近年来，智能可重构表面(RIS)作为一种很有前途的技术，引起了业界的广泛关注。RIS是一种全新的革命性技术，它可以通过在平面上集成大量低成本的无源反射元件，智能地重新配置无线传播环境，从而显著提高无线通信网络的性能。具体地，RIS的不同元件可通过控制其幅度和/或相位来独立地反射入射信号，从而协同地实现用于定向信号增强或零陷的精细的三维无源波束形成。
[0003]无小区网络，作为一种新的以用户为中心的网络，利用基站之间的协作，有效地解决传统网络中常见的小区间干扰的问题。在RIS辅助的无小区网络中，如何提高小区内用户的和速率是研究的重点，目前还没有行之有效的解决方案。

技术实现思路

[0004]本专利技术提供了一种宽带容量优化方法及装置，用于在RIS辅助的无小区网络场景下，提高小区内用户的和速率，优化宽带容量。
[0005]为解决上述技术问题，本专利技术提供了如下技术方案：
[0006]一方面，本专利技术提供了一种宽带容量优化方法，包括：
[0007]以智能可重构表面RIS取代无小区网络中的部分基站，构建RIS辅助无小区网络系统模型；其中，在所述系统模型中用户对之间采用RIS通信；
[0008]设计RIS辅助无小区网络系统中的联合预编码问题，通过联合优化基站端的有源预编码和RIS端的无源预编码，最大化用户的和速率；并引入辅助变量：RIS的相移矩阵Θ和预编码向量矩阵W，将联合预编码问题转化为Θ和W的优化问题；
[0009]分别使用深度强化学习算法对相移矩阵Θ和预编码向量矩阵W进行优化，使Θ和W都取最优解，以最大限度地提高用户的和速率性能，实现宽带容量优化。
[0010]进一步地，RIS辅助无小区网络系统为离散时隙系统，RIS辅助无小区网络系统模型建模为马尔可夫决策模型。
[0011]进一步地，所述深度强化学习算法为深度强化学习DRL中的近端策略优化PPO算法。
[0012]进一步地，所述分别使用深度强化学习算法对相移矩阵Θ和预编码向量矩阵W进行优化，使Θ和W都取最优解，以最大限度地提高用户的和速率性能，实现宽带容量优化，包括：
[0013]步骤1，初始化无线设备信息、用户信息以及智能体环境信息，包括：基站最大发射功率P
max
，用户权重η
k
，以及智能体动作和状态；
[0014]步骤2，反复执行以下过程：将当前状态s
t
输入actor
‑
new网络，得到动作a
t
，再输入到环境中得到奖励r
t
和下一步的状态s
t
′
；直至储存预设数量的{s
t
,a
t
,r
t
}；
[0015]其中，子载波p上从基站b到用户k的等效信道表示为：
[0016][0017]式中，G
b,r,p
、分别表示子载波p上从基站b到用户k、从基站b到RISr、从RISr到用户k的频域信道；表示RISr的相移矩阵，R表示RIS数量；
[0018]当前状态考虑一个高斯信道，令z
k,p
表示加性高斯白噪声，则接收信号为：
[0019][0020]式中，y
b,k,p
表示子载波p上从基站b到用户k的基带频域信号，w
b,p,j
表示基站b的预编码向量，s
p,j
表示由w
b,p,j
预编码的频域信号；B表示基站数量；K表示用户数量；
[0021]步骤3，设计求用户和速率的目标函数；
[0022]其中，子载波p在用户k上的信号s
p,k
的信噪比表示为：
[0023][0024]式中，Ξ
k,p
表示加性高斯白噪声方差；
[0025]由此推导出用户的加权和率表达式，即目标函数为：
[0026][0027]式中，Θ＝diag(Θ1,
…
,Θ
R
)；P表示子载波数量；η
k
表示用户权重；
[0028]使所述目标函数成立需要两个约束条件：
[0029][0030]其中，表示RIS反射系数的可行集合；θ
r,n
表示RIS的反射系数；
[0031]步骤4，将存储的所有s
t
,a
t
,r
t
组合输入到critic网络中，计算优势函数：
[0032]其中，优势函数由以下公式计算：
[0033][0034]式中，γ表示折扣因子，s
t
表示当前状态，s
t
′
表示下一状态，a
t
表示当前动作，r
t
′
表示目标函数，γ
t
′‑
t
表示下一时刻和当前时刻折扣因子之差，f
′
(Θ,W)表示下一时刻的目标函数；t
′
表示下一时刻，t表示当前时刻，π(s
t
,a
t
)表示当前环境和动作产生的策略，P(s
t
′
|s
t
,a
t
)表示在当前环境和动作下产生新的环境信息的概率；V
Φ
(s
t
)表示价值函数，由以下公
式计算：
[0035][0036]步骤5，根据贝尔曼方程获得即时奖励进行学习，采用PPO算法实现Θ和W的交替优化学习，求得Θ和W的优化解；以最大限度地提高用户的和速率性能。
[0037]进一步地，所述采用PPO算法实现Θ和W的交替优化学习，求得Θ和W的优化解，包括：
[0038]对预编码向量矩阵W进行优化，计算公式如下：
[0039][0040]式中，y(W)表示目标函数的实际值，表示约束函数；P
W
(a
t
|s
t
)表示未优化W时在环境信息s
t
下产生动作a
t
的概率，表示W优化为W
k
后在环境信息s
t
下产生动作a
t
的概率，表示在优化为W
k
后的优势函数，ε表示限制新旧策略之差的一个参数；
[0041]当算法趋于收敛，终止优化过程，记录W的优化解W
opt
；
[0042]对相移矩阵Θ进行优化，把优化解W
opt
带入目标函数f(Θ,W)，然后对Θ进行优化，当算法趋于收敛，终止优化过程，得到Θ的最优解Θ
opt
。
[0043]另一方面，本专利技术还提供了一种宽带容量优化装置，包括：...

【技术保护点】

【技术特征摘要】
1.一种宽带容量优化方法，其特征在于，包括：以智能可重构表面RIS取代无小区网络中的部分基站，构建RIS辅助无小区网络系统模型；其中，在所述系统模型中用户对之间采用RIS通信；设计RIS辅助无小区网络系统中的联合预编码问题，通过联合优化基站端的有源预编码和RIS端的无源预编码，最大化用户的和速率；并引入辅助变量：RIS的相移矩阵Θ和预编码向量矩阵W，将联合预编码问题转化为Θ和W的优化问题；分别使用深度强化学习算法对相移矩阵Θ和预编码向量矩阵W进行优化，使Θ和W都取最优解，以最大限度地提高用户的和速率性能，实现宽带容量优化。2.如权利要求1所述的宽带容量优化方法，其特征在于，RIS辅助无小区网络系统为离散时隙系统，RIS辅助无小区网络系统模型建模为马尔可夫决策模型。3.如权利要求1所述的宽带容量优化方法，其特征在于，所述深度强化学习算法为深度强化学习DRL中的近端策略优化PPO算法。4.如权利要求3所述的宽带容量优化方法，其特征在于，所述分别使用深度强化学习算法对相移矩阵Θ和预编码向量矩阵W进行优化，使Θ和W都取最优解，以最大限度地提高用户的和速率性能，实现宽带容量优化，包括：步骤1，初始化无线设备信息、用户信息以及智能体环境信息，包括：基站最大发射功率P
max
，用户权重η
k
，以及智能体动作和状态；步骤2，反复执行以下过程：将当前状态s
t
输入actor
‑
new网络，得到动作a
t
，再输入到环境中得到奖励r
t
和下一步的状态s
t
′
；直至储存预设数量的{s
t
，a
t
，r
t
}；其中，子载波p上从基站b到用户k的等效信道表示为：式中，G
b,r,p
、分别表示子载波p上从基站b到用户k、从基站b到RISr、从RISr到用户k的频域信道；表示RISr的相移矩阵，R表示RIS数量；当前状态考虑一个高斯信道，令z
k,p
表示加性高斯白噪声，则接收信号为：式中，y
b,k,p
表示子载波p上从基站b到用户k的基带频域信号，w
b,p,j
表示基站b的预编码向量，s
p，j
表示由w
b，p,j
预编码的频域信号；B表示基站数量；K表示用户数量；步骤3，设计求用户和速率的目标函数；其中，子载波p在用户k上的信号s
p,k
的信噪比表示为：式中，Ξ
k，p
表示加性高斯白噪声方差；
由此推导出用户的加权和率表达式，即目标函数为：式中，P表示子载波数量；η
k
表示用户权重；使所述目标函数成立需要两个约束条件：其中，表示RIS反射系数的可行集合；θ
r,n
表示RIS的反射系数；步骤4，将存储的所有s
t
，a
t
，r
t
组合输入到critic网络中，计算优势函数：其中，优势函数由以下公式计算：式中，γ表示折扣因子，s
t
表示当前状态，s
t
′
表示下一状态，a
t
表示当前动作，r
t
′
表示目标函数，γ
t
′‑
t
表示下一时刻和当前时刻折扣因子之差，f
′
(Θ，W)表示下一时刻的目标函数；t
′
表示下一时刻，t表示当前时刻，π(s
t
，a
t
)表示当前环境和动作产生的策略，P(s
t
′
|s
t
，a
t
)表示在当前环境和动作下产生新的环境信息的概率；V
φ
(s
t
)表示价值函数，由以下公式计算：步骤5，根据贝尔曼方程获得即时奖励进行学习，采用PPO算法实现Θ和W的交替优化学习，求得Θ和W的优化解；以最大限度地提高用户的和速率性能。5.如权利要求4所述的宽带容量优化方法，其特征在于，所述采用PPO算法实现Θ和W的交替优化学习，求得Θ和W的优化解，包括：对预编码向量矩阵W进行优化，计算公式如下：式中，y(W)表示目标函数的实际值，表示约束函数；P
W
(a
t
|s
t
)表示未优化W时在环境信息s
t
下产生动作a
t
的概率，表示W优化为W
k
后在环境信息s
t
下产生动作a
t
的概率，表示在优化为W
k
后的优势函数，ε表示限制新旧策略之差的一个参数；当算法趋于收敛，终止优化过程，记录W的优化解W
opt
；对相移矩阵Θ进行优化，把优化解W
opt
带入目标函数f(Θ，W)，然后对Θ进行优化，当算法趋于收敛，终止优化过程，得到Θ的最优解Θ
opt

【专利技术属性】
技术研发人员：张海君，吴舒勍，刘向南，孙春蕾，李卫，王健全，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：