一种毫米波通信系统中智能波束训练方法及预编码系统技术方案

本发明专利技术公开了一种毫米波通信中智能波束训练方法及预编码系统，该智能波束训练方法利用信道的时空相关性，通过感知环境的变化以确定最佳波束所在的码本区间。具体地，本发明专利技术利用马尔科夫决策过程(MDP)进行对问题进行建模；基于深度强化学习进行求解，创新性地构造图形化的状态空间以有效利用信道波束空间的结构信息，还提出差分化的动作空间以提高学习效率和收敛速度。本发明专利技术设计的智能波束训练方法能够感知环境的变化速率，并自适应地调整波束训练区间，这不仅降低了波束训练开销，同时有效地提高了系统的吞吐量。

An intelligent beam training method and precoding system in millimeter wave communication system

【技术实现步骤摘要】
一种毫米波通信系统中智能波束训练方法及预编码系统
本专利技术属于无线通信领域，尤其涉及一种毫米波通信系统中智能波束训练方法预编码系统。
技术介绍
由于带宽短缺，移动数据需求的爆炸式增长给无线服务提供商克服带来前所未有的挑战。毫米波作为一项关键技术，由于其大带宽特性可以满足高速数据业务的需求，引起了人们的广泛关注。与微波相比，毫米波信号由于波长短导致更严重的路径损耗，但可以通过在接收/发送端安装大规模天线阵列以抵消路径损耗。考虑到射频(RF)链路的功耗和造价成本，毫米波通信系统通常采用混合模数架构，其中RF链路的数量远远少于天线数。在已有的混合预编码设计的工作中，大部分需要利用获得完全的信道状态信息(CSI)。在具有较多天线的毫米波通信系统中，估计信道信息需要大量的开销，CSI很难获取到。尤其是在移动等动态环境下，CSI的获取变得更加困难。获取信道信息的一般方法是充分利用毫米波信道的稀疏特性，通过波束训练获取等效CSI信息，而不是直接获取CSI。在波束训练阶段，发送端/接收端可以基于码本通过分层搜索、穷搜和自适应的方式确定最优模拟域波束，但是此类方案主要适用于单用户单流传输的场景中。在大规模天线阵列系统使用上述搜索方式会造成极大的波束训练开销。特别是在动态或时变场景中，为获取高速的传输速率要求频繁切换波束，但快速变化的毫米波信道由于相干时间短而无法实现频繁而精确地波束训练，这也为波束训练带来挑战。
技术实现思路
专利技术目的：应对快速变化毫米波信道带来的挑战和针对现有技术中存在的问题，本专利技术旨在提出一种毫米波通信系统中智能波束训练方法预编码系统。基站通过接收用户反馈的等效信道确定最优波束所在的波束区间，基于该区间求解出最优混合预编码，并对预处理后的数据进行传输。该方法能自适应地根据环境状态信息确定动作，缩小波束的训练空间，能有效地降低波束训练开销，同时还可以提高系统的有效传输速率和吞吐量。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种毫米波通信系统中智能波束训练方法，包括如下步骤：步骤(1)：利用MDP过程为毫米波通信系统中的波束训练问题进行建模。本步骤中，首先介绍毫米波通信系统模型，然后给出利用马尔科夫决策过程(MDP)为波束训练问题的数学建模。步骤(1.1)：毫米波通信系统模型。在毫米波通信系统中，假设存在一个配备有N根天线和U条射频链路(RF)的基站，U个运动单天线用户，用户构成的集合用表示。毫米波通信系统中全数字预编码实现成本高，所以通常采用混合模拟预编码和数字预编码对信号进行预处理。实际上，模拟预编码A通常基于预先给定的码本进行设计，即模拟预编码A中的每一列都是从码本中选出的码字(波束)，其中，fi表示码本中的第i个码字，M表示码本中码字的数量。假设基站与用户u之间的信道矢量为那么在用户u端接收信号表达为：其中，su,sv表示发送给用户u和v的导频符号/数据，vu,vv表示对发送给用户u和v的所用的数字预编码矢量，wu表示在用户u接收到的复高斯噪声。由于精确的信道矢量的获取极其困难，通常使用波束训练的方式估计等效信道矢量hu，波束训练是指依次在码本不同的码字上发送导频信号得到等效信道矢量。码本可以表示成一个复矩阵则等效信道信息可以表达成：模拟预编码A可以用码本复矩阵F与一个选择矩阵B表示，即A＝FB，其中，B是一个M×M对角矩阵，若选择码本中第k码字，则选择矩阵B中的第k个对角元素为1，否则为0。公式(1.1)中的信号表达可以等效为：设噪声wu的能量为σ2，用户u的信干噪比可以表示为：步骤(1.2)：利用MDP过程对毫米波通信中的波束训练问题进行数学建模。根据公式(1.2)，等效信道信息的获取要求在整个码本空间进行波束训练，这样将造成大量的训练开销。尤其在快变信道情况下，频繁的波束训练占用大部分时间，使得数据有效传输时间大大较少，系统吞吐量同样将降低。为了降低训练开销，一种有效的方法是减小波束训练的空间。利用MDP进行建模，创新性地构造图形化的状态空间以有效利用信道波束空间的结构信息，还提出差分化的动作空间以提高学习效率和收敛速度，在t时隙的动作、状态、奖励和Q值函数分别定义如下：动作：确定波束训练区间的整数对(at,bt)＝((a1,t,b1,t),(a2,t,b2,t),...,(aU,t,bU,t))，其中，au,t是用户u在t时隙与t-1时隙最优波束索引的差分值，反映环境的平均变化速率；bu,t是t时隙所确定波束区间内波束的数量，反映环境变化的方差。那么，波束搜索从原来的整个空间缩小为其中，表示在时隙t所有用户进行波束训练的波束空间，表示用户u在时隙t进行波束训练的波束空间，是的一个子集，若用户u在t-1时隙的最优波束索引为ku，t时隙的动作为(au,t,bu,t)，则状态：前c个时隙的历史波束训练结果(即等效信道信息)组成的“图像”，表示为St＝[It-c,It-c+1,...,It-1]，其中，It＝[I1,t,I2,t,...,IU,t]∈RM×U，Iu,t中的第i个元素Iu,t(i)与等效信道矢量的第i个元素hu,t(i)满足：Iu,t(i)＝|hu,t(i)|。以系统中存在两个用户为例，图5是状态设计直观表示。这样设计的状态可以更好地感知外界环境变化，从而更有效地挖掘有用的信息。奖励：当前时隙的平均可达速率即rt＝Rt。如图2所示，每个时隙包括决策时间、波束训练时间、混合模拟和数字预编码求解时间、数据传输时间和神经网络更新时间，波束训练的目标是确定最佳模拟波束和数字预编码矩阵以提高系统的传输速率。考虑到数据传输时间占用部分时隙，故采用平均可达速率Rt作为性能指标，平均可达速率定义为：其中，ts、td、tp、tl和tC分别表示一个决策时间、波束训练时间、混合预编码求解的时间、神经网络参数更新时间，以及每个时隙的总时间。这里，模拟预编码的设计准则是选择使得等效信道矩阵增益最大的码字，即若则选择第ku个码字作为用户u的模拟预编码矢量，进而确定选择矩阵B。数字预编码的设计需要求解以下优化问题：其中(1.6)的第一个式子表示和速率最大化的目标，SINRu由(1.4)定义，第二个式子表示功率约束，即混合预编码的功率不超过基站的最大发射功率P，ft即为t时隙的最优波束和数字预编码矩阵下的可达速率，即上述问题的优化目标。Q值函数：在当前状态St下执行动作(at,bt)所能取得的折扣累积奖励，用来衡量决策的优劣，Q函数表达式如下：其中，E是取期望操作，γ为折扣因子，rt+k表示在时隙t+k的奖励。那么，该问题可以描述成找到一个决策使得折扣累积奖励最大化，即根据当前状态，确定波束训练区间使得折扣累积等效传输速率最大。步骤(2)：利用深度强化学习求解步骤(1)中的MDP问题，需要搭建多层神经网络以拟合Q值函数(1.7)。神经网络具有强大的能力，其本质是一个带参数的非线性函数，能逼近任本文档来自技高网...

【技术保护点】
1.一种毫米波通信系统中智能波束训练方法，其特征在于，该方法包括如下步骤：/n步骤(1)利用MDP过程为毫米波通信系统中的波束训练问题进行建模，设计图形化的状态，差分化的动作，有效传输速率奖励，并构建Q值函数；/n步骤(2)确定初始状态，即在前c时隙求解出所有用户的最优波束；/n步骤(3)搭建神经网络并初始化神经网络参数以拟合步骤(1)中所定义的Q值函数；/n步骤(4)在时隙t，根据当前状态为S

【技术特征摘要】
1.一种毫米波通信系统中智能波束训练方法，其特征在于，该方法包括如下步骤：
步骤(1)利用MDP过程为毫米波通信系统中的波束训练问题进行建模，设计图形化的状态，差分化的动作，有效传输速率奖励，并构建Q值函数；
步骤(2)确定初始状态，即在前c时隙求解出所有用户的最优波束；
步骤(3)搭建神经网络并初始化神经网络参数以拟合步骤(1)中所定义的Q值函数；
步骤(4)在时隙t，根据当前状态为St和当前神经网络参数为θt确定差分动作以确定最优波束所在的区间；
步骤(5)在时隙t，对步骤(4)中所确定的波束区间进行训练确定模拟预编码At和选择矩阵Bt，求解所有用户在时隙t对应的数字预编码vu,t，进而得到系统的和速率ft和奖励rt；
步骤(6)根据深度强化学习，通过不断与环境交互，对神经网络参数进行更新；
步骤(7)基于上述步骤的交互过程，基站存储时隙t与环境交互所得到状态、动作和奖励样本信息，t＝t+1，下一个时隙开始，重复步骤(4)-(7)。


2.根据权利要求1所述的一种毫米波通信系统中智能波束训练方法，其特征在于，步骤(1)的方法如下：
步骤(1.1)：毫米波通信系统模型
在毫米波通信系统中，假设存在一个配备有N根天线和U条射频链路的基站，U个运动单天线用户，用户构成的集合用表示，采用混合模拟预编码和数字预编码对信号进行预处理，模拟预编码A基于预先给定的码本进行设计，即模拟预编码A中的每一列都是从码本中选出的码字，其中，fi表示码本中的第i个码字，M表示码本中码字的数量，假设基站与用户u之间的信道矢量为在用户u端接收信号表达为：



其中，su,sv表示发送给用户u和v的导频符号/数据，vu,vv表示对发送给用户u和v的所用的数字预编码矢量，wu表示在用户u接收到的复高斯噪声；
使用波束训练的方式估计等效信道矢量hu，波束训练是指依次在码本不同的码字上发送导频信号得到等效信道矢量，码本可以表示成一个复矩阵则等效信道信息表达成：



模拟预编码A可以用码本复矩阵F与一个选择矩阵B表示，即A＝FB，其中，B是一个M×M对角矩阵，若选择码本中第k码字，则选择矩阵B中的第k个对角元素为1，否则为0，公式(1.1)中的信号表达可以等效为：



设噪声wu的能量为σ2，用户u的信干噪比可以表示为：



步骤(1.2)：利用MDP过程对毫米波通信中的波束训练问题进行数学建模
动作：确定波束训练区间的整数对(at,bt)＝((a1,t,b1,t),(a2,t,b2,t),...,(aU,t,bU,t))，其中，au,t是用户u在t时隙与t-1时隙最优波束索引的差分值，反映环境的平均变化速率；bu,t是t时隙所确定波束区间内波束的数量，反映环境变化的方差，波束搜索从原来的整个空间缩小为其中，表示在时隙t所有用户进行波束训练的波束空间，表示用户u在时隙t进行波束训练的波束空间，是的一个子集，若用户u在t-1时隙的最优波束索引为ku，t时隙的动作为(au,t,bu,t)，则
状态：前c个时隙的历史波束训练结果组成的图像，表示为St＝[It-c,It-c+1,...,It-1]，其中，It＝[I1,t,I2,t,...,IU,t]∈RM×U，Iu,t中的第i个元素Iu,t(i)与等效信道矢量的第i个元素hu,t(i)满足：Iu,t(i)＝|hu,t(i)|；
奖励：当前时隙的平均可达速率即rt＝Rt，平均可达速率定义为：



其中，ts、td、tp、tl和tC分别表示一个决策时间、波束训练时间、混合预编码求解的时间、神经网络参数更新时间，以及每个时隙的总时间；
模拟预编码的设计准则是选择使得等效信道矩阵增益最大的码字，即若则选择第ku个码字作为用户u的模拟预编码矢量，进而确定选择矩阵B，数字预编码的设计需要求解以下优化问题：



其中，(1.6)的第一个式子表示和速率最大化的目标，SINRu由(1.4)定义，第二个式子表示功率约束，即混合预编码的功率不超过基站的最大发射功率P，ft即为t时隙的最优波束和数字预编码矩阵下的可达速率，即上述问题的优化目标；
Q值函数：在当前状态St下执行动作(at,bt)所能取得的折扣累积奖励，用来衡量决策的优劣，Q函数表达式如下：



其中，E是取期望操作，γ为折扣因子，rt+k表示在时隙t+k的奖励，该问题可以描述成找到一个决策使得折扣累积奖励最大化，即根据当前状态，确定波束训练区间使得折扣累积等效传输速率最大。


3.根据权利要求2所述的一种毫米波通信系统中智能波束训练方法，其特征在于，步骤(2)的...

【专利技术属性】
技术研发人员：黄永明，章建军，徐春梅，尤肖虎，
申请(专利权)人：东南大学，网络通信与安全紫金山实验室，
类型：发明
国别省市：江苏;32