一种5G多基站天线权值联合优化方法和装置制造方法及图纸

本发明专利技术涉及一种5G多基站天线权值联合优化方法和装置，包括：获取待优化的多个5G基站的状态信息；基于所述状态信息、在包含多个深度Q网络的优化模型上采用UCB探索方式对所述多个5G基站进行天线权值联合寻优，得到所述多个5G基站的最优天线权值。本发明专利技术基于深度集成的不确定性估计以及样本有效置信上限(UCB)搜索策略，在极大的搜索空间下有效地搜索最优协同波束，提高协同波束的优化质量和样本效率。提高协同波束的优化质量和样本效率。提高协同波束的优化质量和样本效率。

【技术实现步骤摘要】
一种5G多基站天线权值联合优化方法和装置


[0001]本专利技术涉及无线通信
，尤其涉及一种5G多基站天线权值联合优化方法和装置。

技术介绍

[0002]Massive MIMO(Massive Multiple Input Multiple Output，大规模多输入多输出天线阵列)技术是5G(5th Generation MobileCommunication Technology，第五代通信技术)中提高系统容量、网络覆盖率和频谱效率的关键性技术，其通过调整基站(BS)中数百个天线的天线权值参数，以形成窄且有方向的高增益信号波束。在MassiveMIMO系统中，密集部署的多个5G基站之间不可避免的存在耦合影响(小区间干扰，ICI)，为减少这种影响，需要对多个基站的波束形成进行协调优化。然而，受天线权值参数取值范围以及天线数目的影响，单个5G基站波束形成时天线权值参数搜索空间非常巨大，多个 5G基站波束协调优化将导致搜索空间的指数增长，在实现上非常困难。
[0003]目前，波束形成优化方法常采用下述三类方式：
[0004]第一类，依赖于解析建模和凸或非凸优化的波速形成优化方法。这类方法提供了一个很好的数学建模框架，但是具有较高的复杂性，在融入复杂的现实世界环境几何或阻塞方面存在困难。
[0005]第二类，利用深度学习和强化学习等机器学习技术的波束形成优化方法。例如，深度神经网络已被用于以监督学习方式直接拟合最优波束形成，或结合蒙特卡罗方法搜索最优波束形成向量。这类方法的缺点是需要耗时的样本数据收集和模型训练开销。
[0006]第三类，采用基于价值函数的强化学习(RL)框架的波束形成优化方法。这类方法通常与用于MIMO通道建模和评估的3D光线跟踪模拟器一起实现，从而能够真实地捕捉环境影响。虽然这类方法在复杂决策任务上取得了巨大成功，但是RL方法也依赖于在模拟或真实环境中广泛的交互式探索和数据收集。由于波束形成矢量优化是一个单阶段优化问题(不同的操作不会改变环境的状态)，使用RL这样的顺序决策方法可能会过度破坏，缺乏样本效率。同时运行高保真3D射线追踪模拟器的成本相对较高，当扩展到多个基站的波束形成协同优化时，用于仿真的计算成本可能会非常昂贵，不可能支持大规模的实际实施。
[0007]总之，当下亟需为多个5G基站波束协调优化提供高性能且低开销的实现方式。

技术实现思路

[0008]本专利技术的目的是提供一种5G多基站天线权值联合优化方法和装置，以解决现有技术中多个5G基站波束协调优化难以实施的问题，实现高性能以及低开销的5G多基站波束协调优化。
[0009]第一方面，本专利技术提供一种5G多基站天线权值联合优化方法，所述方法包括：
[0010]获取待优化的多个5G基站的状态信息；
[0011]基于所述状态信息、在包含多个深度Q网络的优化模型上采用 UCB探索方式对所
述多个5G基站进行天线权值联合寻优，得到所述多个5G基站的最优天线权值。
[0012]根据本专利技术提供的5G多基站天线权值联合优化方法，所述基于所述状态信息、在包含多个深度Q网络的优化模型上采用UCB探索方式对所述多个5G基站进行天线权值联合寻优，得到所述多个5G基站的最优天线权值，包括：
[0013]步骤A：初始化所述优化模型中每一个深度Q网络和迭代步数，并随机设定所述多个5G基站中的每一个5G基站的最优天线权值；
[0014]步骤B：在本次迭代中，将所述多个5G基站随机排序得到相应的排列列表；
[0015]步骤C：将所述排列列表中首个未进行天线权值寻优的5G基站作为目标5G基站；
[0016]步骤D：利用所述状态信息和所述多个5G基站中除所述目标5G 基站之外的其它5G基站的最优天线权值，在所述优化模型上采用 UCB探索方式对所述目标5G基站进行天线权值寻优；
[0017]步骤E：基于所述目标5G基站的天线权值寻优结果更新所述优化模型，并将所述目标5G基站的最优天线权值更新为所述目标5G基站的天线权值寻优结果；
[0018]步骤F：若所述目标5G基站为所述排列列表中最后一个5G基站，则根据上一次迭代结束时所述多个5G基站中的每一个5G基站的最优天线权值再次更新所述多个5G基站中的每一个5G基站的最优天线权值；否则，返回步骤C；
[0019]步骤G：若当前迭代次数等于预设最大迭代次数，则输出此时所述多个5G基站中每一个5G基站的最优天线权值；否则，令迭代步数加1并返回步骤B。
[0020]根据本专利技术提供的5G多基站天线权值联合优化方法，所述步骤D，包括：
[0021]利用所述状态信息和所述多个5G基站中除所述目标5G基站之外的其它5G基站的最优天线权值构成
[0022]将所述输入到所述优化模型的每一个深度Q网络中，以使所述优化模型的每一个深度Q网络根据预设价值函数学习为预存天线权值动作集的每一个天线权值时的Q值；
[0023]计算为预存天线权值动作集的每一个天线权值时所述优化模型中深度Q网络输出的Q值的均值和标准差；
[0024]基于所述均值和标准差，利用预设UCB探索公式在所述天线权值动作集范围内探索
[0025]其中，S＝{S1，
…
，S
i
，
…
，S
n
}，S
i
表示所述多个5G基站中第 i个5G基站的状态信息，表示所述多个5G基站中第i个5G基站的天线权值寻优结果，即目标5G基站的天线权值寻优结果；表示所述多个5G基站中第i个5G基站的天线权值，表示待优化的第f个5G基站天线权值为其最优天线权值,f≠i,f∈(1～n)，n表示待优化的5G 基站的总数。
[0026]根据本专利技术提供的5G多基站天线权值联合优化方法，所述价值函数用来表征Q
k
(S,A)无限逼近r(S,A)；其中，r(S,A)表示(S,A)下的全局奖励，Q
k
(S,A)表示(S,A)下优化模型的第k个深度Q网络输出的Q 值，k∈(1～K)，K为优化模型中深度Q网络的总数；
[0027]所述r(S,A)的表达式如下：
[0028]r(S,A)＝1
‑
αWSC(h
S,A
，ρ)
‑
(1
‑
α)ICI(h
S,A
，ρ)
[0029]上式中，α表示权重因子，WSC(h
S,A
，ρ)表示整体弱信号覆盖， ICI(h
S,A
，ρ)表示小区间干扰，h
S,A
表示由S和A共同决定的信道，ρ表示用户密度，
[0030]所述UCB探索公式的表达式如下：
[0031][0032]上式中，表示为天线权值动作集A
dzj
中的中的和分别表示下所述优化模型中深度Q网络输出的 Q值的均值和标准差，β表示控制探索积极性的超参数。...

【技术保护点】

【技术特征摘要】
1.一种5G多基站天线权值联合优化方法，其特征在于，所述方法包括：获取待优化的多个5G基站的状态信息；基于所述状态信息、在包含多个深度Q网络的优化模型上采用UCB探索方式对所述多个5G基站进行天线权值联合寻优，得到所述多个5G基站的最优天线权值。2.根据权利要求1所述的5G多基站天线权值联合优化方法，其特征在于，所述基于所述状态信息、在包含多个深度Q网络的优化模型上采用UCB探索方式对所述多个5G基站进行天线权值联合寻优，得到所述多个5G基站的最优天线权值，包括：步骤A：初始化所述优化模型中每一个深度Q网络和迭代步数，并随机设定所述多个5G基站中的每一个5G基站的最优天线权值；步骤B：在本次迭代中，将所述多个5G基站随机排序得到相应的排列列表；步骤C：将所述排列列表中首个未进行天线权值寻优的5G基站作为目标5G基站；步骤D：利用所述状态信息和所述多个5G基站中除所述目标5G基站之外的其它5G基站的最优天线权值，在所述优化模型上采用UCB探索方式对所述目标5G基站进行天线权值寻优；步骤E：基于所述目标5G基站的天线权值寻优结果更新所述优化模型，并将所述目标5G基站的最优天线权值更新为所述目标5G基站的天线权值寻优结果；步骤F：若所述目标5G基站为所述排列列表中最后一个5G基站，则根据上一次迭代结束时所述多个5G基站中的每一个5G基站的最优天线权值再次更新所述多个5G基站中的每一个5G基站的最优天线权值；否则，返回步骤C；步骤G：若当前迭代次数等于预设最大迭代次数，则输出此时所述多个5G基站中每一个5G基站的最优天线权值；否则，令迭代步数加1并返回步骤B。3.根据权利要求2所述的5G多基站天线权值联合优化方法，其特征在于，所述步骤D，包括：利用所述状态信息和所述多个5G基站中除所述目标5G基站之外的其它5G基站的最优天线权值构成将所述输入到所述优化模型的每一个深度Q网络中，以使所述优化模型的每一个深度Q网络根据预设价值函数学习为预存天线权值动作集的每一个天线权值时的Q值；计算为预存天线权值动作集的每一个天线权值时所述优化模型中深度Q网络输出的Q值的均值和标准差；基于所述均值和标准差，利用预设UCB探索公式在所述天线权值动作集范围内探索其中，S＝{S1，
…
，S
i
，
…
，S
n
}，S
i
表示所述多个5G基站中第i个5G基站的状态信息，表示所述多个5G基站中第i个5G基站的天线权值寻优结果，即目标5G基站的天线权值寻优结果；表示所述多个5G基站中第i个5G基站的天线权值，表示待优化的第f个5G基站天线权值为其最优天线权值,f≠i,f∈(1～n)，n表示待优化的5G基站的总数。
4.根据权利要求3所述的5G多基站天线权值联合优化方法，其特征在于，所述价值函数用来表征Q
k
(S,A)无限逼近r(S,A)；其中，r(S,A)表示(S,A)下的全局奖励，Q
k
(S,A)表示(S,A)下优化模型的...

【专利技术属性】
技术研发人员：詹仙园，杨爱东，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：