一种基于强化学习的分布式组网雷达节点位置优化方法技术

本发明专利技术公开了一种基于强化学习的分布式组网雷达节点位置优化方法，涉及雷达探测技术领域。本发明专利技术首先确定分布式组网雷达节点的分布范围、雷达节点数和系统监视区域；然后对分布式组网雷达节点的分布范围进行编码；接着构建分布式组网雷达节点位置优化强化学习环境，设置状态与动作，设计分布式组网雷达节点位置优化奖励函数、优化网络结构及训练参数；对优化网络进行迭代训练；最后，应用训练好的网络进行雷达位置决策，生成最优雷达节点位置组合。本发明专利技术将组网雷达节点位置优化问题从序列决策角度建模，利用强化学习在解决序列决策类问题方面的优势，能够生成最优覆盖范围的雷达节点位置组合。节点位置组合。节点位置组合。

【技术实现步骤摘要】
一种基于强化学习的分布式组网雷达节点位置优化方法


[0001]本专利技术涉及雷达探测
，尤其涉及一种分布式组网雷达节点位置优化方法。

技术介绍

[0002]组网雷达通过其广域分布特性与信号级融合处理方式极大提升了探测性能，尤其增大了探测威力覆盖范围。移动组网雷达节点的分布位置影响着系统整体探测威力覆盖范围，优化节点分布位置可进一步有效提升系统探测能力。
[0003]现有方法通过传统优化手段，包括遗传算法、粒子群算法等对分布式组网雷达节点分布位置进行优化，以提升探测威力范围。
[0004]杨益川在论文《网络化雷达资源管理算法研究》中以粒子群算法优化节点位置，提升覆盖性能。公开号为CN110765586A的专利给出一种基于改进粒子群算法的雷达组网优化布站方法，对粒子群算法进行改进。该类方法虽然计算量小，但难以发挥系统最佳性能。

技术实现思路

[0005]本专利技术针对上述背景中存在的优化能力不足的问题，提供了一种基于强化学习的分布式组网雷达节点位置优化方法。本专利技术将组网雷达节点位置优化问题从序列决策角度建模，利用强化学习在序列决策类问题的优势，生成最优覆盖范围的雷达节点位置组合。
[0006]为了实现上述目的，本专利技术采用的技术方案为：
[0007]一种基于强化学习的分布式组网雷达节点位置优化方法，包括以下步骤：
[0008]步骤1，确定分布式组网雷达节点的分布范围、雷达节点数和系统监视区域；
[0009]步骤2，对分布式组网雷达节点的分布范围进行编码；
[0010]步骤3，构建分布式组网雷达节点位置优化强化学习环境，设置状态与动作；
[0011]步骤4，设计分布式组网雷达节点位置优化奖励函数、优化网络结构及训练参数；
[0012]步骤5，对优化网络进行迭代训练；
[0013]步骤6，应用训练好的优化网络进行雷达位置决策，生成最优雷达节点位置组合。
[0014]进一步地，步骤1的具体方式如下：
[0015]步骤101，考虑雷达布站受到海拔、地形因素的影响，将分布式组网雷达节点的分布范围设置为不规则形状；
[0016]步骤102，在分布范围的右侧设置矩形的系统监视区域；分布范围与监视区域上下齐平，分布范围的最右侧顶点与监视区域相交，且仅有该点与监视区域相交；
[0017]步骤103，确定雷达节点个数。
[0018]进一步地，步骤2的具体方式如下：
[0019]步骤201，将分布式组网雷达节点分布范围以x＝0为界限划分为两部分，左侧为x＜0的部分，右侧为x≥0的部分；
[0020]步骤202，左侧部分将所有位置展开，用[
‑
1,0)进行编码，右侧部分将所有位置展
开，用[0,1]进行编码。
[0021]进一步地，步骤3的具体方式如下：
[0022]步骤301，将分布式组网雷达位置选择作为强化学习的动作，动作输出为x，动作约束为
‑
1≤x≤1；
[0023]步骤302，将监视区域网格化并根据雷达方程计算每个网格信噪比，确定监视状态，得出当前系统监视区域状态矩阵A；将当前系统监视区域状态作为强化学习的状态；当未布站时，系统监视区域状态为全0矩阵。
[0024]进一步地，步骤4的具体方式如下：
[0025]步骤401，定义奖励函数；
[0026]步骤402，设计融合长短期记忆神经网络和近端策略优化算法的优化网络结构，优化网络采用Actor
‑
Critic架构，Actor和Critic分别为一个LSTM，两者网络结构相同，都包含两层隐藏层；
[0027]步骤403，设计训练参数，设置起始学习率、每轮最长训练长度，以及折扣因子，其中每轮最长训练长度与雷达节点个数相同。
[0028]进一步地，步骤6的具体方式如下：
[0029]训练结束后取训练中保存的最优模型进行雷达部署，输出雷达部署方案。
[0030]本专利技术相比
技术介绍
具有如下有益效果：
[0031]1、本专利技术将组网雷达节点位置优化问题从序列决策角度建模，利用强化学习在解决序列决策类问题方面的优势，通过环境构建、奖励设置等步骤完成分布式组网雷达系统的节点位置优化，能够生成最优覆盖范围的雷达节点位置组合。
[0032]2、本专利技术提供了基于强化学习的分布式组网雷达位置优化方法，在具体实施例中给定场景下，100次随机分布(优化前)系统探测威力覆盖平均结果为2457.07，优化后探测威力覆盖面积为4663，覆盖面积获得了89.78％的提升，优化效果显著。
附图说明
[0033]图1是本专利技术实施例中一种基于强化学习的分布式组网雷达节点位置优化方法的流程图；
[0034]图2是本专利技术实施例中雷达节点分布范围示意图；
[0035]图3是本专利技术实施例中优化后雷达节点分布图；
[0036]图4是本专利技术实施例中雷达优化奖励曲线；
[0037]图5是本专利技术实施例中优化雷达节点部署方案的覆盖范围；
[0038]图6是本专利技术实施例中随机布阵试验覆盖面积结果曲线图。
具体实施方式
[0039]下面结合具体实施例对本专利技术做进一步的说明。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。
[0040]一种基于强化学习的分布式组网雷达节点位置优化方法，包括以下步骤：
[0041]步骤1，确定分布式组网雷达节点的分布范围、雷达节点数和系统监视区域；
[0042]步骤2，对分布式组网雷达节点的分布范围进行编码；
[0043]步骤3，构建分布式组网雷达节点位置优化强化学习环境，设置状态与动作；
[0044]步骤4，设计分布式组网雷达节点位置优化奖励函数、优化网络结构及训练参数；
[0045]步骤5，对优化网络进行迭代训练；
[0046]步骤6，应用训练好的网络进行雷达位置决策，生成最优雷达节点位置组合。
[0047]具体而言，步骤1包含如下步骤：
[0048]步骤101：考虑雷达布站受到海拔、地形因素的影响，将分布式组网雷达节点的分布范围设置为不规则形状；
[0049]步骤102：在分布范围右侧设置矩形的系统监视区域；分布范围与监视区域上下齐平，分布范围的最右侧顶点与监视区域相交，且仅有该点与监视区域相交；
[0050]步骤103：确定雷达节点个数。
[0051]步骤2包含如下步骤：
[0052]步骤201：将分布式组网雷达节点分布范围以x＝0为界限划分为两部分，左侧为x＜0的部分，右侧为x≥0的部分；
[0053]步骤202：左侧部分将所有位置展开，用[
‑
1,0)进行编码，右侧部分将所有位置展开，用[0,1]进行编码。
[0054]步骤3包含如下步骤：
[0055]步骤301：将分布式组网雷达位置选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强化学习的分布式组网雷达节点位置优化方法，其特征在于，包括以下步骤：步骤1，确定分布式组网雷达节点的分布范围、雷达节点数和系统监视区域；步骤2，对分布式组网雷达节点的分布范围进行编码；步骤3，构建分布式组网雷达节点位置优化强化学习环境，设置状态与动作；步骤4，设计分布式组网雷达节点位置优化奖励函数、优化网络结构及训练参数；步骤5，对优化网络进行迭代训练；步骤6，应用训练好的优化网络进行雷达位置决策，生成最优雷达节点位置组合。2.根据权利要求1所述的一种基于强化学习的分布式组网雷达节点位置优化方法，其特征在于，步骤1的具体方式如下：步骤101，考虑雷达布站受到海拔、地形因素的影响，将分布式组网雷达节点的分布范围设置为不规则形状；步骤102，在分布范围的右侧设置矩形的系统监视区域；分布范围与监视区域上下齐平，分布范围的最右侧顶点与监视区域相交，且仅有该点与监视区域相交；步骤103，确定雷达节点个数。3.根据权利要求2所述的一种基于强化学习的分布式组网雷达节点位置优化方法，其特征在于，步骤2的具体方式如下：步骤201，将分布式组网雷达节点分布范围以x＝0为界限划分为两部分，左侧为x＜0的部分，右侧为x≥0的部分；步骤202，左侧部分将所有位置展开，用[
‑
1,0)进行编码，...

【专利技术属性】
技术研发人员：朱进，张向荣，郭争强，吕飞飞，刘文旭，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：