【技术实现步骤摘要】
本专利技术涉及电磁频谱信号检测，特别是一种电磁频谱信号检测智能化门限设计方法。
技术介绍
1、快速、准确、高概率、低虚警的检测发现信号是衡量信号侦收设备的重要指标，也是能给用户提供更好体验的基础。当前主要的信号检测方法是门限检测法，即根据电磁频谱的分布，人工设计一条门限值，超过门限值的频谱数据则被检测为信号，低于门限值的则被认为是噪声，这种方法具有一定的自动化处理能力和信号检测精度。然而在复杂电磁环境下，信号复杂多变、底噪分布不均，传统信号检测人工设计门限值的方法存在划定难、自适应差、误检/漏检率高和低信噪比的信号发现难等问题，迫切需要一种根据电磁频谱中信号和底噪的分布，智能化分段给出自适应门限值的方法，提升对信号检测的精度。
技术实现思路
1、鉴于此，本专利技术提供一种电磁频谱信号检测智能化门限设计方法，能根据电磁频谱信号和底噪分布的情况，智能化分段给出自适应信号检测门限值，以提升对信号检测概率和低信噪比信号的发现概率，降低误检率。
2、本专利技术公开了一种电磁频谱信号检测智能化门限设计方法，其包括：
3、步骤1：构建智能决策算法；构建智能决策算法包括构建智能决策算法的算法架构、奖励函数、状态空间、动作空间和交互逻辑；
4、步骤2：构建仿真模拟电磁频谱环境，生成起始频率和终止频率可设定的一维宽带电磁频谱信号，对其进行截取，将总的频谱分为多个频宽的频域一维信号分别进行处理，不足频宽的按照实际带宽进行处理；
5、步骤3：对宽带频谱数据按
6、步骤4：将所有频宽处理结果拼接构成全频段的信号检测门限结果；
7、步骤5：重复步骤2～4，开展智能决策算法与仿真模拟电磁环境的交互式训练，算法收敛后输出得到预训练决策智能体模型，部署预训练决策智能体模型于信号处理设备中，引接实际侦测的一维宽带电磁频谱数据并将其作为步骤2中的一维宽带电磁频谱信号，重复步骤2-5；在一维宽带电磁频谱信号中，超过信号检测门限值的则被判断为信号，低于信号检测门限值的则被认为是噪声。
8、进一步地，采用深度强化学习算法中的近端策略优化算法，即ppo算法，作为智能决策算法的主要算法架构；ppo算法预测的是某个状态下应该采取的最优动作，期望回报j(πθ)的计算公式为：
9、
10、其中，πθ为使用参数为θ的策略函数，ppo算法的学习目标是最大化累计期望奖励r(τ)，t＝(s1，a1，r1，...，at-1，rt-1，st)，τ为时间长度为t的状态、动作和奖励的轨迹，rt是t时刻的奖励，e代表随机变量的期望；其中轨迹τ出现的概率p(τ|θ)计算公式为：
11、
12、其中，at是t时刻的动作，st是t时刻的状态，st+1是t+1时刻的状态，s0是起始状态，ρ0(s0)为起始状态的概率分布，p(st+1|st，at)为根据状态st和动作at，使得状态转移成st+1的概率，π(at|st)为根据随机策略π，状态st时执行动作at的概率；
13、将目标转化为求解策略梯度的过程，的计算公式为：
14、
15、
16、其中，at′为t′时刻执行的动作，st′为t′时刻的状态，τt为t时刻的轨迹；
17、最终的策略梯度计算公式为：
18、
19、策略网络的参数θ的更新方式表示为：α为学习率。
20、进一步地，ppo算法修改目标函数为：
21、j(πθ)＝e[min(rt(θ)aπ(s，a).clip(rt(θ)，1-ε，1+ε)aπ(s，a)]
22、
23、其中，min为取最小值函数，aπ(s，a)为对状态s和动作a的优势估计函数，clip为限制参数的函数，clip定义为：在括号里面有三个参数，如果rt(θ)小于1-ε，则输出1-ε，如果rt(θ)大于1+ε，则输出1+ε，否则输出rt(θ)，ε为超参数；
24、rt(θ)为重要性权重，πθ(at|st)为根据随机策略函数π，在t时刻下的状态s时执行动作a的概率；为根据上一步旧的随机策略函数在t时刻下的状态s时执行动作a的概率；
25、ppo算法的输出是一个动作的类别分布，最终的动作输出a由类别分布随机采样得到；
26、智能决策算法的特征提取网络采用的是多个一维卷积网络层，将提取的特征并分别输入到ppo算法中的actor网络和critic网络，且actor网络和critic网络采用相同网络结构的多层次感知机mlp；参数更新采用adam优化器。
27、进一步地，智能决策算法输出动作a并得到回报r，环境返回下一个频谱态势s′，将(s，a，r，s′)四元组存入经验回放池，之后从经验回放池随机采样进行参数更新，构建形成智能决策算法的交互逻辑；同时，人工制作少量在真实频谱环境中的轨迹样本存入经验回放池中。
28、进一步地，在所述步骤1中，奖励函数r的构建为：
29、漏检设置为-1，虚警设置为-1，检测到信号的情况下根据信号峰值和自适应门限值计算奖励，具体表示为：
30、
31、其中，apeak为当前窗口峰值能量，athreshold为门限值，aavg为当前窗口平均能量；奖励reward是在智能体选择切换窗口时得到的；
32、状态空间构建为：状态空间分为3个部分，总共3k个一维数据点，前k个点为当前滑动窗口中的原始频谱信号，中间k个点为当前滑动窗口中的频域叠加信号，后k个点由当前门限值与原始频谱信号逐点取较大值得到，即信号幅度高于门限的部分；k为正整数。
33、进一步地，在所述步骤1中，动作空间构建为：
34、共设计3种动作类型，皆为离散动作，动作类型包括“是否切换窗口”、“认为该段是否有信号”、“信号门限阈值”；
35、其中“是否切换窗口”动作共2维，0代表不切换滑动窗口，1代表切换滑动窗口；“认为该段是否有信号”动作共2维，0代表认为该段没有信号，1代表认为该段有信号；“信号门限阈值”动作共h维，选值范围是[0，h-1]；在单个滑动窗口内，如果智能体认为窗口中有信号存在，可以选择不断调整门限值的大小，尽量在不划到噪声的前提下发现更多信号，每进行一次调整后可以根据观测选择切换至下一滑动窗口或是继续调整；如果一开始认为窗口中无信号存在，则立即切换至下一窗口；每次动作aciton的选择是从网络输出的离散动作的类别分布中采样得到的，代表着网络预测的某个状态下采取的最优动作action；
36、智能体的动作空间的前q个动作是智能体认为有信号存在的情况下发出的，设当前窗口信号能量最大值为amax，最小值为amin，门限值threshold则为：<本文档来自技高网...
【技术保护点】
1.一种电磁频谱信号检测智能化门限设计方法，其特征在于，包括：
2.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，采用深度强化学习算法中的近端策略优化算法，即PPO算法，作为智能决策算法的主要算法架构；PPO算法预测的是某个状态下应该采取的最优动作，期望回报J(πθ)的计算公式为：
3.根据权利要求2所述的电磁频谱信号检测智能化门限设计方法，其特征在于，PPO算法修改目标函数为：
4.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，智能决策算法输出动作a并得到回报r，环境返回下一个频谱态势s′，将(s,a,r,s')四元组存入经验回放池，之后从经验回放池随机采样进行参数更新，构建形成智能决策算法的交互逻辑；同时，人工制作少量在真实频谱环境中的轨迹样本存入经验回放池中。
5.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，在所述步骤1中，奖励函数r的构建为：
6.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，在所述步骤1中，动作空间构建为：
7.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，所述电磁频谱信号Si(f)由信号Ss(f)、环境背景B(f)、噪声N(f)组成，表示为：
8.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，所述对宽带频谱数据按照时间序列，叠加时间上连续的数据构建形成特征增强的频域增强数据，包括：
9.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，所述将叠加后的频域增强数据和未叠加增强的宽带原始频谱数据进行拼接后输入智能决策算法，智能决策按照滑动窗口的形式分段输出信号检测门限值，包括：
10.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，在所述步骤5中，仿真电磁频谱环境产生模拟的一维频宽电磁频谱数据发送给智能决策算法，智能决策算法根据频谱数据进行认知决策，输出动作action，即移动滑动窗口和门限值，发送给仿真电磁频谱环境，通过交互式训练输出收敛的智能决策网络模型。
...【技术特征摘要】
1.一种电磁频谱信号检测智能化门限设计方法，其特征在于，包括：
2.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，采用深度强化学习算法中的近端策略优化算法，即ppo算法，作为智能决策算法的主要算法架构；ppo算法预测的是某个状态下应该采取的最优动作，期望回报j(πθ)的计算公式为：
3.根据权利要求2所述的电磁频谱信号检测智能化门限设计方法，其特征在于，ppo算法修改目标函数为：
4.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，智能决策算法输出动作a并得到回报r，环境返回下一个频谱态势s′，将(s,a,r,s')四元组存入经验回放池，之后从经验回放池随机采样进行参数更新，构建形成智能决策算法的交互逻辑；同时，人工制作少量在真实频谱环境中的轨迹样本存入经验回放池中。
5.根据权利要求1所述的电磁频谱信号检测智能化门限设计方法，其特征在于，在所述步骤1中，奖励函数r的构建为：
6.根据权利要求1所述的电磁频谱信号检测智能化门限设计方...
【专利技术属性】
技术研发人员：胡超，丛迅超，郑博元，朱子翰，黄德青，尹子杰，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。