【技术实现步骤摘要】
本专利技术涉及无人机侦察的，具体涉及一种基于场景分割的无人机认知电子侦察系统。
技术介绍
1、电子侦察用于对辐射源信号的截获、识别和定位，为战场电磁态势的精确感知奠定基础，同时为目标防空体系的干扰以及火力摧毁提供引导信息。
2、电子侦察策略用于指导电子侦察载荷与环境在时域、频域、空域进行交互，实现与侦察平台机动控制的深度融合，达到快速、准确获取辐射源信息的目的。传统的电子侦察设备受限于感知能力和环境适应性，在缺乏先验知识的战场电磁环境中效能发挥不佳；之后引入人工智能技术，可以使电子侦察设备具备学习能力，为弱先验条件下的智能体自主侦察提供解决方案。在多架无人机协同侦察干扰任务中，引入人工智能技术可以优化无人机群在不确定环境中的协同侦察策略，解决动作空间维度高、策略难的问题，优化侦察任务的时变优先级。此外，为了规避目标和地形威胁，提高无人机侦察干扰效率和战场生存能力，一些学者重点研究无人机侦察航线规划。然而，战场电磁态势复杂多变，侦察目标往往具有非合作性，缺乏目标威胁的先验知识。同时，无人机只能通过与环境交互逐步实现对目标威胁的认知，打破弱先验知识导致的局限性。
3、当实际任务区域与训练任务区域的范围差异明显时，实际战场上作战双方的对抗态势瞬息万变，作战区域、作战任务、作战单元时刻可能发生变化，导致策略不适用。利用深度强化学习算法从零开始训练一个切合当前任务环境的模型需要大量时间成本。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于场景分割的无人机认知电子
2、第一方面，本专利技术提供了一种基于场景分割的无人机认知电子侦察系统，包括无人机、侦察任务区域和无人机学习模块；所述无人机的侦察天线波束对准雷达；
3、所述侦察任务区域包括源域模块和目标域模块，将侦察任务区域划分成多个相似的小区域；
4、所述源域模块，用于设置scouter任务交互环境，选取其中一个所述小区域作为scouter任务交互环境，所述无人机对scouter任务交互环境基本信息进行收集、处理，包括但不限于长度、宽度、高度；无人机利用所述深度强化学习算法生成无人机控制策略，并将所述scouter任务交互环境作为源域；
5、所述无人机学习模块包括深度学习算法和差异自适应迁移深度强化学习算法；
6、所述目标域模块用于设置多个scouter2目标域，将除所述源域外所有的所述小区域分别作为scouter2目标域，对scouter2目标域进行深度强化学习，所述无人机对多个scouter2目标域基本信息进行收集、处理，包括但不限于长度、宽度、高度，根据所述scouter任务交互环境和所述scouter2目标域信息差异，利用深度强化学习算法进行适配训练，将所述源域训练好的所述无人机控制策略迁移学习至scouter2目标域中，利用源域和scouter2目标域两个环境的差异来调整策略网络输入，使深度强化学习算法快速收敛，利用所述差异自适应迁移深度强化学习算法，搭建无人机认知电子侦察策略网络；
7、将多个训练好的所述scouter2目标域拼接为侦察任务区域。
8、通过上述技术方案，将侦察任务区域划分成多个scouter2目标域，在单个scouter2目标域利用差异自适应迁移深度强化学习算法，加快了scouter2目标域中无人机学习速度。最后将多个scouter2目标域拼接成为侦察任务区域，使得无人机能够快速启动、优化收敛结果，能够更好地满足认知电子侦察任务的需要，使得无人机的侦察行为表现更加丰富，除了在雷达探测威力外围绕飞和往复绕飞的行为外，还表现出了逃离雷达探测、重复执行侦察任务、快速或平稳调整飞行姿态等行为。
9、第二方面，所述scouter任务交互环境中，雷达负责搜索空中目标并对具有威胁的目标进行锁定和摧毁，利用无人机平台搭载侦察载荷侦察scouter任务交互环境区域的雷达信号；所述雷达探测威力范围近似为火力打击范围，半径设置为da，无人机能够截获雷达信号且安全飞行的区域，宽度设置为dc，无人机机身两侧表示侦察天线的覆盖范围，方位角设置为α，俯仰角设置为β，无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率pt。
10、通过上述技术方案，是实现无人机认知电子侦察任务的基础。
11、第三方面，当所述无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率pt超过灵敏度时，雷达信号可以被无人机侦察载荷截获，是侦察标志位ζn,t，其判决条件为：
12、
13、公式(1)中，dt是地心坐标系中雷达三维空间位置sr,t＝[xr,t,yr,t,zr,t]与无人机三维空间位置su,t＝[xu,t,yu,t,zu,t]的相对矢量距离，表示为dt＝sr,t-su,t；将dt投影到无人机平台坐标系得到lt，再将lt分别投影到三个坐标轴得到距离矢量lt,x，lt,y，lt,z；pr,t是雷达发射功率，gr,t是雷达天线增益，gu,t是无人机侦察天线的增益，λ是信号波长，γ是天线极化损失，da是火力打击距离，dc是无人机有效且安全侦察的距离环宽度；
14、将矢量距离dt与无人机机翼之间的夹角定义为行为角θbha，描述侦察天线对雷达的对准情况：
15、θbha＝deg(arc cos<vmovlt>)-90 (2)，
16、公式(2)中vmov表示无人机速度的单位矢量,将θbha分别在无人机平台坐标系的xoy平面和yoz平面投影得到角度|θbha|xoy和|θbha|yoz，ζn,t的判决条件改写为：
17、
18、完成长时间连续侦察任务的关键是雷达信号连续被截获；mi是截获周期个数，其判决条件为：
19、
20、公式(4)中，ne表示每个剧集中允许的最大步数，q表示雷达接收和处理回波的误差；
21、通过公式(1)和(4)得出，完成无人机认知电子侦察任务的关键是让无人机学习到矢量距离dt集合δ；
22、在一个观察周期时间τ内，设定无人机平台作恒加速运动，则矢量距离dt的变化量δdt由无人机平台机动来实现；通过控制无人机平台在t时刻的加速度矢量au,t控制δdt的变化；所述无人机认知电子侦察任务策略的关键是优化加速度au,t，目标函数为：
23、
24、公式(5)中，λ1、λ2、λ3、η1、η2、η3代表调节系数，取值均大于0；无人机认知电子侦察任务通过控制加速度au,t来最小化目标函数j(au,t)；将au,t分别投影到无人机平台的方位平面和俯仰平面上得到方位方向加速度aα,t和俯仰加速度aβ,t；无人机认知电子侦察任务策略就是优化aα,t和aβ,t的取值，控制无人机平台机动。
25、通过采用上述技术方案，通过公式(1)和(4)可以本文档来自技高网...
【技术保护点】
1.一种基于场景分割的无人机认知电子侦察系统，包括无人机，其特征在于，还包括侦察任务区域和无人机学习模块；所述无人机的侦察天线波束对准雷达；
2.根据权利要求1所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述Scouter任务交互环境中，雷达负责搜索空中目标并对具有威胁的目标进行锁定和摧毁，利用无人机平台搭载侦察载荷侦察Scouter任务交互环境区域的雷达信号；所述雷达探测威力范围近似为火力打击范围，半径设置为Da，无人机能够截获雷达信号且安全飞行的区域，宽度设置为Dc，无人机机身两侧表示侦察天线的覆盖范围，方位角设置为α，俯仰角设置为β，无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率Pt。
3.根据权利要求2所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，当所述无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率Pt超过灵敏度时，雷达信号可以被无人机侦察载荷截获，是侦察标志位ζn,t，其判决条件为：
4.根据权利要求3所述的一种基于场景分割的无人
5.根据权利要求2所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，无人机认知电子侦察任务的部分为可观测马尔可夫策略过程，无人机认知电子侦察任务的部分可观测马尔可夫策略过程用一个六元组<∑，Ο，A，F，R，γ>描述；□是无人机和雷达实际状态的集合Σr是雷达位置集合，Σr是无人机位置集合，是无人机速度集合，Π是无人机截获的雷达信号功率集合，Ο是无人机观测到的状态集合无人机处理截获的雷达信号时会加入一定的系统噪声，观测到的雷达状态与实际值存在偏差，是有偏差的无人机与雷达之间的矢量距离集合，是无人机与雷达视线方向单位矢量与无人机速度方向单位矢量偏差的集合，是无人机截获的有偏差的雷达信号功率集合；A是无人机侦察策略动作集合Aα是方位向加速度集合，Aβ是俯仰向加速度集合；F是状态转移函数，R是奖励函数，γ是折扣系数；在时刻t，真实环境状态无人机观测到的状态经过所述无人机控制策略网络，输出执行策略π，选择动作以转移函数转移到状态得到相应的奖励R(st+1,at,st)；在执行侦察任务时间段T内，用所述执行策略π能获得的累计奖励期望来评价其优劣：
6.根据权利要求5所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述迁移学习的目的是将在源域Δs和学习任务Ts中获得的知识迁移到Scouter2目标域Δs帮助Scouter2目标域中学习任务Tg获得更好的学习效果；Scouter任务交互环境中，无人机认知电子侦察任务的策略过程用六元组∑sσ,Οsσ,Asσ,Fsσ,Rsσ,γsσ>来描述；Scouter2目标域中，用六元组∑gσ，Οgσ,Agσ,Fgσ,Rgσ,γgσ>来描述；∑s*As构成了源域Δs，Fs和Rs决定了学习任务Ts的目标；将迁移深度强化学习问题分为“源域与Scouter2目标域不同，学习任务相同”、“源域与Scouter2目标域相同，学习任务不同”两种情况。
7.根据权利要求6所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述深度强化学习为差异自适应迁移深度强化学习算法，所述深度强化学习包括奖赏赋型和差异自适应归一化观测状态，其中，奖励函数公式为：
8.根据权利要求7所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述差异自适应归一化观测状态包括目标域与源域的任务区域范围变化、目标域与源域的无人机速度范围变化以及目标域与源域的侦察任务难度变化；
9.根据权利要求8所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，还包括仿真实验模块，所述仿真实验模块，通过改变Scouter任务交互环境中任务区域范围、无人机机动速度范围、任务难度，设置三组实验来检验差异自适应迁移的深度强化学习算法的学习效果。
...【技术特征摘要】
1.一种基于场景分割的无人机认知电子侦察系统，包括无人机，其特征在于，还包括侦察任务区域和无人机学习模块；所述无人机的侦察天线波束对准雷达；
2.根据权利要求1所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述scouter任务交互环境中，雷达负责搜索空中目标并对具有威胁的目标进行锁定和摧毁，利用无人机平台搭载侦察载荷侦察scouter任务交互环境区域的雷达信号；所述雷达探测威力范围近似为火力打击范围，半径设置为da，无人机能够截获雷达信号且安全飞行的区域，宽度设置为dc，无人机机身两侧表示侦察天线的覆盖范围，方位角设置为α，俯仰角设置为β，无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率pt。
3.根据权利要求2所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，当所述无人机的天线主瓣波束的方位角α和俯仰角β覆盖雷达，无人机侦察载荷接收到的雷达信号功率pt超过灵敏度时，雷达信号可以被无人机侦察载荷截获，是侦察标志位ζn,t，其判决条件为：
4.根据权利要求3所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，所述小区域数量为三块，选择其中一块尺寸为75km×75km的区域进行深度强化学习，学习侦察策略au,t；在一个观察周期时间τ内，侦察策略au,t会产生矢量距离dt的变化量为δdt；δdt由所述无人机认知电子侦察策略网络和无人机机动性能决定，与侦察任务区域尺寸无关；策略结果δdt在所述侦察任务区域中与相对变化量δt的关系，如公式(6)所示
5.根据权利要求2所述的一种基于场景分割的无人机认知电子侦察系统，其特征在于，无人机认知电子侦察任务的部分为可观测马尔可夫策略过程，无人机认知电子侦察任务的部分可观测马尔可夫策略过程用一个六元组<∑，ο，a，f，r，γ>描述；□是无人机和雷达实际状态的集合σr是雷达位置集合，σr是无人机位置集合，是无人机速度集合，π是无人机截获的雷达信号功率集合，ο是无人机观测到的状态集合无人机处理截获的雷达信号时会加入一定的系统噪声，观测到的雷达状态与实际值存在偏差，是有偏差的无人机与...
【专利技术属性】
技术研发人员：张云，闫云斌，俞文文，韩凯，索灿，刘杰，鲍雷杰，匡加伦，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。