一种基于多模态Q学习的无人机定位干扰源系统及方法技术方案

一种基于多模态Q学习的无人机定位干扰源系统及方法，提出了一种基于模式识别和Q学习相结合的多模态Q学习干扰源查找定位算法，该算法包括两大核心功能单元：多模态识别单元及Q学习单元，通过多模态识别单元对无人机搭载的电扫描天线检测所得数据进行分析，确定当前环境模态，从而实时调整Q学习算法参数以及无人机飞行步长，实现对检测距离、定位精度、定位时间的优化。本发明专利技术将模式识别思想与传统Q学习方法相结合，实现学习算法能够随环境变化动态可调，从而能够在环境噪声未知，干扰源信息未知的情况下实现对干扰源的远距离、快速、高精度定位。

A system and method of UAV location interference source based on multimodal Q-learning

【技术实现步骤摘要】
一种基于多模态Q学习的无人机定位干扰源系统及方法
本专利技术属于机器学习和频谱监测
，具体涉及一种基于多模态Q学习的无人机定位干扰源系统及方法。
技术介绍
近年来，随着无线通信技术日益发展，干扰源对许多领域也产生了日趋严峻的影响，如干扰航空铁路通信，干扰广播信号，干扰重大赛事活动，严重危害社会安全，造成重大财产损失。然而，传统地面检测定位由于易受多径效应影响，定位精度低，速度慢。卫星定位则存在成本高，定位方式复杂且无法实现全天候定位的问题。而无人机平台则有成本低，灵活性强，具有一定载荷能力且飞行范围在低空的特性，可以降低多径效应影响。对于定位干扰源问题，在现实检测定位中，无人机所处环境复杂多变，例如噪声随机不固定，且干扰源发射信号功率随距离衰减。因此，一个关键的技术挑战是，如何让定位算法具有环境适应能力，且能够在对干扰源信息位置的情况下实现高精度，远距离，低耗时的干扰源定位。然而，现有大部分基于无人机平台的干扰源定位算法需要借助额外地面辅助设备或者需要提前了解环境、干扰源情况，而在现实定位检测中通常无法满足，而已有的无模型算法则多以天线接收功率作为无人机状态划分条件，在检测值超出预定值时，算法无法正常工作。同时，如果仅使用单一算法，对于复杂多变的环境，算法难以适应环境变化，易导致定位效率低下。因此，设计一种能够自适应环境，且高效、实际应用范围广的无人机定位干扰源方法就很有必要。
技术实现思路
本专利技术针对现有技术中的不足，提供一种基于多模态Q学习的无人机定位干扰源系统及方法。为实现上述目的，本专利技术采用以下技术方案：一种基于多模态Q学习的无人机定位干扰源系统，其特征在于，包括：数据检测器、数据处理器、无人机平台和地面终端；所述数据检测器和数据处理器搭载在无人机平台上，数据检测器实时检测、获取环境数据，数据处理器根据数据检测器所得结果对环境数据进行处理分析，决定无人机的飞行方向和飞行步长，以及判断是否找到干扰源；所述无人机平台根据数据处理器给出的指令，执行飞行动作；所述地面终端接收实时检测数据、处理分析数据及无人机位置信息。为优化上述技术方案，采取的具体措施还包括：进一步地，所述数据检测器包括GPS模块和电扫描天线。进一步地，所述数据处理器包括多模态识别单元和Q学习单元，多模态识别单元包括对环境数据的感知以及基于模式识别思想的模态识别，Q学习单元根据多模态识别单元识别出的当前模态实现对Q学习算法的动态调整，确定无人机的飞行方向和飞行步长，并根据停止条件判断是否找到干扰源。进一步地，所述多模态识别单元包括数据感知模块和模态识别模块，所述数据感知模块获取环境数据，对环境数据进行感知分析，所述模态识别模块通过模式识别的方法对感知的环境数据进行模态划分，划分方式如下：f(d)＝{d→E}|{d＝D(d1，d2，d3…dn)，E＝{E1，E2，E3…En}}其中，d＝D(d1，d2，d3…dn)为无人机在当前状态下感知分析到的数据，{E1，E2，E3…En}为事先确定的模态，无人机当前具体模态E由模态识别函数f(d)确定是否达到某模态Ek的标准。进一步地，所述Q学习单元包括回报函数模块、Q表更新模块和行为模块，所述回报函数模块采集用于模态识别判断的数据并根据当前所在模态及其对应的回报函数对数据进行处理，将处理后的数据作为Q学习回报值，回报函数动态可调，对于状态s与动作a，回报值r(s，a)表示为：r(s，a)＝REi(a)其中，REi(a)是根据当前环境调整即时回报函数所得出的回报值；所述Q表更新模块根据当前模态、状态及Q函数对Q表进行更新，Q函数为：QE(s，：)←QE(s，：)+αE[rE(s，：)+γmax(QE(s′，：))-QE(s，：)]其中，rE(s，：)是可调的回报函数所得回报值，αE为随模态改变动态调整的学习速率，γ是损失值常数，QE(s，：)为Q值，下标E表示当前模态，：代表整行，QE(s′，：)为上一状态Q值，其更新范围随模态改变而调整，表示为UEi；Q表更新模块还根据当前模态调整无人机步长；Q表更新模块在更新完成后，选择更新范围内最大Q值对应动作a*作为飞行方向：在动作确定后，行为模块根据模态调整确定无人机行为，表示为：m＝MEi(a*)其中，MEi(a*)为行为函数，根据飞行步长和飞行方向，确定无人机下一状态时的位置；当电扫描天线垂直扫描最大值对应角度v到达停止角度时，所述行为模块认为无人机找到干扰源，结束当前定位流程，将定位结果传输至地面终端。此外，本专利技术还提出了一种采用如上所述的基于多模态Q学习的无人机定位干扰源系统的定位方法，其特征在于，包括如下步骤：1)根据无人机所在环境确定n个模态{E1，E2，E3…En}及转换条件f(d)＝{d→E}|{d＝D(d1，d2，d3…dn)，E＝{E1，E2，E3…En}}迭代次数i初始化为1；2)收集环境数据d，判断该数据是否符合模态转换条件，即当前模态是否需要转换；如果需要转换为模态Ek，则改变学习速率调整Q表更新范围调整无人机步长为3)根据当前模态Q学习算法QE(s，：)←QE(s，：)+αE[rE(s，：)+γmax(QE(s′，：))-QE(s，：)]对Q表进行更新，并根据选择飞行动作，根据行为函数确定无人机位置，并将当前状态s调整为a*，同时迭代次数i＝i+1；4)无人机进行飞行，更新无人机当前位置为：xi＝xi-1+li*sinθyi＝yi-1+li*cosθ其中，xi、yi为无人机更新后横纵坐标，li为步长，θ为选择动作对应的水平方向角；5)最后，获得此时的最大垂直方向角v，根据无人机飞行高度确定停止角度当v到达时，则认为无人机找到干扰源，结束当前定位流程，回传位置信息，未找到则重复上述过程。本专利技术的有益效果是：利用无人机平台搭载数据检测器和数据处理器，实现了一种不需要地面检测设备或先验信息的干扰源定位系统及方法。同时，数据通过该方法中的改进的多模态Q学习算法实现了在无人机定位干扰源问题中定位算法可以根据环境自主调整，从而实现了将不同学习策略优点结合，使得无人机在干扰源情况未知，噪声大小未知的情况下，实现远距离，高精度，短时间的干扰源定位。附图说明图1是基于多模态Q学习的无人机定位干扰源系统模型图。图2是多模态Q学习框架示意图。图3是基于多模态Q学习的无人机定位干扰源方法流程图。图4是基于多模态Q学习的无人机定位干扰源定位仪器的结构示意图。图5是基于无人机平台和电扫描天线的数据采集装置示意图。图6是数据采集装置的数据采集范围示意图，其中6a表示水平角，6b表示竖直角。具体实施方式现在结合附图对本专利技术作进一步详细的说明。一、本专利技术提出了多模态Q学习的概念及框架：多模态Q学习主要包括两个功能单元本文档来自技高网...

【技术保护点】
1.一种基于多模态Q学习的无人机定位干扰源系统，其特征在于，包括：数据检测器、数据处理器、无人机平台和地面终端；所述数据检测器和数据处理器搭载在无人机平台上，数据检测器实时检测、获取环境数据，数据处理器根据数据检测器所得结果对环境数据进行处理分析，决定无人机的飞行方向和飞行步长，以及判断是否找到干扰源；所述无人机平台根据数据处理器给出的指令，执行飞行动作；所述地面终端接收实时检测数据、处理分析数据及无人机位置信息。/n

【技术特征摘要】
1.一种基于多模态Q学习的无人机定位干扰源系统，其特征在于，包括：数据检测器、数据处理器、无人机平台和地面终端；所述数据检测器和数据处理器搭载在无人机平台上，数据检测器实时检测、获取环境数据，数据处理器根据数据检测器所得结果对环境数据进行处理分析，决定无人机的飞行方向和飞行步长，以及判断是否找到干扰源；所述无人机平台根据数据处理器给出的指令，执行飞行动作；所述地面终端接收实时检测数据、处理分析数据及无人机位置信息。


2.如权利要求1所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述数据检测器包括GPS模块和电扫描天线。


3.如权利要求2所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述数据处理器包括多模态识别单元和Q学习单元，多模态识别单元包括对环境数据的感知以及基于模式识别思想的模态识别，Q学习单元根据多模态识别单元识别出的当前模态实现对Q学习算法的动态调整，确定无人机的飞行方向和飞行步长，并根据停止条件判断是否找到干扰源。


4.如权利要求3所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述多模态识别单元包括数据感知模块和模态识别模块，所述数据感知模块获取环境数据，对环境数据进行感知分析，所述模态识别模块通过模式识别的方法对感知的环境数据进行模态划分，划分方式如下：
f(d)＝{d→E}|{d＝D(d1,d2,d3…dn),E＝{E1,E2,E3…En}}
其中，d＝D(d1,d2,d3…dn)为无人机在当前状态下感知分析到的数据，{E1,E2,E3…En}为事先确定的模态，无人机当前具体模态E由模态识别函数f(d)确定是否达到某模态Ek的标准。


5.如权利要求4所述的一种基于多模态Q学习的无人机定位干扰源系统，其特征在于：所述Q学习单元包括回报函数模块、Q表更新模块和行为模块，所述回报函数模块采集用于模态识别判断的数据并根据当前所在模态及其对应的回报函数对数据进行处理，将处理后的数据作为Q学习回报值，回报函数动态可调，对于状态s与动作a，回报值r(s,a)表示为：
r(s,a)＝REi(a)
其中，REi(a)是根据当前环境调整即时回报函数所得出的回报值；
所述Q表更新模块根据当前模态、状态及Q函数...

【专利技术属性】
技术研发人员：吴光宇，黄洋，吴启晖，孙涵，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32