一种基于联合优化的无人机航迹规划方法技术

本发明专利技术属于无人机飞行控制技术领域，具体涉及一种基于联合优化的无人机航迹规划方法。本发明专利技术通过前端飞行状态优化模型获取无人机自身飞行状态的最优估计，大幅度降低了自然干扰因素对传感器数据的误差；通过后端飞行动作优化模型，将实际偏差大的飞行角度调整至预期飞行角度，解决了强化学习决策飞行动作不佳的问题，提高了飞行航迹的可靠性。在实际应用中，对于传感器实时采集飞行状态数据，利用前端飞行状态优化模型实时获得最优飞行状态估计，将其作为已训练TD3模型的输入，得到飞行动作，并利用后端飞行动作优化模型，得到对应的飞行动作偏置，对其进行判决，控制输出优化后的飞行动作，从而实现无人机面对自然干扰影响的实时航迹规划。

【技术实现步骤摘要】
一种基于联合优化的无人机航迹规划方法
本专利技术属于无人机飞行控制
，具体涉及一种基于联合优化的无人机航迹规划方法。
技术介绍
无人机是一种不载人的通过无线传输遥控装置或自主传感控制设备完成相应任务的飞行设备，航迹规划是无人机执行飞行任务的有效技术手段，航迹可靠才能确保无人机完成飞行任务。传统的规划算法有人工势场法、Dijkstra算法等。人工势场法通过模拟引力场和排斥场对空间中无人机的综合作用规划无人机的飞行航迹，其适用于局部范围的规划，对全局规划的能力不足。Dijkstra算法是一种经典的用于最短路径求解的算法，它能够求出固定点到其他任意点的最短路径，简单有效，但缺点是一旦计算点数目增多，则算法计算量和所需内存极具增加。随着飞行环境日趋复杂，传统规划算法计算复杂度高、实时性差，难以实时控制无人机飞行。强化学习算法具有运算速度快、实时性强的特点，且能够根据无人机的飞行状态，端到端地决策飞行动作，使无人机飞行的实时控制成为可能，因此在规划领域广泛应用。通过对现有技术文献的检索发现，西北工业大学在其申请的专利“基于DDPG的无人机自主引导控制方法”(专利申请号：CN201910853746.X，申请公布号：CN110806756A)中提出了一种基于DDPG的无人机自主引导控制方法，该方法能够使无人机安全并快速地从起点飞到终点，提高了无人机执行任务的自主性和效率，但是该方法仅适用于静态地形环境。何金等在《兵工自动化》(2020,39(09):15-21)上发表的“未知环境下基于PF-DQN的无人机路径规划”中提出了一种环境信息未知情况下基于势函数奖赏的DQN路径规划方法，实现了无人机在环境信息未知下有效避障的路径规划，但是该算法的应用局限于与其训练近似的环境模型。已有文献的检索结果表明，这些方法的建模过程并未考虑实际环境中自然干扰因素的影响，如突发天气变化、风力、气流等，这类影响会导致无人机传感器采集的飞行数据具有偏差，使强化学习算法决策的飞行动作不佳，难以满足无人机飞行航迹的可靠性。
技术实现思路
本专利技术的目的在于提供一种基于联合优化的无人机航迹规划方法。本专利技术的目的通过如下技术方案来实现：包括以下步骤：步骤1：搭建飞行状态优化模型；所述的飞行状态优化模型的输入为无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量mi(t)，飞行状态优化模型的输出为无人机t时刻飞行状态的最优估计ζ(t|t)＝[p(t),v(t)]T；步骤1.1：输入无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量mi(t)；其中，I个传感器的采样间隔均为Ω；mi(t)＝[pi(t),vi(t)]T；i＝{1,2,...,I}；pi(t)表示第i个传感器获取的无人机位置量测向量，pi(t)＝[pix(t),piy(t),piz(t)]T，pix(t)、piy(t)和piz(t)分别表示第i个传感器获取的笛卡尔坐标系下无人机在三维空间中x、y和z三个方向的位置坐标量测值；vi(t)表示第i个传感器获取的无人机速度量测向量，vi(t)＝[vix(t),viy(t),viz(t)]T，vix(t)、viy(t)和viz(t)分别表示第i个传感器获取的笛卡尔坐标系无人机在三维空间中x、y和z三个方向的速度分量量测值；步骤1.2：根据t-1时刻无人机飞行状态的最优估计ζ(t-1|t-1)，计算t时刻无人机飞行状态的预测ζ(t|t-1)；其中，ζ(t-1|t-1)＝[p(t-1),v(t-1)]T；为白噪声；步骤1.3：计算t时刻各传感器对无人机飞行状态的量测预测δi(t|t-1)；δi(t|t-1)＝Hi(t)ζ(t|t-1)其中，Hi(t)表示第i个传感器的线性测量矩阵；||·||表示求模运算；步骤1.4：计算t时刻各传感器的量测新息εi(t)；εi(t)＝mi(t)-δi(t|t-1)步骤1.5：根据t-1时刻无人机飞行状态的协方差P(t-1|t-1)，计算t时刻无人机飞行状态的协方差预测P(t|t-1)；P(t|t-1)＝FP(t-1|t-1)FT+O其中，步骤1.6：计算t时刻各传感器的预测新息协方差Ii(t)；其中，步骤1.7：计算t时刻各传感器量测向量的关联概率βi(t)；步骤1.8：计算t时刻I个传感器的综合量测新息ε(t)；步骤1.9：计算t时刻无人机飞行状态的协方差P(k|k)；步骤1.10：计算无人机t时刻飞行状态的最优估计ζ(t|t)；ζ(t|t)＝ζ(t|t-1)K(t)ε(t)步骤2：构建并训练基于TD3的无人机航迹规划模型；设置基于TD3的无人机航迹规划模型的状态空间输入为ζ(t|t)，设置基于TD3的无人机航迹规划模型的动作空间的输出为表示无人机t时刻飞行的方位角，θ(t)表示无人机t时刻飞行的俯仰角；设置强化学习奖励函数r(t)为：r(t)＝r1(t)+r2(t)其中，r1表示到达正奖励；r2表示航程负奖励；parrive表示终点的位置坐标；pstart表示起点的位置坐标；dmax表示无人机最大探测范围；ρmax表示无人机携带的燃料可供给的最大可飞行航程；步骤3：构建并训练基于随机森林回归的飞行动作优化模型；利用步骤2中训练好的基于TD3的无人机航迹规划模型，根据每一时刻基于TD3的无人机航迹规划模型输出的动作获取无人机执行动作a(t)后在t+1时刻到达的位置，将无人机t+1时刻的位置与t时刻的位置连接成标定线，标定线与无人机执行动作a(t)所得航迹构成夹角在直角坐标系中分解，得到构造训练数据集Angle_data＝{Angle_datat}，训练好的基于随机森林回归的飞行动作优化模型根据输入的动作a(t)输出动作偏置步骤4：联合飞行状态优化模型、基于TD3的无人机航迹规划模型和基于随机森林回归的飞行动作优化模型，对无人机航迹进行实时规划；步骤4.1：获取无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量mi(t)，输入至飞行状态优化模型中，得到无人机t时刻飞行状态的最优估计ζ(t|t)＝[p(t),v(t)]T；步骤4.2：将无人机t时刻飞行状态的最优估计ζ(t|t)输入至训练好的基于TD3的无人机航迹规划模型中，得到动作步骤4.3：将动作a(t)输入至训练好的基于随机森林回归的飞行动作优化模型中，得到动作偏置步骤4.4：计算若则直接输出动作a(t)来控制无人机飞行；否则，执行步骤4.5；步骤4.5：优化飞行动作，将原飞行动作a(t)和飞行动作偏置处理，得到新的飞行动作at_new来控制无人机飞行：步骤4.6：在无人机的飞行过程中，实时执行步骤4.1至步骤4.5，实现每一时刻的前端飞行状态优化和后端飞行动作优化，并实时控制优化后的飞行动本文档来自技高网...

【技术保护点】
1.一种基于联合优化的无人机航迹规划方法，其特征在于，包括以下步骤：/n步骤1：搭建飞行状态优化模型；所述的飞行状态优化模型的输入为无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量m

【技术特征摘要】
1.一种基于联合优化的无人机航迹规划方法，其特征在于，包括以下步骤：
步骤1：搭建飞行状态优化模型；所述的飞行状态优化模型的输入为无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量mi(t)，飞行状态优化模型的输出为无人机t时刻飞行状态的最优估计ζ(t|t)＝[p(t),v(t)]T；
步骤1.1：输入无人机携带的I个传感器在t时刻对无人机飞行状态的量测向量mi(t)；
其中，I个传感器的采样间隔均为Ω；mi(t)＝[pi(t),vi(t)]T；i＝{1,2,...,I}；pi(t)表示第i个传感器获取的无人机位置量测向量，pi(t)＝[pix(t),piy(t),piz(t)]T，pix(t)、piy(t)和piz(t)分别表示第i个传感器获取的笛卡尔坐标系下无人机在三维空间中x、y和z三个方向的位置坐标量测值；vi(t)表示第i个传感器获取的无人机速度量测向量，vi(t)＝[vix(t),viy(t),viz(t)]T，vix(t)、viy(t)和viz(t)分别表示第i个传感器获取的笛卡尔坐标系无人机在三维空间中x、y和z三个方向的速度分量量测值；
步骤1.2：根据t-1时刻无人机飞行状态的最优估计ζ(t-1|t-1)，计算t时刻无人机飞行状态的预测ζ(t|t-1)；



其中，ζ(t-1|t-1)＝[p(t-1),v(t-1)]T；为白噪声；
步骤1.3：计算t时刻各传感器对无人机飞行状态的量测预测δi(t|t-1)；
δi(t|t-1)＝Hi(t)ζ(t|t-1)
其中，Hi(t)表示第i个传感器的线性测量矩阵；||·||表示求模运算；
步骤1.4：计算t时刻各传感器的量测新息εi(t)；
εi(t)＝mi(t)-δi(t|t-1)
步骤1.5：根据t-1时刻无人机飞行状态的协方差P(t-1|t-1)，计算t时刻无人机飞行状态的协方差预测P(t|t-1)；
P(t|t-1)＝FP(t-1|t-1)FT+O
其中，
步骤1.6：计算t时刻各传感器的预测新息协方差Ii(t)；



其中，
步骤1.7：计算t时刻各传感器量测向量的关联概率βi(t)；






步骤1.8：计算t时刻I个传感器的综合量测新息ε(t)；



步骤1.9：计算t时刻无人机飞行状态的协方差P(k|k)；


...

【专利技术属性】
技术研发人员：高敬鹏，胡欣瑜，叶方，江志烨，毛新蕊，高路，郑沛，何重航，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23