【技术实现步骤摘要】
本申请涉及无人机飞行控制领域，特别是涉及一种基于深度强化学习的无人机控制方法、装置、设备及介质。
技术介绍
1、低空长航时无人机作为一种新兴的航空平台，具有长时间飞行的特性，适合执行持续的监视、侦察和通信任务，已成为研究和应用的热点。
2、低空长航时无人机为了增加航时，通常具备展弦比大、结构重量轻、结构刚度小等特点，带来了显著的动力学非线性。现有的飞行控制方法主要依赖线性模型，这些模型无法有效处理非线性气动力和力矩对飞行控制的影响。例如，传统的pid控制器虽然简单有效，但在面对非线性动力学和外界干扰时表现较差，难以保证飞行稳定性和控制精度。
3、近年来，深度强化学习（deep reinforcement learning, drl）作为一种新兴的控制方法，因其在处理非线性系统和高维状态空间方面的优势，逐渐应用于无人机飞行控制领域。然而，现有的研究在将drl应用于低空长航时无人机的飞行控制时，仍存在控制效果不稳定的问题。
技术实现思路
1、本申请的目的是提供一种基于深度强化学习的无人机控制方法、装置、设备及介质，可提高低空长航时无人机在复杂飞行环境中的稳定性。
2、为实现上述目的，本申请提供了如下方案：
3、第一方面，本申请提供了一种基于深度强化学习的无人机控制方法，所述基于深度强化学习的无人机控制方法包括：构建长航时无人机的六自由度动力学方程；所述六自由度动力学方程包含非线性气动力特性和力矩特性；根据所述六自由度运动学方程，采用近端策
4、第二方面，一种基于深度强化学习的无人机控制装置，该基于深度强化学习的无人机控制装置应用上述的基于深度强化学习的无人机控制方法，所述基于深度强化学习的无人机控制装置包括：动力学方程构建模块，用于构建长航时无人机的六自由度动力学方程；所述六自由度动力学方程包含非线性气动力特性和力矩特性；模型训练模块，用于根据所述六自由度运动学方程，采用近端策略优化算法训练深度强化学习模型，获得训练后的深度强化学习模型；预测模块，用于基于训练后的深度强化学习模型中的策略网络进行控制策略的预测；控制模块，用于基于预测得到的控制策略对长航时无人机进行控制。
5、第三方面，一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述的基于深度强化学习的无人机控制方法。
6、第四方面，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的基于深度强化学习的无人机控制方法。
7、根据本申请提供的具体实施例，本申请公开了以下技术效果。
8、本申请提供了一种基于深度强化学习的无人机控制方法、装置、设备及介质。通过建立包含非线性气动力和力矩特性的六自由度动力学模型，并采用基于近端策略优化算法的深度强化学习控制方法，实现对无人机空速和姿态的精确控制，解决了低空长航时无人机在复杂飞行环境下，由于动力学模型的非线性特性及外界干扰而难以保持稳定飞行姿态的控制问题，提高了低空长航时无人机在复杂飞行环境中的稳定性。
本文档来自技高网...【技术保护点】
1.一种基于深度强化学习的无人机控制方法，其特征在于，所述基于深度强化学习的无人机控制方法包括：
2.根据权利要求1所述的基于深度强化学习的无人机控制方法，其特征在于，所述六自由度动力学方程包括：质心运动方程、角运动方程、质心动力学方程和角动力学方程。
3.根据权利要求2所述的基于深度强化学习的无人机控制方法，其特征在于，所述质心运动方程为：
4.根据权利要求3所述的基于深度强化学习的无人机控制方法，其特征在于，投影到机体坐标系的气动力和在机体坐标系的气动力矩采用无量纲气动力系数计算获得。
5.根据权利要求4所述的基于深度强化学习的无人机控制方法，其特征在于，
6.根据权利要求1所述的基于深度强化学习的无人机控制方法，其特征在于，根据所述六自由度运动学方程，采用近端策略优化算法训练深度强化学习模型，获得训练后的深度强化学习模型，具体包括：
7.根据权利要求6所述的基于深度强化学习的无人机控制方法，其特征在于，
8.一种基于深度强化学习的无人机控制装置，其特征在于，所述基于深度强化学习的无人机控制装
9.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-7中任一项所述的基于深度强化学习的无人机控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的基于深度强化学习的无人机控制方法。
...【技术特征摘要】
1.一种基于深度强化学习的无人机控制方法，其特征在于，所述基于深度强化学习的无人机控制方法包括：
2.根据权利要求1所述的基于深度强化学习的无人机控制方法，其特征在于，所述六自由度动力学方程包括：质心运动方程、角运动方程、质心动力学方程和角动力学方程。
3.根据权利要求2所述的基于深度强化学习的无人机控制方法，其特征在于，所述质心运动方程为：
4.根据权利要求3所述的基于深度强化学习的无人机控制方法，其特征在于，投影到机体坐标系的气动力和在机体坐标系的气动力矩采用无量纲气动力系数计算获得。
5.根据权利要求4所述的基于深度强化学习的无人机控制方法，其特征在于，
6.根据权利要求1所述的基于深度强化学习的无人机控制方法，其特征在于，根据所述六自由度运动学方程，采用近端策略优化...
【专利技术属性】
技术研发人员：阚梓，李道春，周昀锴，王天杰，别大卫，孟莉，向锦武，
申请(专利权)人：天目山实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。