【技术实现步骤摘要】
本专利技术属于飞行器轨迹设计，具体涉及一种基于sac算法的变形飞行器机动轨迹设计方法、电子设备及存储介质。
技术介绍
1、随着现代战争技术的发展，高超声速飞行器在军事领域中得到了广泛的应用。其中，变形飞行器作为一种具有可调整翼面后掠角的飞行器类型，能够在不同的飞行阶段灵活调整飞行状态，从而实现更高效的飞行性能。然而，针对多个拦截器的序贯机动轨迹设计仍然是一项极具挑战性的任务，因为它涉及的参数众多，且需要根据复杂的飞行环境和敌方弹道实时调整。
2、传统的机动轨迹设计主要依赖于人工预设的飞行方案和固定的决策逻辑。虽然这些方法在某些场景下效果不错，但它们在处理复杂、动态和不确定的飞行环境时往往显得力不从心。在这种情况下，机动方案的选择和执行需要更灵活、更智能的方法。
3、近年来，强化学习作为一种自适应、自主学习的方法，在许多领域都得到了广泛的研究和应用。其中，sac算法作为强化学习的一种变体，以其在连续动作空间中的稳定性和高效性受到了广泛关注。然而，将强化学习和sac算法应用于高超声速飞行器的机动轨迹设计，尤其是结合可变翼面后掠角的飞行器特性，还相对较少。
4、由于高超声速飞行器的飞行状态复杂，拦截器的信息多变，以及机动轨迹的实时性要求，传统的飞行控制和轨迹设计方法在这些方面的表现往往不尽人意。因此，研究一种能够结合高超声速飞行器的特性，有效利用强化学习技术，特别是sac算法来实现机动轨迹设计，具有重要的理论意义和实际应用价值。这不仅有助于提高飞行器的机动能力，还有助于推动飞行器制导技术和强化学习算
技术实现思路
1、本专利技术要解决的问题是提高在连续动作空间中飞行器的训练稳定性和学习效率，提出一种基于sac算法的变形飞行器机动轨迹设计方法、电子设备及存储介质。
2、为实现上述目的，本专利技术通过以下技术方案实现：
3、一种基于sac算法的变形飞行器机动轨迹设计方法，包括如下步骤：
4、s1.构建用于变形飞行器机动轨迹设计的智能体神经网络模型，包括用于生成动作的策略网络π，用于估计每个状态-动作对价值的价值网络q；
5、s2.对变形飞行器在受拦截情况下的机动问题进行马尔可夫过程建模，进行仿真环境设计，包括设计飞行器状态、动作、奖励函数、飞行器状态转移关系；
6、s3.在步骤s2设计的仿真环境中模拟各种飞行场景，包括不同的初始飞行条件、敌对拦截器的状态、以及不同的目标点，收集飞行数据用于变形飞行器机动轨迹设计的智能体神经网络模型；
7、s4.利用sac算法对用于变形飞行器机动轨迹设计的智能体神经网络模型进行训练，在训练过程中加入自适应探索机制，根据当前的飞行状态和环境条件调整探索的强度，得到训练好的用于变形飞行器机动轨迹设计的智能体神经网络模型；
8、s5.将训练好的用于变形飞行器机动轨迹设计的智能体神经网络模型部署在机载计算机中，用于飞控回路中实时的轨迹调整和变形决策。
9、进一步的，步骤s1的具体实现方法包括如下步骤：
10、s1.1.构建策略网络π，用于生成动作；策略网络包括输入层、隐藏层和输出层；
11、输入层的大小设置为飞行器状态和拦截器信息的维度，设置飞行器状态包括高度、速度、航向角3个参数，拦截器信息包括位置、速度、型号3个参数，输入层的大小设置为6层；
12、隐藏层设置为两个隐藏层，每个隐藏层包括256个神经元；
13、输出层大小设置为动作的维度，动作包括翼面后掠角和期望位置、期望速度3个参数，输出层的大小设置为3层；
14、策略网络的表达为：
15、a＝π(s) (1)
16、其中，a为动作，s为飞行器状态，π表示以策略网络表达的非线性函数关系；
17、s1.2.构建价值网络q，用于估计每个状态-动作对的价值价值网络包括价值网络和目标价值网络，所述价值网络和目标价值网络的结构完全相同，用于估计每个状态-动作对的价值，包括输入层、隐藏层和输出层；
18、输入层的大小设置为飞行器状态、拦截器信息和动作的维度，飞行器状态包括高度、速度、航向角3个参数，拦截器信息包括位置、速度、型号3个参数，动作包括翼面后掠角和期望位置、期望速度3个参数，输入层的大小设置为9层；
19、隐藏层设置为两个隐藏层，每个隐藏层包括256个神经元；
20、输出层大小设置为状态-动作对的价值，输出层的大小设置为1层；
21、价值网络的表达为：
22、
23、其中，q为最优问题的值，为以价值网络表达的非线性函数关系，即最优性指标；
24、s1.3.设置策略网络和价值网络的计算规则：由神经网络的正向计算方法计算，设置第l层的输出表示为a(l)，每一层的计算分为两个步骤：线性变换和非线性激活函数，表达为：
25、z(l)＝w(l)a(l-1)+b(l) (3)
26、a(l)＝σ(l)(z(l)) (4)
27、其中，w(l)为第l层的权重矩阵，b(l)为偏置向量，σ(l)为第l层的激活函数，设置为σ(l)(x)＝tanh(x)；
28、策略网络的输出的表达为：
29、a＝a(2) (5)
30、价值网络的输出的表达为：
31、q＝a(2) (6)。
32、进一步的，步骤s2的具体实现方法包括如下步骤：
33、s2.1.设计飞行器状态：飞行器状态包括当前的高度、速度、航向角参数、拦截器信息，表达式为：
34、s＝[h,v,θ,d] (7)
35、其中，h、v、θ分别为飞行器在时刻t的高度、速度和航向角；
36、设置飞行器状态参数范围：高度h为5000米-20000米；速度为1000m/s-3000m/s；航向角为0度-360度；
37、d为拦截器信息，表达式为：
38、d＝[pi,vi,li] (8)
39、其中，d表示在时刻t的拦截器信息，pi、vi、li分别表示拦截器在时刻t的位置、速度和型号；
40、拦截器信息参数范围：位置pi为0米-50000米；速度vi为500m/s-1500m/s；型号li为离散整数；
41、s2.2.设计动作：
42、根据飞行器的状态和拦截器的信息，通过策略网络进行决策动作，表达式为：
43、a＝π(s,d) (9)
44、其中，a定义为：
45、
46、其中，λ为翼面后掠角，hc为期望高度、vc为期望速度；
47、s2.3.设计奖励函数：
48、奖励函数r(st,ar,t)由以下几个部分组成：
49、r(st,at)＝w1rtarget-w2rinter本文档来自技高网...
【技术保护点】
1.一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，步骤S1的具体实现方法包括如下步骤：
3.根据权利要求2所述的一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，步骤S2的具体实现方法包括如下步骤：
4.根据权利要求3所述的一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，步骤S3的具体实现方法包括如下步骤：
5.根据权利要求4所述的一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，步骤S4的具体实现方法包括如下步骤：
6.根据权利要求5所述的一种基于SAC算法的变形飞行器机动轨迹设计方法，其特征在于，步骤S5中应用网络裁剪和量化技术，将智能体的模型设置至适合机载计算能力的大小，目标为将模型大小设置为不超过50MB。
7.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-6任一项所述的一种基于SAC算
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的一种基于SAC算法的变形飞行器机动轨迹设计方法。
...【技术特征摘要】
1.一种基于sac算法的变形飞行器机动轨迹设计方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于sac算法的变形飞行器机动轨迹设计方法，其特征在于，步骤s1的具体实现方法包括如下步骤：
3.根据权利要求2所述的一种基于sac算法的变形飞行器机动轨迹设计方法，其特征在于，步骤s2的具体实现方法包括如下步骤：
4.根据权利要求3所述的一种基于sac算法的变形飞行器机动轨迹设计方法，其特征在于，步骤s3的具体实现方法包括如下步骤：
5.根据权利要求4所述的一种基于sac算法的变形飞行器机动轨迹设计方法，其特征在于，步骤s4的具体实现方法包括如下...
【专利技术属性】
技术研发人员：王小刚，李勋，张小帅，鄂斌，王宁宇，姚江川，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。