一种协同制导律模型的预训练方法、训练方法和系统技术方案

本申请涉及控制的技术领域，尤其是涉及一种协同制导律模型的预训练方法、训练方法和系统，预训练方法包括：获取从弹的预训练样本和预训练模型，进而基于预训练样本对预训练模型进行离线的强化学习训练以得到预训练协同制导律模型，并将该预训练协同制导律模型中的预训练评价网络的网络参数和预训练评价目标网络的网络参数作为协同制导律模型训练过程中的待训练评价网络的初始网络参数和待训练评价目标的初始网络参数，能够简化实际训练的过程，提高训练效率，快速高效的得到协同制导律模型。模型。模型。

【技术实现步骤摘要】
一种协同制导律模型的预训练方法、训练方法和系统


[0001]本申请涉及控制的
，尤其是涉及一种协同制导律模型的预训练方法、训练方法和系统。

技术介绍

[0002]无人机在对抗的过程中，需要根据敌机的位置、状态和策略，不断调整自己的行动策略，使能按一定的路径或轨迹准确打击到敌方。当多个无人机对抗或发射多个导弹时，需要共同合作完成对目标的追踪和打击。可以通过多弹时间协同制导律，即以主弹引导，从弹跟踪的方式，引入剩余时间协同补偿指令，实现所有从弹跟随主动对目标的时间协同攻击。
[0003]相关技术中，直接利用经验池中的样本进行神经网络训练，但是训练过程需要大量的数据，在线的模型训练耗时较长。

技术实现思路

[0004]本申请目的是提供一种协同制导律模型的预训练方法、训练方法和系统，能够提高训练效率。
[0005]本申请的上述申请目的一是通过以下技术方案得以实现的：第一方面，提供了一种协同制导律模型的预训练方法，包括：获取从弹的预训练样本，其中，每一预训练样本包括：第一时刻环境状态、第一时刻对应的第一奖励值、第二时刻对应的第二奖励值和第三时刻环境状态；获取预训练模型，所述预训练模型包括：所述预训练网络和预训练目标网络，所述预训练网络包括：预训练行动网络和预训练评价网络，所述预训练目标网络包括：预训练行动目标网络和预训练评价目标网络；根据所述预训练样本，对所述预训练模型进行强化学习训练，直到达到停止条件，得到预训练协同制导律模型，所述预训练协同制导律模型中的预训练评价网络的网络参数和预训练评价目标网络的网络参数作为协同制导律模型训练过程中的待训练评价网络的初始网络参数和待训练评价目标的初始网络参数。
[0006]在一种可能的实现方式中，所述获取从弹的预训练样本，包括：获取第一时刻环境状态，根据所述第一时刻环境状态利用协同制导律得到第一时刻对应的动作值；根据所述第一时刻对应的动作值，通过训练环境进行仿真，得到第二时刻环境状态和第一时刻对应的奖励值；根据所述第二时刻环境状态和协同制导律，得到第二时刻对应的第二动作值；根据所述第二时刻对应的动作值通过训练环境进行仿真，得到第三时刻环境状态和第二时刻对应的第二奖励值。
[0007]在一种可能的实现方式中，所述根据所述第一时刻对应的动作值，通过训练环境
进行仿真，得到第二时刻环境状态和第一时刻对应的奖励值，包括：根据所述第一时刻对应的动作值通过训练环境进行仿真，得到第二时刻环境状态；根据所述第二时刻环境状态确定第二时刻下导弹对应的前置角、导弹与目标的相对距离和导弹和目标的相对速度，导弹包括主弹和从弹；当导弹命中时，根据主弹命中时刻和从弹命中时刻确定所述第一时刻对应的第一奖励值；当导弹未命中时，根据导弹对应的前置角、导弹与目标的相对距离和导弹和目标的相对速度，确定主弹对应的预测命中时刻和从弹对应的预测命中时刻；并根据主弹对应的预测命中时刻和从弹对应的预测命中时刻，确定所述第一时刻对应的第一奖励值。
[0008]在一种可能的实现方式中，所述根据所述预训练样本，对所述预训练模型进行强化学习训练，直到达到停止条件，得到预训练协同制导律模型，包括：根据所述第一时刻环境状态和预训练网络，得到评价值；根据所述第三时刻环境状态利用预训练目标网络，得到初始评价目标值；根据所述初始评价目标值、所述第一奖励值和所述第二奖励值，确定评价目标值；根据所述评价目标值、所述评价值和预训练样本对预训练模型进行迭代训练，直至达到停止条件得到预训练协同制导律模型。
[0009]在一种可能的实现方式中，所述根据所述初始评价目标值、所述第一奖励值和所述第二奖励值，确定评价目标值，包括：根据所述初始评价目标值、衰减折扣系数和所述第二奖励值，确定中间评价目标值；根据所述中间评价目标值、所述衰减折扣系数和所述第一奖励值，确定所述评价目标值。
[0010]在一种可能的实现方式中，所述根据所述评价目标值、所述评价值和预训练样本对预训练模型进行迭代训练，直至达到停止条件得到预训练协同制导律模型，包括：在完成预设数量的样本的预训练模型的计算后，根据预设数量的样本对应的所述评价目标值、所述评价值，确定评价网络参数，并根据所述评价网络参数更新预训练评价网络；当预训练评价网络更新第一预设周期后，根据第一预设周期后确定的评价网络参数更新预训练评价目标网络；根据更新后的预训练评价网络对预训练行动网络进行策略梯度计算，得到动作损失值，并根据所述动作损失值更新预训练行动网络的网络参数；当预训练行动网络更新第二预设周期后，根据第二预设周期后确定的动作损失值更新预训练行动目标网络的网络参数；进行迭代训练，直至达到停止条件得到预训练协同制导律模型。
[0011]在一种可能的实现方式中，所述预训练样本还包括：第一时刻对应的动作值，所述根据更新后的预训练评价网络对预训练行动网络进行策略梯度计算，得到动作损失值，包括：对第一时刻对应的动作值进行评价得到第一时刻对应的离线专家评价值；
根据所述离线专家评价值和第一时刻对应的评价值，确定修正值；其中，当第一时刻对应的离线专家评价值大于第一时刻对应的评价值时，所述修正值为第一时刻对应的动作值和第一时刻对应的预测动作值的二范数，否则，所述修正值为0；所述第一时刻对应的预测动作值是根据所述第一时刻环境状态和预训练行动网络得到的，根据所述修正值、更新后的预训练评价网络对预训练行动网络进行策略梯度计算，得到动作损失值。
[0012]第二方面，本申请提供一种协同制导律模型的训练方法，包括：获取多个训练样本，其中，每一训练样本包括：第一时刻环境状态、第一时刻对应的第一奖励值、第二时刻对应的第二奖励值第三时刻环境状态；根据所述多个训练样本，对待训练模型进行迭代强化学习训练，得到协同制导律模型；其中，所述待训练模型包括待训练网络和待训练目标网络，所述待训练网络中的待训练评价网络和所述待训练目标网络的待训练目标评价网络的初始参数均为预训练协同制导律模型中的对应参数，所述预训练协同制导律模型是根据多个预训练样本进行强化学习训练得到的。
[0013]第三方面，提供了一种协同制导律模型的预训练系统，包括：第一获取模块，用于获取从弹的预训练样本，其中，每一预训练样本包括：第一时刻环境状态、第一时刻对应的第一奖励值、第二时刻对应的第二奖励值和第三时刻环境状态；第二获取模块，用于获取预训练模型，所述预训练模型包括：所述预训练网络和预训练目标网络，所述预训练网络包括：预训练行动网络和预训练评价网络，所述预训练目标网络包括：预训练行动目标网络和预训练评价目标网络；第一训练模块，用于根据所述预训练样本，对所述预训练模型进行强化学习训练，直到达到停止条件，得到预训练协同制导律模型，所述预训练协同制导律模型中的预训练评价网络的网络参数和预训练评价目标网络的网络参数作为协同制导律模型训练过程中的待训练评价网络的初始网络参数和待训练评价目标的初始网络参数。
[0014]第四方面，提供了一种协同制导律模型的训练系统，包括：第三获取模块，用于获取多个训练样本，其中，每一训练样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协同制导律模型的预训练方法，其特征在于，包括：获取从弹的预训练样本，其中，每一预训练样本包括：第一时刻环境状态、第一时刻对应的第一奖励值、第二时刻对应的第二奖励值和第三时刻环境状态；获取预训练模型，所述预训练模型包括：所述预训练网络和预训练目标网络，所述预训练网络包括：预训练行动网络和预训练评价网络，所述预训练目标网络包括：预训练行动目标网络和预训练评价目标网络；根据所述预训练样本，对所述预训练模型进行强化学习训练，直到达到停止条件，得到预训练协同制导律模型，所述预训练协同制导律模型中的预训练评价网络的网络参数和预训练评价目标网络的网络参数作为协同制导律模型训练过程中的待训练评价网络的初始网络参数和待训练评价目标的初始网络参数。2.根据权利要求1所述的协同制导律模型的预训练方法，其特征在于，所述获取从弹的预训练样本，包括：获取第一时刻环境状态，根据所述第一时刻环境状态利用协同制导律得到第一时刻对应的动作值；根据所述第一时刻对应的动作值，通过训练环境进行仿真，得到第二时刻环境状态和第一时刻对应的奖励值；根据所述第二时刻环境状态和协同制导律，得到第二时刻对应的第二动作值；根据所述第二时刻对应的动作值通过训练环境进行仿真，得到第三时刻环境状态和第二时刻对应的第二奖励值。3.根据权利要求2所述的协同制导律模型的预训练方法，其特征在于，所述根据所述第一时刻对应的动作值，通过训练环境进行仿真，得到第二时刻环境状态和第一时刻对应的奖励值，包括：根据所述第一时刻对应的动作值通过训练环境进行仿真，得到第二时刻环境状态；根据所述第二时刻环境状态确定第二时刻下导弹对应的前置角、导弹与目标的相对距离和导弹和目标的相对速度，导弹包括主弹和从弹；当导弹命中时，根据主弹命中时刻和从弹命中时刻确定所述第一时刻对应的第一奖励值；当导弹未命中时，根据导弹对应的前置角、导弹与目标的相对距离和导弹和目标的相对速度，确定主弹对应的预测命中时刻和从弹对应的预测命中时刻；并根据主弹对应的预测命中时刻和从弹对应的预测命中时刻，确定所述第一时刻对应的第一奖励值。4.根据权利要求1所述的协同制导律模型的预训练方法，其特征在于，所述根据所述预训练样本，对所述预训练模型进行强化学习训练，直到达到停止条件，得到预训练协同制导律模型，包括：根据所述第一时刻环境状态和预训练网络，得到评价值；根据所述第三时刻环境状态利用预训练目标网络，得到初始评价目标值；根据所述初始评价目标值、所述第一奖励值和所述第二奖励值，确定评价目标值；根据所述评价目标值、所述评价值和预训练样本对预训练模型进行迭代训练，直至达到停止条件得到预训练协同制导律模型。
5.根据权利要求4所述的协同制导律模型的预训练方法，其特征在于，所述根据所述初始评价目标值、所述第一奖励值和所述第二奖励值，确定评价目标值，包括：根据所述初始评价目标值、衰减折扣系数和所述第二奖励值，确定中间评价目标值；根据所述中间评价目标值、所述衰减折扣系数和所述第一奖励值，确定所述评价目标值。6.根据权利要求4所述的协同制导律模型的预训练方法，其特征在于，所述根据所述评价目标值、所述评价值和预训练样本对预训练模型进行迭代训练，直至达到停止条件得到预训练协同制导律模型，包括：在完成预设数量的样本的预训练模型的计算后，根据预设数量的样本对应的所述评价目标值、所述评价值，确定评价网络...

【专利技术属性】
技术研发人员：路鹰，赵大海，胡一帆，韩特，付斌，邱璐莹，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：