【技术实现步骤摘要】
本专利技术涉及卫星智能，尤其涉及基于并行强化学习和遗传算法的快速星座构型设计方法。
技术介绍
1、构建大规模、低成本、快响应低轨巨型星座，提供全天时、全天候、高性能、高时效的对地信息服务，是当前航天领域发展的前沿与热点，代表了卫星体系建设的发展方向。构建高效的卫星星座，需要满足及时覆盖应急目标并提供快速响应，快速星座构型优化需要综合权衡多目标要素。
2、卫星星座的设计与优化是新型低轨卫星星座系统建设中基本并且至关重要的一个环节。卫星星座的设计与优化的目标主要是确定星座卫星构型及其轨道参数，理想的情况是在所有可能的解集空间中找到最优设计，但因为参数众多，即使在多约束的情况下，解集空间依然非常庞大。因此，在目前的有关研究中，多数据维度和参数计算导致卫星构型设计计算都存在一定时间的耗时，因此星座构型设计的研究核心是，如何利用有限计算资源，在无限解集空间快速求解最优解的过程。因此研究星座构型的快速优化设计具有重要意义。
3、从星座构型设计方法的演化历史来看，主要包括传统方法和智能优化方法，传统方法主要包括几何解析法和仿真比较法等，该类方法计算简单且易于实现，但设计效率偏低且系统指标考虑较少；智能优化方法主要包括遗传算法、粒子群算法、模拟退火算法等，该类方法虽然考虑了多目标多约束条件下的总体性能最优，但却存在着容易陷入局部最优解和搜索精度不足等缺陷，且算法得到的解空间与构型参数之间的解析关系不够清晰。
4、因此亟需一种技术方案来解决现有智能优化方法在星座构型设计上的易陷入局部最优解、解空间与构型参数关系
技术实现思路
1、针对现有技术存在的缺陷，本专利技术提供一种基于并行强化学习和遗传算法的快速星座构型设计方法。
2、为实现上述技术目的，本专利技术采用的具体技术方案如下：
3、本专利技术提供一种基于并行强化学习和遗传算法的快速星座构型设计方法，包括以下步骤：
4、s1、随机生成观测目标，构建观测目标数据集，同时给定初始星座构型参数；
5、s2、在约束条件下，构建关于星座构型参数的多目标优化模型，所述多目标优化模型包括并行强化学习模块与遗传算法模块；
6、s3、并行强化学习模块根据输入的观测目标数据集和星座构型参数进行训练交互，输出批次候选解至遗传算法模块；
7、s4、遗传算法模块对收到的候选解评估优化，得到最佳星座构型参数并输出。
8、进一步地，s2中，所述约束条件包括观测任务需求约束、星上资源存储约束、星上能量约束、观测时间窗约束；
9、所述观测任务需求约束满足：
10、；
11、；
12、其中，为任务需求成像载荷类型；为卫星上携带载荷类型；为载荷分辨率；为任务需求成像分辨率；
13、所述星上资源存储约束满足：
14、；
15、其中，为卫星；为目标；为卫星的存储空间；为卫星对目标进行成像观测的时间；为存储消耗速率；
16、所述星上能量约束满足：
17、；
18、其中，表示目标的子任务在卫星的第k个时间窗被观测到；表示目标的可见时间窗的持续时间；表示卫星观测单位时间内的电量消耗；表示卫星的总电量；
19、所述观测时间窗约束满足：
20、；
21、其中，为目标在卫星的成像观测周期内所有可能观测窗口；为观测窗口；和分别表示开始观测的时间和观测结束的时间；和分别表示观测窗口的开始时间和观测窗口的结束时间。
22、进一步地，s1中，所述星座构型参数包括：轨道数、轨道面上卫星个数、轨道高度、轨道交角、升交点赤经以及真近点角。
23、进一步地，s3中，所述并行强化学习模块采用actor-critic结构进行训练；
24、所述actor-critic结构包括actor结构和critic结构；
25、所述actor结构用于根据观测状态输入，产生用于决定下一动作的概率，选择最优的动作策略；所述actor结构包括并行transformer模块和softmax模块；
26、所述critic结构用于根据观测状态输入，评估给定状态的价值估计，评估特定状态的奖励；所述critic结构包括并行transformer模块。
27、进一步地，所述并行transformer模块包括位置编码块、残差编码块、transformer编码块和解码块。
28、进一步地，所述并行transformer模块中，位置编码块的编码计算调用gpu-0算力进行；残差编码块的编码计算调用gpu-1算力进行；transformer编码块的编码计算调用gpu-2算力进行。
29、进一步地，所述s3包括以下步骤：
30、s31、读取观测目标数据集和星座构型参数；
31、s32、创建观测状态，构建四维动态状态空间与三维静态状态空间；
32、s33、以四维动态状态空间与三维静态状态空间作为并行强化学习模块的观测空间，以给定的观测目标数量作为并行强化学习模块的动作空间；
33、s34、将当前观测空间和当前动作空间同步输入至actor结构与critic结构中；
34、s35、将actor结构与critic结构产生的动作和奖励与环境交互得到新的观测空间和动作空间，并输入到改进的优化经验回放池后返回s34；
35、s36、以预定次数迭代s34、s35，输出批次候选解至遗传算法模块。
36、进一步地，所述候选解包括完成任务奖励reward与卫星重复时间窗口loss。
37、进一步地，所述改进的优化经验回放池的改进包括：
38、增加current size属性跟踪经验回放池中当前存储经验数量；
39、优化push方法，确保不会覆盖旧的历史数据，且只在经验回放池未满时添加新数据；
40、优化compute returns方法，确保只计算当前存储的经验的返回值；
41、增加sample采样方法，用于从经验回放池中随机抽取批次数据用于训练。
42、进一步地，所述s4包括以下步骤：
43、s41、调用nsga-ii算法对收到的候选解进行优化；
44、s42、基于优化后的候选解构建minimize函数并求解，同时将优化后的候选解再次输入遗传算法模块；
45、s43、以预设次数迭代s41、s42；
46、s44、以minimize函数最小化对应的星座构型参数为最佳星座构型参数并输出。
47、相较于现有技术，本专利技术具有的有益技术效果在于：
48、本专利技术提供的基于并行强化学习和遗传算法的快速星座构型设计方法通过引入并行计算，调用多张gpu显卡搭建并行交互算法框架，实时更新网络参数并得到一批次候选解，大幅提高了本文档来自技高网...
【技术保护点】
1.基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，S2中，所述约束条件包括观测任务需求约束、星上资源存储约束、星上能量约束、观测时间窗约束；
3.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，S1中，所述星座构型参数包括：轨道数、轨道面上卫星个数、轨道高度、轨道交角、升交点赤经以及真近点角。
4.权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，S3中，所述并行强化学习模块采用Actor-Critic结构进行训练；
5.如权利要求4所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述并行Transformer模块包括位置编码块、残差编码块、Transformer编码块和解码块。
6.如权利要求5所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述并行Transformer模块中，位置编码块的编码计算调用GP
7.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述S3包括以下步骤：
8.如权利要求7所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述候选解包括完成任务奖励Reward与卫星重复时间窗口Loss。
9.如权利要求7所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述改进的优化经验回放池的改进包括：
10.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述S4包括以下步骤：
...【技术特征摘要】
1.基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，s2中，所述约束条件包括观测任务需求约束、星上资源存储约束、星上能量约束、观测时间窗约束；
3.如权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，s1中，所述星座构型参数包括：轨道数、轨道面上卫星个数、轨道高度、轨道交角、升交点赤经以及真近点角。
4.权利要求1所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，s3中，所述并行强化学习模块采用actor-critic结构进行训练；
5.如权利要求4所述的基于并行强化学习和遗传算法的快速星座构型设计方法，其特征在于，所述并行transformer模块包括位置编码块、残差编码块、transformer编码块和解码块...
【专利技术属性】
技术研发人员：谷学强，王尧，张万鹏，刘艺睿，刘鸿福，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。