【技术实现步骤摘要】
本专利技术涉及强化学习，尤其是涉及微重力环境下巡视探测器强化学习训练方法及电子设备。
技术介绍
1、2021年4月，叶培建院士在中国航天大会主论坛上，宣布中国的小天体探测任务已开始工程研制，该任务计划探测地球共轨天体2016ho3和小行星311p，旨在通过一次发射实现两类探测目和近距、附着、采样等三种探测模式，实现探测领域和核心技术的全面性突破，使中国小天体探测达到国际同期先进水平，小天体探索备受重视，成为主要航天国家在深空探索领域的至关重要发展目标之一。
2、传统的探测器操作和控制方法在微重力环境下面临着诸多挑战，例如，传统的自主控制算法可能无法适应微重力环境中的复杂运动情况，导致探测器的稳定性和精确性受到影响，此外，传统方法通常需要提前对环境和任务进行精确建模，而这在微重力环境下可能变得更加困难，因为环境的动态性和不确定性会增加，传统方法往往受限于固定的控制策略和参数设置，难以应对复杂多变的微重力环境，这也使得传统的探测器操作和控制方法的自主操作和应对复杂环境的能力较差。
技术实现思路
1、本专利技术的目的在于克服上述技术不足，提出微重力环境下巡视探测器强化学习训练方法，解决传统的探测器操作和控制方法的自主操作和应对复杂环境的能力较差的技术问题。
2、为达到上述技术目的，第一方面，本专利技术的技术方案提供微重力环境下巡视探测器强化学习训练方法，包括以下步骤：
3、获取天体表面的图片信息，并基于所述图片信息构建天体的三维地形模型，以urdf(u
4、在物理引擎中导入所述巡视探测器的所述模型信息和所述三维地形模型；
5、施加各种不同类型的控制量来模拟探测器运动，生成仿真数据集；
6、建立动力学环境与强化学习算法交互的标准接口，添加强化学习模块，将所述仿真数据集输入到所述强化学习模块进行强化学习训练。
7、与现有技术相比，本专利技术提供的微重力环境下巡视探测器强化学习训练方法的有益效果包括：
8、本专利技术提供的微重力环境下巡视探测器强化学习训练方法，利用三角剖分和地形重建方法，将天体表面照片和三维扫描图转换到训练环境中，将其作为环境状态的一部分输入强化学习算法，进而得到巡视探测器每一步动作决策，有利于巡视探测器基于不同的任务需求开展控制决策模型的快速训练和部署。
9、根据本专利技术的一些实施例，所述基于所述图片信息构建天体的三维地形模型，包括步骤：
10、对所述图片信息进行预处理和图像校正，以消除噪音和畸变；
11、利用计算机视觉技术，提取图像中的关键特征点作为地形重建的基础，所述关键特征点包括：表面凹凸、边缘和纹理；
12、基于所述关键特征点使用三维重建算法来推导天体表面的几何结构，并结合立体视觉和三角测量技术，根据所述图片信息中的视差信息计算出每个所述关键特征点的空间位置，通过三角剖分方法生成所述三维地形模型；
13、在生成的所述三维地形模型上，将图像纹理贴图到所述三维地形模型上进行融合，以保留地表的视觉特征；
14、采用平滑算法对天体表面的所述几何结构进行平滑处理，消除所述三维地形模型中的噪音和不连续性。
15、根据本专利技术的一些实施例，所述以urdf格式定义所述巡视探测器的模型信息，包括步骤：
16、定义巡视探测器链接：使用<link>标签定义所述巡视探测器的各个链接，包括：链接的名称、几何形状、质量和惯性信息；
17、定义巡视探测器关节：使用<joint>标签定义所述巡视探测器的关节，包括：关节的类型、父链接和子链接、关节轴向和关节限制信息；
18、定义巡视探测器传感器：使用<sensor>标签定义所述巡视探测器的传感器，包括：摄像头、激光雷达和惯性测量单元；在所述传感器的参数中定义所述传感器的类型、位置、方向、视场角信息，以及所述传感器的数据发布方式和格式。
19、在所有信息定义完成后，进行语法检查和模型验证，确保文件格式正确并符合urdf标准。
20、根据本专利技术的一些实施例，所述施加各种不同类型的控制量来模拟探测器运动，生成大量的仿真数据集，包括步骤：
21、在仿真过程中，施加各种不同类型的所述控制量，所述控制量包括：推力和转矩，模拟所述巡视探测器执行各种任务时的运动轨迹和姿态变化，生成大量的所述仿真数据集。
22、根据本专利技术的一些实施例，所述建立动力学环境与强化学习算法交互的标准接口，包括：
23、用于加载动力学环境的env.load（*）接口函数，通过所述env.load（*）接口函数将所述三维地形模型文件导入至所述物理引擎中，通过所述env.load（*）接口函数指定所述三维地形模型的stl文件路径、表面纹理信息、弹性系数、摩擦系数；
24、用于初始化所述巡视探测器的状态量和动作量的env.init（*）接口函数，所述状态量包括：位置、速度、姿态信息，以及定义所述巡视探测器可采取的所述动作量，所述状态量和所述动作量作为强化学习算法的输入；
25、用于关闭动力学环境的env.close（*）接口函数，所述env.close（*）接口函数用于关闭仿真环境，释放资源并清理环境，在完成仿真任务或结束训练后调用；
26、用于动力学环境单步仿真的env.step（*）接口函数，用于在仿真环境中执行一步动作，并返回新的状态、奖励值和是否结束的信息，所述env.step（*）接口函数的调用将触发仿真环境中所述巡视探测器的运动，并根据仿真环境的反馈信息更新强化学习算法的状态；
27、用于可视化输出的env.render（*）接口函数，所述env.render（*）接口函数用于将仿真环境的当前状态可视化输出，以便观察所述巡视探测器的运动和环境的变化，所述env.render（*）接口函数用于调试和可视化仿真过程中的结果。
28、根据本专利技术的一些实施例，所述添加强化学习模块，包括步骤：
29、链接强化学习算法库，所述强化学习算法库包括：openai gym、tensorflowagents、stable baselines，强化学习算法包括：深度q网络（dqn）、策略梯度方法（pg）、行动者-评论家算法（a2c）；
30、基于具体的所述巡视探测器的类型设计任务指标；
31、考虑所述巡视探测器的特性和任务需求，定义任务指标，所述任务指标包括：所述巡视探测器的姿态稳定性、路径规划的有效性、能源利用效率，用于评估所述巡视探测器在微重力环境下的性能和行为；
32、定义状态空间和动作空间；
33、所述状态空间包括：位置、速度、姿态信息，所述动作空间包括所述巡视探测器的动作：推进器的喷射力、反作用轮的转速，通本文档来自技高网...
【技术保护点】
1.微重力环境下巡视探测器强化学习训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述基于所述图片信息构建天体的三维地形模型，包括步骤：
3.根据权利要求1或2所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述以URDF格式定义巡视探测器的模型信息，包括步骤：
4.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述施加各种不同类型的控制量来模拟探测器运动，生成大量的仿真数据集，包括步骤：
5.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述建立动力学环境与强化学习算法交互的标准接口，包括：
6.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述添加强化学习模块，包括步骤：
7.根据权利要求6所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述添加强化学习模块，还包括步骤：
8.一种电子设备，其特征在于，包括处理器，存储器及存储在所述
...【技术特征摘要】
1.微重力环境下巡视探测器强化学习训练方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述基于所述图片信息构建天体的三维地形模型，包括步骤：
3.根据权利要求1或2所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述以urdf格式定义巡视探测器的模型信息，包括步骤：
4.根据权利要求1所述的微重力环境下巡视探测器强化学习训练方法，其特征在于，所述施加各种不同类型的控制量来模拟探测器运动，生成大量的仿真数据集，包括步骤：
5.根据权利要求1所述的微重...
【专利技术属性】
技术研发人员：黄河，李泽健，周军，高嘉胜，
申请(专利权)人：西北工业大学宁波研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。