【技术实现步骤摘要】
本专利技术涉及智能移动载体领域，具体为一种多移动载体秩序化作业控制方法。
技术介绍
1、在诸如航站楼等大型公共场所，移动载体需要为旅客提供便捷搭乘服务，在多移动载体系统中，移动载体通过协同编队可以高效地执行单一移动载体难以完成的任务。
2、但是现有技术在实际使用时，多移动载体系统作业与移动过程中，传统的协同编队控制和避障算法在处理已知环境或静态障碍物时表现良好，但在面对动态、未知或复杂环境时存在局限性。
技术实现思路
1、本专利技术的目的在于提供一种多移动载体秩序化作业控制方法，以解决传统的协同编队控制和避障算法在处理复杂、动态环境时存在局限性的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种多移动载体秩序化作业控制方法，包括以下步骤：
3、s1、模拟真实环境构建仿真环境与移动载体模型，定义每个移动载体的观测空间和动作空间；
4、s2、根据移动载体编队与舒适性任务分阶段设计时序奖励函数，所述奖励函数包括移动奖励、编队奖励、状态奖励、加速度奖励以及角加速度奖励；
5、s3、构建包括actor网络和critic网络的强化学习网络框架，其中actor网络用于输出移动载体的速度和角速度信息，critic网络用于输出在当前状态下获得的奖励数据；
6、s4、在步骤s1中的仿真环境中进行编队仿真训练，根据步骤s3中的强化学习网络框架采样仿真环境与移动载体的交互数据，对移动载体的动作进行决策，并收集经验数据；>
7、s5、当收集步骤s4中经验数据的经验存储器的值到达预设值时，开始更新优化策略，基于maddpg算法，利用经验池中的数据对步骤s3中actor网络和critic网络进行更新，将新的网络参数部署到移动载体，保证多移动载体采用最新的策略；
8、s6、在无障碍物、固定障碍物和随机生成障碍物位置的环境中，导入步骤s5得到理想的编队模型继续训练，直至整体奖励函数收敛且完成编队任务，完成所有阶段性训练，重复步骤s5和步骤s6，直到获得理想的编队模型；
9、s7、在实际环境中，将步骤s6训练好的编队模型部署到每个移动载体上，调用激光雷达的点云信息和里程计信息，根据每个移动载体所处的位置与姿态通过调用模型输出对应的策略与动作指令，完成编队任务。
10、优选的，所述步骤s1中仿真环境是基于航站楼内部真实环境搭建的，并结合航站楼内部固定障碍物和一些随机障碍物生成模拟现实的仿真环境。
11、优选的，所述步骤s2中：
12、移动奖励表示移动载体与目标点之间的距离变化，保证移动载体朝着目标点移动；
13、编队奖励表示移动载体之间的位置关系是否为设定值；
14、状态奖励表示当移动载体到达目标点或者发生碰撞时仿真结束；
15、加速度奖励和角加速度奖励分别对移动载体的速度和角速度进行舒适性限制。
16、优选的，所述步骤s3中构建包括actor网络和critic网络的强化学习网络框架具体为：
17、建立actor网络以获取激光雷达点云数据、里程计信息，并输出移动载体的速度和角速度信息；
18、建立critic网络以获取当前移动载体的相对位置和速度信息，并输出在当前状态下所获得的奖励数据。
19、优选的，所述步骤s4中采样过程包括对多移动载体与仿真环境的交互进行采样，每个移动载体将自己的观察数据输入自己的actor网络中生成下一步的动作，并使用critic网络对移动载体的状态进行价值评估获得奖励数据，将所有移动载体的经验保存至经验池中。
20、优选的，所述步骤s5中maddpg算法是在ddpg算法的基础上从单个智能体扩展至多个智能体，并加入集中式训练和分布式执行的思想，对所有移动载体的整体奖励数据进行评估，并将采样的动作速度和角速度值限制在一定范围内。
21、优选的，所述步骤s6中导入步骤s5得到理想的编队模型继续训练具体为：
22、s61、在无障碍物场景中进行训练，此阶段的奖励函数只包括移动奖励和编队奖励，直至奖励收敛且完成编队任务，开始进入下一阶段训练；
23、s62、在固定障碍物场景中进行训练，此阶段的奖励函数包含移动奖励、编队奖励、状态奖励、加速度奖励以及角加速度奖励，直至整体奖励函数收敛且完成编队任务后，开始进入下一阶段训练；
24、s63、在固定障碍物场景的基础上加入多个随机生成的动态障碍物进行训练，此阶段的奖励函数与步骤s63相同，直至整体奖励函数收敛且完成编队任务时，结束训练。
25、与现有技术相比，本专利技术的有益效果是：
26、本专利技术通过模拟航站楼内部环境构建仿真环境与移动载体模型，并结合强化学习框架，使得移动载体能够在接近真实场景的环境中进行训练，设计了不同的秩序化奖励函数，以随机生成障碍物的位置进行训练，最终得到每个移动载体的神经网络模型，不仅有效解决了多移动载体秩序化算法在复杂环境中收敛速度慢的问题，还显著提高了多移动载体秩序化的鲁棒性和安全性，采用了分阶段的思想，从简单的无障碍物场景开始，逐步过渡到包含固定障碍物和动态障碍物的复杂场景，确保了模型在不同环境下的适应性和稳定性，同时，通过设计包含移动奖励、编队奖励、状态奖励、加速度奖励以及角加速度奖励的奖励函数，能够引导移动载体朝着目标点移动，保持队形，避免碰撞，并在保证效率的同时提升乘客的舒适性。
27、本专利技术还采用了集中式训练、分布式执行的思想，利用maddpg算法对所有移动载体的整体奖励数据进行评估，从而更新网络参数，这一策略避免了局部收敛问题，提高了算法的稳定性，同时，分阶段训练的思想也使得编队模型能够逐步适应从简单到复杂的训练环境，最终在有随机生成障碍物位置的环境中也能实现理想的编队效果。
本文档来自技高网...【技术保护点】
1.一种多移动载体秩序化作业控制方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S1中仿真环境是基于航站楼内部真实环境搭建的，并结合航站楼内部固定障碍物和一些随机障碍物生成模拟现实的仿真环境。
3.根据权利要求2所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S2中：
4.根据权利要求3所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S3中构建包括actor网络和critic网络的强化学习网络框架具体为：
5.根据权利要求4所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S4中采样过程包括对多移动载体与仿真环境的交互进行采样，每个移动载体将自己的观察数据输入自己的actor网络中生成下一步的动作，并使用critic网络对移动载体的状态进行价值评估获得奖励数据，将所有移动载体的经验保存至经验池中。
6.根据权利要求5所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S5中MADDPG算法是在DDPG算法的基础上从单
7.根据权利要求6所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤S6中导入步骤S5得到理想的编队模型继续训练具体为：
...【技术特征摘要】
1.一种多移动载体秩序化作业控制方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤s1中仿真环境是基于航站楼内部真实环境搭建的，并结合航站楼内部固定障碍物和一些随机障碍物生成模拟现实的仿真环境。
3.根据权利要求2所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤s2中：
4.根据权利要求3所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤s3中构建包括actor网络和critic网络的强化学习网络框架具体为：
5.根据权利要求4所述的一种多移动载体秩序化作业控制方法，其特征在于：所述步骤s4中采样过程包括...
【专利技术属性】
技术研发人员：高庆吉，曹文博，牛国臣，张高巍，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。