【技术实现步骤摘要】
本专利技术涉及喷水推进船舶的运动控制，具体地指一种基于深度强化学习的喷水推进船舶波浪中智能制导和路径跟踪自适应控制方法。
技术介绍
1、船舶路径跟踪控制就是设计船舶在不同控制要求下的路径跟踪控制器，使得船舶在控制器的作用下能够跟踪并最终稳定在预定的参考路径上。对于船舶具有强非线性、大时滞、大惯性等特点，加上外部环境干扰力的影响，使得设计路径跟踪控制器的困难加大。船舶路径跟踪控制目前最常用的方式是结合制导方法的pid航向控制。制导方法是将路径转成期望航向，加上pid航向控制就可以达到路径跟踪的目的。常规制导结合pid控制方法虽然结构简单，控制精度依赖于初始设定参数，尤其是船舶在遭遇不同浪况下，需要人工调节参数，无法适应船舶智能航行控制的要求。所以船舶在复杂环境下结合智能制导和控制是提船舶智能化水平中所迫切需要解决的一个关键问题。
2、结合深度学习和强化学习，silver等提出了深度强化学习(deep reinforcementlearning,drl)技术。因为drl算法可以自适应地改变策略，不需要人为干预；而且不需要明确的模型，可以直接从环境中学习等优点，目前广泛适用于机器人控制、无人机航控等方面。
技术实现思路
1、针对船舶路径跟踪控制方法在复杂环境下难以有效智能制导和控制的问题，提出了一种适用于喷水推进船的智能制导和路径跟踪方法。
2、本专利技术的目的在于提供一种基于深度强化学习下的喷水推进船智能制导方法，该方法能实现对波浪中喷水推进船舶期望航向角的智能
3、本专利技术的技术方案为：
4、一种适用于喷水推进船的智能制导方法，包括以下步骤：
5、步骤1：确定喷水推进船舶的跟踪路径轨迹，设置路径点；
6、步骤2：设计喷水推进船舶跟踪自适应控制的智能制导；
7、步骤2.1：通过当前路径点和下一个路径点，采用los方法基于即视线的制导方法，初步确定期望首相角度；
8、步骤2.2：使用基于drl的智能制导方法计算期望首相角，抵抗不同环境干扰，使船舶精确地在当前期望首相角上航行；
9、步骤3：使用由步骤2求解的期望首向角，结合pid控制方法，计算下一步喷泵转角，达到下一个路径点位置，并进行步骤1的下一个路径点循环，直至完成整个期望轨迹。
10、进一步的，具体步骤如下：
11、步骤1：确定喷水推进船舶的跟踪路径轨迹，设置路径点；
12、p0＝[x,y]τ为船舶当前位置，pk-1＝[xk-1,yk-1]τ为前一时刻航线点，pk＝[xk,yk]τ为当前时刻航线点；
13、步骤2：设计喷水推进船舶跟踪自适应控制的智能制导；
14、步骤2.1：通过当前路径点和下一个路径点，基于los方法，初步确定期望首相角度：
15、δ为前视距离，plos＝[xlos,ylos]τ为当前时刻的los位置,ye为p0距期望轨迹pk-1pk的垂直距离，即船舶当前的横向偏差，γp为路径线与坐标轴的夹角；对于直线轨迹跟踪，基于los方法的期望航向角
16、
17、步骤2.2：使用基于深度强化学习的智能制导方法计算期望首相角，抵抗不同环境干扰，使船舶精确地在当前期望首相角上航行；
18、首先建立一个喷水推进船舶运动仿真模型：
19、
20、式中，m为船体质量，mx、my为船体纵向和横向附加质量，iz是绕z轴的惯性矩，jz为绕z轴的附加惯性矩，u,v,r为船体的纵向、横向和转首角速度，对应响应加速度，t为喷水推进泵推力，δ为喷泵转角，r为船体航行阻力，τxw、τyw、τnw是对应的环境波浪力，xvv、xvr、xrr、yv、yr、yv|v|、yvvr、yvrr、yr|r|、nv、nr、nv|v|、nvvr、nvrr、nr|r|分别为对应的水动力导数；
21、基于喷水推进船舶运动仿真模型建立一个drl智能体，即在一个环境中通过自主学习并采取行动以最大化其累积奖励的智能系统；包含环境environment：智能体与之交互的外部环境；环境定义为喷水推进船舶运动仿真模型；环境在每个时间步上接收智能体计算出的动作，并返回一个新的状态和奖励；状态state：喷水推进船在特定时间点的运动状态描述；动作action：智能体在每个时间步选择的行为；动作空间定义了智能体所有可能的动作集合；奖励reward：环境在智能体执行某个动作后给出的反馈信号；策略policy：智能体决定在每个状态下选择哪个动作的规则或函数；采用ppo算法更新神经网络；具体的drl智能体定义如下：
22、动作：首相角变化角度为输出动作，范围分别为[-π,π]；由于los计算的首相角无法自适应不同波浪环境的影响，故在los制导计算出期望首相角基础上，叠加一个智能变化量
23、状态：10维变量其中t时刻首向角误差e(t)为当前首相角，作为状态之一因为目的就是首向角控制，速度和加速度作为状态之一因为其可以帮助drl智能体反映波浪力；
24、奖励r：
25、
26、n代表一个轨迹总步数，emin定义为：
27、
28、首先基于船当前状态state首向角ψ和期望航向角ψd的差值加drl智能体动作输出的首相角偏差之和作为反馈信息，状态state通过环境获得，并传入drl智能体；奖励值通过state基于公式(3)计算获得，也传入drl智能体评判当前状态是否可行；之后，drl智能体会发出action指令，即为收到了drl智能体给出的action，并基于环境中获得的当前首向角误差e(t)；基于pid控制如公式(5)，计算出当前喷泵转角rudder变量δδ(t)，发出喷泵转角指令给智能体环境，此后船进入下一个状态state；(state，reward，action)这三项形成一个转移transition；所有的转移存储在drl智能体中，用于ppo算法更新网络参数；网络训练完成后，形成一套基于深度强化学习的智能制导方法计算期望首相角方法ppo-guidance；
29、pid控制计算公式为：
30、
31、式中，kp、ki和kd是pid控制参数；
32、步骤3：使用由步骤2求解的期望首向角，结合pid控制方法，计算下一步喷泵转角，达到下一个路径点位置，并进行步骤1的下一个路径点循环，直至完成整个期望轨迹。
33、进一步的，一般δ＝3～5lpp，lpp是船长。
34、进一步的，步骤2.1中，期望航向角也即视线角度。
35、进一步的，步骤2.2中，奖励是一个标量，表示该动作的即时收益。
36、进一步的，步骤2.2中，智能体的目标是通过选择动作来最大化其累积奖励。
37、进一步的，步骤2.2中，在深度强化学习中，策略通常由一个深度本文档来自技高网...
【技术保护点】
1.一种适用于喷水推进船的智能制导方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，具体步骤如下：
3.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤1中，一般Lpp是船长。
4.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.1中，期望航向角也即视线角度。
5.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.2中，奖励是一个标量，表示该动作的即时收益。
6.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.2中，智能体的目标是通过选择动作来最大化其累积奖励。
7.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.2中，在深度强化学习中，策略通常由一个深度神经网络表示。
8.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤1中，emin初始值设置为0。
9.根据权利要求1所述的适用于喷水推进船的智能制导
10.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，该方法可设计自适应的航向控制律，抵抗不同浪况的干扰；消除船舶横向稳态偏差，精准地跟踪目标轨迹。
...【技术特征摘要】
1.一种适用于喷水推进船的智能制导方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，具体步骤如下：
3.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤1中，一般lpp是船长。
4.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.1中，期望航向角也即视线角度。
5.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.2中，奖励是一个标量，表示该动作的即时收益。
6.根据权利要求1所述的适用于喷水推进船的智能制导方法，其特征在于，步骤2.2中，智能体的...
【专利技术属性】
技术研发人员：张伟，刘义，沈佳诚，郭浩，李智敏，
申请(专利权)人：中国船舶集团有限公司第七○八研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。