【技术实现步骤摘要】
本专利技术属于仿生波动鳍减阻实验技术测量领域，具体涉及一种基于强化学习的仿生波动鳍减阻装置及方法。
技术介绍
1、水下推进技术是一门研究将能源动力转变成水面及水下航行体行进推力的理论和方法的技术，也是水面及水下海洋装备的重要核心技术。在军用领域里，水下推进器性能直接决定了海军装备的快速性、续航力、隐身性等技术指标，迫切需要突破具有低噪声、高临界航速以及强机动性的水下推进技术，支撑我国海军装备现代化升级。然而目前常规推进器的低空泡、低噪声性能已到瓶颈，亟需颠覆性技术突破，而仿生波动鳍由于具有高效率、低噪声、低振动等综合性能以及面向复杂多变的海洋环境的高机动、高强度、高精度作业任务的特性而广泛受到关注。而目前对于仿生波动鳍减阻研究，虽然在理论方面有较为深入的研究，但是，多集中在外形轮廓设计、波动方程拟合以及波动鳍表面减阻材料的选取，缺乏一种在波动鳍游动过程中主动控制算法，实现对于波动鳍智能减阻。同时，也不具备在主动控制条件下，对仿生波动鳍游动过程中尾部产生的精细流场进行测量装置，从而导致无法实现从流场演化机理角度，探究主动控制减阻的可行性。
2、综上可知，目前对于仿生波动鳍的主动减阻流场测量相关实验并不完善，测量方案也并不成熟。因此形成一套完整的测试系统及基于强化学习的仿生波动鳍减阻方法，对于仿生波动鳍的减阻研究，具有重要意义。
技术实现思路
1、本专利技术的目的在于提供一种基于强化学习的仿生波动鳍减阻装置及方法，实现对于波动鳍运动过程中的智能减阻，为仿生波动鳍从实验机理上
2、本专利技术的目的通过如下技术方案来实现：
3、一种基于强化学习的仿生波动鳍减阻装置，包括：透明水箱，所述透明水箱内放置有仿生波动鳍，所述仿生波动鳍外部连接舵机以及舵机摆杆，用于控制仿生波动鳍进行摆动；所述仿生波动鳍上安装有贴片阻力传感器，用于测量仿生波动鳍运动过程中所受的阻力；所述仿生波动鳍两侧具有微型气泡孔，所述微型气泡孔与电机控制箱电连接，所述电机控制箱控制所述微型气泡孔通气或者吸气；高频双脉冲激光器、相机同步器、反光棱镜放置在所述的透明水箱下方，所述高频双脉冲激光器发出的激光经由反光棱镜，将激光反射至所述的仿生波动鳍后方的流场区域；所述相机同步器用于控制所述的高频双脉冲激光器以及高速相机同步运行；所述电机控制箱、所述相机同步器分别与主动控制系统连接。
4、进一步地，所仿生波动鳍的材料为密度与水近似、延展性高、表面光滑以及疏水性良好的硅胶。
5、进一步地，所述高频脉冲激光器发出激光波长为激光波长为532nm，所述高频脉冲激光器的脉冲激光片厚度为0.6mm。
6、进一步地，所述电机控制箱内部放置有气泵、电机、阻力数据采集模块以及单片机控制模块，用于控制波动鳍运动，收集阻力数据以及外部微型气泡孔吸气或者喷气。
7、进一步地，所述高速相机为12位精度ccd相机，相机分辨率为2048pixels×2048pixels。
8、本专利技术还可以包括：一种如上述的基于强化学习的仿生波动鳍减阻装置的减阻方法，该方法包括步骤：
9、进行试验时，开启高频双脉冲激光器和高速相机，高频双脉冲激光器激光波长为532nm，脉冲激光片厚度为0.6mm的激光，经反射棱镜，照射到仿生波动鳍后部的待测流场；同时，由电机控制箱发出电信号驱使仿生波动鳍连接舵机以及舵机摆杆进行摆动，待仿生波动鳍运动稳定后，贴片阻力传感器将波动鳍上所受到的阻力值，反馈回电机控制箱单片机模块，最终传输进主动控制处理系统；通过主动控制处理系统中强化学习算法，反馈出微型气泡孔吹吸气速度；此外，高速相机记录控制微型气泡孔吹吸气的流场特征。
10、进一步地，所述主动控制处理系统中所使用的基于强化学习算法ddpg组成，通过电机控制箱反馈的阻力值，对微型气泡孔吹吸气速度进行控制，其内部算法是对于在获得现实策略网络提供的动作a,即电机控制箱反馈的阻力值之后，主动控制系统会返回下一时刻的状态s’和奖励值r，其中状态s是阻力值f，而r是关于阻力值的函数式，如下式所示：
11、r＝α·f+b (1)
12、其主要目的是当阻力值f增大时，减小r；
13、将表示在当前状态s时，实施动作a，获得的奖励值与下一时刻的状态s’组合成一个经验元组{s,a,r,s’}，并将其放入经验回放池内，用完之后从经验回放池中随机采样n个经验元组；随后，从经验回放池中采样s和a，将其输入到现实q网络中，得到现实q值；然后，从经验回放池中采样s’，输入目标策略网络中，得到下一时刻动作a’，即控制微型气泡孔吹吸气速度；并把它和经验回放池中采样得到s’和r一起输入到目标q网络中，获得目标q值；智能算法的目标就是让目标q值尽可能地接近0，即将阻力值尽可能降低；同时，采用优化器更新现实策略网络；
14、梯度更新使用确定性策略梯度方法，通过最小化价值网络的损失函数和最大化策略网络对输出动作的q值，实现逐步智能体的决策策略，以实现更优的动作选择；即确定哪些微型气泡进行吹气或吸气，同时确定吹吸气速度；然后，用软更新方法把这两个现实网络的参数去替换另外两个目标网络；
15、下一步，用更新完毕的现实策略网络输出a，同时并添加随机噪声，以提高系统的鲁棒性；最后，动作a输出给主动控制系统，形成循环过程，重复上述步骤，直到达到预定的性能要求。
16、进一步地，所述经验回放是为了解决样本相关性，打破时间相关，使强化学习过程训练更加平稳；同时，提高采样数据的利用率。
17、本专利技术的有益效果在于：
18、本专利技术的仿生波动鳍减阻装置和方法的设计，不同于传统的减阻装置，在设计过程中充分考虑流场在波动鳍运动过程中与阻力之间的相互耦合机制，从实验机理上角度出发，更好地探究波动鳍流场形态演化规律与波动减阻之间相互影响，为仿生波动鳍的进一步减阻研究提供技术支撑。
19、本专利技术基于ddpg的强化学习算法，建立仿生波动鳍减阻损失函数，完善了微型气泡孔吹吸气动作的评分体系，从而进一步提升仿生波动鳍减阻装置在不同环境下的适应能力，使其能根据环境的变换进行实时反馈调整，增加减阻装置的适应性及鲁棒性，具有面向复杂多变的海洋环境的高机动、高强度、高精度作业任务特性。
本文档来自技高网...【技术保护点】
1.一种基于强化学习的仿生波动鳍减阻装置，其特征在于，包括：透明水箱(7)，所述透明水箱(7)内放置有仿生波动鳍(8)，所述仿生波动鳍(8)外部连接舵机以及舵机摆杆，用于控制仿生波动鳍进行摆动；所述仿生波动鳍(8)上安装有贴片阻力传感器(10)，用于测量仿生波动鳍运动过程中所受的阻力；所述仿生波动鳍(8)两侧具有微型气泡孔(9)，所述微型气泡孔(9)与电机控制箱(1)电连接，所述电机控制箱(1)控制所述微型气泡孔(9)通气或者吸气；高频双脉冲激光器(4)、相机同步器(3)、反光棱镜(5)放置在所述透明水箱(7)下方，所述高频双脉冲激光器(4)发出的激光经由反光棱镜(5)，将激光反射至所述仿生波动鳍(8)后方的流场区域；所述相机同步器(3)用于控制所述高频双脉冲激光器(4)以及高速相机(6)同步运行；所述电机控制箱(1)、所述相机同步器(3)分别与主动控制系统(2)连接。
2.根据权利要求1所述的基于强化学习的仿生波动鳍减阻装置，其特征在于，所述仿生波动鳍(8)的材料为密度与水近似、延展性高、表面光滑以及疏水性良好的硅胶。
3.根据权利要求1所述的基于强化学
4.根据权利要求1所述的基于强化学习的仿生波动鳍减阻装置，其特征在于，所述电机控制箱(1)内部放置有气泵、电机、阻力数据采集模块以及单片机控制模块，用于控制波动鳍运动，收集阻力数据以及外部微型气泡孔吸气或者喷气。
5.根据权利要求1所述的基于强化学习的仿生波动鳍减阻装置，其特征在于，所述高速相机为12位精度CCD相机，相机分辨率为2048pixels×2048pixels。
6.一种如权利要求1-5之一所述的基于强化学习的仿生波动鳍减阻装置的减阻方法，其特征在于，该方法包括步骤：
7.根据权利要求6所述的基于强化学习的仿生波动鳍减阻装置的减阻方法，其特征在于，所述主动控制处理系统(2)中所使用的基于强化学习算法DDPG组成，通过电机控制箱(1)反馈的阻力值，对微型气泡孔吹吸气速度进行控制，其内部算法是对于在获得现实策略网络提供的动作a,即电机控制箱(1)反馈的阻力值之后，主动控制系统(2)会返回下一时刻的状态s，和奖励值r，其中状态s是阻力值f，而r是关于阻力值的函数式，如下式所示：
8.根据权利要求7所述的基于强化学习的仿生波动鳍减阻装置的减阻方法，其特征在于，所述经验回放是为了解决样本相关性，打破时间相关，使强化学习过程训练更加平稳；同时，提高采样数据的利用率。
...【技术特征摘要】
1.一种基于强化学习的仿生波动鳍减阻装置，其特征在于，包括：透明水箱(7)，所述透明水箱(7)内放置有仿生波动鳍(8)，所述仿生波动鳍(8)外部连接舵机以及舵机摆杆，用于控制仿生波动鳍进行摆动；所述仿生波动鳍(8)上安装有贴片阻力传感器(10)，用于测量仿生波动鳍运动过程中所受的阻力；所述仿生波动鳍(8)两侧具有微型气泡孔(9)，所述微型气泡孔(9)与电机控制箱(1)电连接，所述电机控制箱(1)控制所述微型气泡孔(9)通气或者吸气；高频双脉冲激光器(4)、相机同步器(3)、反光棱镜(5)放置在所述透明水箱(7)下方，所述高频双脉冲激光器(4)发出的激光经由反光棱镜(5)，将激光反射至所述仿生波动鳍(8)后方的流场区域；所述相机同步器(3)用于控制所述高频双脉冲激光器(4)以及高速相机(6)同步运行；所述电机控制箱(1)、所述相机同步器(3)分别与主动控制系统(2)连接。
2.根据权利要求1所述的基于强化学习的仿生波动鳍减阻装置，其特征在于，所述仿生波动鳍(8)的材料为密度与水近似、延展性高、表面光滑以及疏水性良好的硅胶。
3.根据权利要求1所述的基于强化学习的仿生波动鳍减阻装置，其特征在于，所述高频脉冲激光器(4)发出激光波长为激光波长为532nm，所述高频脉冲激光器(4)的脉冲激光片厚度为0.6mm。...
【专利技术属性】
技术研发人员：郭春雨，汪永号，韩阳，王超，王崇磊，杜登伟，张浩然，吴延园，高铭辰，冀明磊，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。