一种基于OpenCV与深度学习的水面物体打捞方法及打捞船技术

本发明专利技术公开了一种基于OpenCV与深度学习的水面物体打捞方法及打捞船，包括：获取船体前方区域图像，采用OpenCV图像预处理方法对得到的区域图像进行预处理，得到具有物体矩形轮廓的区域图像；通过采用训练好的Mobilenet SSD模型对步骤1得到的图像进行目标检测，仅对待打捞物体进行操作，驱动船体靠近船体前方物体，直至船体与船体前方物体之间的实时距离L在机械臂可伸长至触碰的范围；获取当前船体前方区域图像，判断当前物体中心是否位于区域图像中心处，若处于，则控制机械臂进行抓取动作；若不处于，则根据当前物体中心与区域图像中心的位置关系，调整船体位置。调整船体位置。调整船体位置。

【技术实现步骤摘要】
一种基于OpenCV与深度学习的水面物体打捞方法及打捞船


[0001]本专利技术属于智能船舶
，具体涉及一种基于OpenCV与深度学习的水面物体打捞方法及打捞船。

技术介绍

[0002]随着计算机技术的快速发展，许多传统工业领域也逐渐实现智能化，计算机智能处理技术已经成为当下热门。在机械、建筑、造船等传统重工业领域也出现了翻天覆地的变化，计算机视觉是带来这些改变的重要因素。计算机图像处理技术在各个领域都发挥着重要的作用，比如交通运输、建筑安全、物流配送、医学图像等。目前最尤为突出就是自动驾驶技术，计算机视觉的发展加速了实现无人驾驶技术的成功应用，包括无人机、无人车以及无人船也逐渐投入到生产生活之中。
[0003]现有的打捞方法大多是通过人工操作进行实际作业，并且尚未有较为智能化的智能打捞船的专利技术设计，传统人工作业成本高。目前没有结合图像处理技术来设计的水面打捞系统，如何实现打捞作业智能化是仍未能解决的问题。

技术实现思路

[0004]专利技术目的：为弥补尚未有智能打捞船方法的空缺，本专利技术提出了一种基于计算机视觉技术的水面漂浮物自动打捞方法及打捞船，该方法能够弥补传统打捞作业完全依赖人工操作的弊端，满足实际应用中的需求。
[0005]技术方案：一种基于OpenCV与深度学习的水面物体打捞方法，应用于打捞船，所述打捞船包括船体、设置在所述船体前端的机械臂、用于控制机械臂动作的机械臂舵机和用于调整船体位置的螺旋桨；包括以下步骤：
[0006]S100：获取船体前方物体所在区域图像，采用OpenCV图像预处理方法对得到的船体前方物体所在区域图像进行预处理，得到具有物体矩形轮廓的区域图像，得到物体范围图像；
[0007]S200：通过采用训练好的Mobilenet SSD模型对步骤1得到的物体范围图像进行目标检测，并判断船体前方物体是否为待打捞物体，若为待打捞物体，则执行S300；否则不做任何处理；
[0008]S300：驱动船体靠近待打捞物体，并实时测定船体与待打捞物体之间的实时距离L，直至船体与待打捞物体之间的实时距离L在机械臂可伸长至触碰的范围内时，执行S400；
[0009]S400：获取当前船体前方物体所在区域图像，采用OpenCV图像预处理方法对得到的当前船体前方物体所在区域图像进行预处理，得到具有物体矩形轮廓的区域图像，得到区域图像中的物体范围图像；
[0010]S500：记具有物体矩形轮廓的区域图像的中心处所处的竖直轴为纵轴，其所处的水平轴为横轴；判断物体范围图像是否位于具有物体矩形轮廓的区域图像的纵轴
±
误差范围内，若位于，则执行S600；否则根据物体范围图像与具有物体矩形轮廓的区域图像的纵轴
之间的位置关系，控制螺旋桨调整船体位置，而后执行S400；
[0011]S600：判断物体范围图像是否位于具有物体矩形轮廓的区域图像的横轴
±
误差范围内，若位于，则控制机械臂进行抓取动作，以实现打捞目的；否则执行S700；
[0012]S700：根据物体范围图像与具有物体矩形轮廓的区域图像的横轴之间的位置关系，调整采集当前船体前方物体所在区域图像的角度，而后执行S400。
[0013]进一步的，所述OpenCV图像预处理方法包括依次执行以下步骤：
[0014]采用cap.set()方法对图像进行分辨率降低处理；
[0015]采用双边滤波bilateralFilter()函数进行滤波去噪；
[0016]调用cvtColor函数将滤波去噪后的图像转化成灰度图；
[0017]采用平均值法，将灰度图进行阈值二值化处理；
[0018]将阈值二值化后的图像进行形态学操作，得到物体轮廓；
[0019]对物体轮廓进行矩形绘制，得到具有物体矩形轮廓的区域图像。
[0020]进一步的，S300具体包括以下步骤：
[0021]设定可参考距离常量m，当L>m时，表示物体不在可抓取范围，控制两个螺旋桨转动，机械臂舵机保持初始状态，使船体靠近船体前方物体；当L＝m时，表示船体与船体前方物体之间的实时距离L在机械臂可伸长至触碰的范围。
[0022]本专利技术还公开了一种基于OpenCV与深度学习的水面物体打捞船，包括船体、用于控制船体行进的驱动机构和物体打捞机构；
[0023]所述物体打捞机构包括机械臂、机械臂舵机、控制单元、用于获取船体前方物体所在区域图像的图像获取单元和测距单元，所述机械臂舵机控制机械臂动作，所述机械臂、图像获取单元、测距单元均与控制单元连接；
[0024]所述控制单元内置水面物体打捞算法，对机械臂、图像获取单元和测距单元进行控制，所述水面物体打捞算法上述公开的一种基于OpenCV与深度学习的水面物体打捞方法。
[0025]进一步的，所述船体为双体船船体。
[0026]进一步的，所述双体船船体由两条单体船身通过船体连接平台合并而成。
[0027]进一步的，所述图像获取单元为摄像头云台。
[0028]进一步的，所述驱动机构包括驱动电机、螺旋桨双桨和控制电路模块；所述控制电路模块用于接收来自控制单元的控制命令，对驱动电机进行控制，所述驱动电机用于驱动螺旋桨双桨转动，所述螺旋桨双桨用于控制船体的运动方向和速度，该螺旋桨双桨安装于船体艉部。
[0029]有益效果：本专利技术与现有技术相比，具有以下优点：
[0030](1)本专利技术将OpenCV图像处理以及深度学习算法，与电机以及机械臂的操作原理进行结合，以实现智能化水面打捞；
[0031](2)本专利技术利用事先训练好的Mobilenet SSD模型进行目标检测，增加了该方法的可靠性以及复用性。
附图说明
[0032]图1为本专利技术的机械结构图；
[0033]图2为图像采集及处理流程图；
[0034]图3为Mobilenet SSD模型结构图；
[0035]图4为系统结构流程图；
[0036]图5为摄像头接收到的实时画面示意图。
具体实施方式
[0037]下面结合附图和实施例进一步阐述本专利技术。
[0038]本专利技术的一种基于OpenCV与深度学习的水面物体打捞方法，通过OpenCV对图像进行预处理，结合深度学习完成对图像中物体的检测与识别并依据检测结果作出相应判断，控制电机以及机械臂，完成整体的操作，实现水面物体的智能打捞。本专利技术主要集中于图像中物体的检测之后如何控制电机靠近以及机械臂抓取动作的实现，针对水面物体所在背景存在各种色差、曝光干扰，尽可能的使用OpenCV对图像进行预处理，以便于提前训练好的Mobile SSD进行物体的检测，通过超声波来测定距离，再判断距离是否符合机械臂抓取的范围，最后实现水面物体自动打捞的预期效果。具体实现步骤包括：
[0039]步骤1：通过单目摄像头采集船体前方物体所在区域的实时画面，如图1所示，采用OpenCV图像预处理方法对实时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OpenCV与深度学习的水面物体打捞方法，应用于打捞船，所述打捞船包括船体、设置在所述船体前端的机械臂、用于控制机械臂动作的机械臂舵机和用于调整船体位置的螺旋桨；其特征在于：包括以下步骤：S100：获取船体前方物体所在区域图像，采用OpenCV图像预处理方法对得到的船体前方物体所在区域图像进行预处理，得到具有物体矩形轮廓的区域图像，得到物体范围图像；S200：通过采用训练好的Mobilenet SSD模型对步骤1得到的物体范围图像进行目标检测，并判断船体前方物体是否为待打捞物体，若为待打捞物体，则执行S300；否则不做任何处理；S300：驱动船体靠近待打捞物体，并实时测定船体与待打捞物体之间的实时距离L，直至船体与待打捞物体之间的实时距离L在机械臂可伸长至触碰的范围内时，执行S400；S400：获取当前船体前方物体所在区域图像，采用OpenCV图像预处理方法对得到的当前船体前方物体所在区域图像进行预处理，得到具有物体矩形轮廓的区域图像，得到区域图像中的物体范围图像；S500：记具有物体矩形轮廓的区域图像的中心处所处的竖直轴为纵轴，其所处的水平轴为横轴；判断物体范围图像是否位于具有物体矩形轮廓的区域图像的纵轴
±
误差范围内，若位于，则执行S600；否则根据物体范围图像与具有物体矩形轮廓的区域图像的纵轴之间的位置关系，控制螺旋桨调整船体位置，而后执行S400；S600：判断物体范围图像是否位于具有物体矩形轮廓的区域图像的横轴
±
误差范围内，若位于，则控制机械臂进行抓取动作，以实现打捞目的；否则执行S700；S700：根据物体范围图像与具有物体矩形轮廓的区域图像的横轴之间的位置关系，调整采集当前船体前方物体所在区域图像的角度，而后执行S400。2.根据权利要求1所述的一种基于OpenCV与深度学习的水面物体打捞方法，其特征在于：所述OpenCV图像预处理方法包括依次执行以下步骤：采用cap.set()方法对图像进行分辨率降低处理；采用双边滤波bilateral...

【专利技术属性】
技术研发人员：管延敏，汪恭志，余钱程，马国杰，钟璐阳，
申请(专利权)人：江苏科技大学，
类型：发明
国别省市：