一种自主航行中智能船舶外部目标的自动检测方法及系统技术方案

本发明专利技术公开了一种自主航行中智能船舶外部目标的自动检测方法及系统，所述方法包括：采集智能船舶周边的外部图像；提取外部图像的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；将一级分类特征和二级分类特征输入预先训练好的障碍物目标检测模型，实现智能船舶周边的障碍物检测。本发明专利技术的方法基于图像提取特征进行障碍物以及周边船舶的检测，并对周边船舶进行定位，误差率低于10％。

An automatic detection method and system for external targets of intelligent ships in autonomous navigation

【技术实现步骤摘要】
一种自主航行中智能船舶外部目标的自动检测方法及系统
本专利技术涉及自主航行领域，具体涉及一种自主航行中智能船舶外部目标的自动检测方法及系统。
技术介绍
无人船的发展已是当今航运领域发展的必然趋势。随着大数据、人工智能、传感器、物联网等新型技术的迅速发展，无人船已进入高速发展阶段，作为无人船的主要关键技术之一，自主航行功能的实现对于无人船则是重中之重。在无人船的自主航行中，对周围是否存在其它船只或障碍物的检测非常关键，能够有效指导船只航线的规划和驾驶行为的决策。但是目前还未有有效的检测手段。
技术实现思路
本专利技术的目的在于克服上述技术缺陷，提出了一种自主航行中智能船舶外部目标的自动检测方法，该方法能够根据图像获取有效的信息，例如船航行时周围的障碍物、船只以及船的自身位置等。为实现上述目的，本专利技术提出了一种自主航行中智能船舶外部目标的自动检测方法，所述方法包括：采集智能船舶周边的外部图像；提取外部图像的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；将一级分类特征和二级分类特征输入预先训练好的障碍物目标检测模型，实现智能船舶周边的障碍物检测。作为上述方法的一种改进，所述障碍物目标检测模型采用FasterR-CNN，该模型使用感兴趣区域池化层，用以提取特征层上各个候选框的固定维度的特征表示；使用SoftMax非线性分类器，以多任务学习的方式同时进行分类和回归；通过构建区域建议网络提取候选框，采用区域提名、分类、回归操作一起共用的卷积特征。作为上述方法的一种改进，所述方法还包括：对所述障碍物目标检测模型进行训练的步骤，具体包括：建立训练样本集；所述训练样本集包括若干张带有标签的智能船舶周边的外部图片；提取所有图片的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；以一级分类特征和二级分类特征为模型的输入，以该图片的标签为预期的输出，对模型进行训练。作为上述方法的一种改进，所述方法还包括：当检测到障碍物目标为船舶时，采用双目摄像机对该船舶进行定位。作为上述方法的一种改进，所述方法还包括：当检测到障碍物目标为船舶时，采用单目摄像机，结合视觉反馈出的障碍物的方向，通过雷达数据中获取智能船舶与障碍物的距离，实现周边船舶定位。本专利技术还提供了一种自主航行中智能船舶外部目标的自动检测系统，所述系统包括：船只障碍物检测模型、特征提取模块和检测模块所述特征提取模块，用于采集智能船舶周边的外部图像；提取外部图像的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；所述检测模块，用于将一级分类特征和二级分类特征输入预先训练好的目标检测模型，实现智能船舶周边的障碍物检测。作为上述系统的一种改进，所述障碍物目标检测模型采用FasterR-CNN，该模型使用感兴趣区域池化层，用以提取特征层上各个候选框的固定维度的特征表示；使用SoftMax非线性分类器，以多任务学习的方式同时进行分类和回归；通过构建区域建议网络提取候选框，采用区域提名、分类、回归操作一起共用的卷积特征。作为上述系统的一种改进，所述障碍物目标检测模型的训练，具体包括：建立训练样本集；所述训练样本集包括若干张带有标签的图片；提取所有图片的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；以一级分类特征和二级分类特征为模型的输入，以该图片的标签为预期的输出，对模型进行训练。作为上述系统的一种改进，所述系统还包括双目摄像机，用于当检测到障碍物目标为船舶时，采用双目摄像机对该船舶进行定位。作为上述系统的一种改进，所述系统还包括单目摄像机，用于当检测到障碍物目标为船舶时，结合视觉反馈出的障碍物的方向，通过雷达数据中获取智能船舶与障碍物的距离，实现周边船舶定位。本专利技术的优势在于：本专利技术的方法基于图像提取特征进行障碍物以及周边船只的检测，并对船只自身进行定位，误差率低于10％。附图说明图1为双目定位的示意图。具体实施方式下面结合附图对本专利技术的技术方案进行详细的说明。本专利技术提出了一种一种自主航行中智能船舶外部目标的自动检测方法，能够实现根据图像信息的船只以及障碍物检测，包括：1、障碍物船只检测1.1传统的基于特征提取的视觉方法首先，使用传统的基于图像。在传统的方法中，颜色、纹理和形状是外界物体的基本特征，目标识别就是描述和分析物体的独特性，借助颜色、纹理、边缘、形状等属性来表示物体的独特性。图像的特征是可以代表图像本质的一些属性，图像的特征提取目的是明确给出某一图像区别于其他图像的数学描述性特征。视觉图像目标识别中，经常要求对不同的目标物体完成识别分类，而分类的前提是提取不同目标所具有的不同特征。常用的图像特征提取方法可以分为三类：点特征提取、线特征提取和面特征提取。在此应用中，我们可以通过提取水面图像目标各种不变量，实现对水面目标的智能分类识别。在进行颜色特征处理过程中，为了能正确的表示和使用颜色特征，需要建立颜色模型。颜色模型是三维颜色空间中的一个可见光子集，它能表示图像区域内的全部颜色。比较常用的模型有RGB和HSV两种颜色模型。纹理一般可以分为自然纹理和人工纹理。在自然界中存在着无数具有各种各样的纹理的场景，如礁石、岛屿、海上钻井平台和船舶等。纹理特征分析方法主要有结构分析方法、模型化方法、统计分析方法以及频谱分析方法。形状是由二值图像表示的目标范围，可以反映出物体边缘的内在属性，形状特征展现的一个关键特性就是能够在目标物体发生位移、旋转和缩放变化时保持稳定。实验中可以采用首先从颜色特征、纹理特征和形状特征详细地分析图像目标的一级和二级分类特征，一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征。提取出图像的特征后，可以使用自组织神经网络的学习矢量量化网络(LearningVectorQuantizationLVQ)。将提取出的图像特征作为训练数据输入网络进行训练。1.2基于深度学习的目标检测的方法由于无需进行人工的特征设计、良好的特征表达能力及优良的检测精度，目前，基于深度学习的目标检测算法已经超越传统检测方法，成为当前目标检测算法的主流。基于深度学习的目标检测中的其中一种高效率的方法是区域提名方法，即针对图像中目标物体位置，预先提出候选区域的方法。主流的基于区域提名的目标检测算法主要包括：R-CNN，FastR-CNN，FasterR-CNN等。R-CNN：突破了传统本文档来自技高网...

【技术保护点】
1.一种自主航行中智能船舶外部目标的自动检测方法，所述方法包括：/n采集智能船舶周边的外部图像；/n提取外部图像的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；/n将一级分类特征和二级分类特征输入预先训练好的障碍物目标检测模型，实现智能船舶周边的障碍物检测。/n

【技术特征摘要】
1.一种自主航行中智能船舶外部目标的自动检测方法，所述方法包括：
采集智能船舶周边的外部图像；
提取外部图像的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；
将一级分类特征和二级分类特征输入预先训练好的障碍物目标检测模型，实现智能船舶周边的障碍物检测。


2.根据权利要求1所述的自主航行中智能船舶外部目标的自动检测方法，其特征在于，所述障碍物目标检测模型采用FasterR-CNN，该模型使用感兴趣区域池化层，用以提取特征层上各个候选框的固定维度的特征表示；使用SoftMax非线性分类器，以多任务学习的方式同时进行分类和回归；通过构建区域建议网络提取候选框，采用区域提名、分类、回归操作一起共用的卷积特征。


3.根据权利要求2所述的自主航行中智能船舶外部目标的自动检测方法，其特征在于，所述方法还包括：对所述障碍物目标检测模型进行训练的步骤，具体包括：
建立训练样本集；所述训练样本集包括若干张带有标签的智能船舶周边的外部图片；
提取所有图片的一级分类特征和二级分类特征，所述一级分类特征为代表性颜色特征和纹理特征，二级分类特征为几何特征、Hu不变矩特征和仿射不变矩特征组成的组合特征；
以一级分类特征和二级分类特征为模型的输入，以该图片的标签为预期的输出，对模型进行训练。


4.根据权利要求1所述的自主航行中智能船舶外部目标的自动检测方法，其特征在于，所述方法还包括：当检测到障碍物目标为船舶时，采用双目摄像机对该船舶进行定位。


5.根据权利要求1所述的自主航行中智能船舶外部目标的自动检测方法，其特征在于，所述方法还包括：当检测到障碍物目标为船舶时，采用单目摄像机，结合视觉反馈出的障碍物的方向，通过雷达数据中获取智能船舶与障碍物的距离，实现周边船舶定位。

【专利技术属性】
技术研发人员：张宝晨，张明睿，耿雄飞，周俊华，周丹，
申请(专利权)人：交通运输部水运科学研究所，
类型：发明
国别省市：北京;11