一种基于深度学习的多尺度船舶目标检测方法技术

本发明专利技术提出了一种基于深度学习的多尺度船舶目标检测方法，该方法可以提取两种不同尺度图像的特征，并且双通道互为补充，提高了网络的容错能力；能够快速对船舶目标进行检测，自动识别船舶类型。具体的，将不同尺寸的图像分别输入两通道进行特征提取，模型从不同数据集中提取到的特征不同。原始图像中包含前景和船舶信息，FasterRCNN通道提取的信息多而杂，也存在信息丢失问题。图卷积神经网络只提取包含船舶特征的信息，特征准确，并且可以提取到FasterRCNN通道没有提取到的特征，再将两部分特征融合，从而相互补充，进一步提高了对于船舶类型识别的准确率。舶类型识别的准确率。舶类型识别的准确率。

【技术实现步骤摘要】
一种基于深度学习的多尺度船舶目标检测方法


[0001]本专利技术涉及图像处理和深度学习
，具体涉及一种基于深度学习的多尺度船舶目标检测方法。

技术介绍

[0002]在现代智慧海事系统中，高清摄像机已经应用于各种港口和海域，用于查看和监管航道信息等。由于雷达使用时的不直观以及雷达图像中少有的信息，导致海事航道的重要部分都采用高清摄像机用以直观判断航道情况，需要通过人工查看过往船舶类型，明确重点关注对象，随着近年海运繁忙，人工查看费时费力，还容易出错，而通过深度学习等技术手段，使得机器代替人工对船舶图像进行目标检测，识别船舶并标注，大大减少了人工的投入，节约成本，因此，基于深度学习的船舶图像分类识别将成为水上交通系统的重要部分。
[0003]传统船舶检测模型都是采用单一通道，只能针对一种尺度的图像提取相关特征，导致提取的特征比较单一，并且容错能力较差。

技术实现思路

[0004]一种基于深度学习的多尺度船舶目标检测方法，基于双通道检测模型，可以提取两种不同尺度图像的特征，并且双通道互为补充，提高了网络的容错能力，可快速对船舶目标进行检测，进一步提高了对于船舶类型识别的准确率。为实现上述目的，采用如下技术方案：
[0005]一种基于深度学习的多尺度船舶目标检测方法，包括以下步骤：
[0006]S1、获取数据集：所述数据集包括只含有船舶信息的图像O2、原始图像O1；所述原始图像O1中包含船舶信息和背景信息；
[0007]S2、构建并训练图卷积神经网络、FasterRCNN网络；
[0008]所述FasterRCNN网络，用于检测图像类型，并提取图像的特征，包括依次连接的RPN层、第一最大池化层和RCNN层；
[0009]所述图卷积神经网络，用于提取图像的特征，包括注意力
‑
池化层；
[0010]S3、构建双通道网络模型：
[0011]所述FasterRCNN网络和图卷积神经网络共享一个融合层；
[0012]所述融合层的输入端连接FasterRCNN网络中第一最大池化层的输出端、图卷积神经网络中注意力
‑
池化层的输出端；
[0013]所述融合层的输出端连接FasterRCNN网络的RCNN层；
[0014]S4、将原始图像O1输入FasterRCNN网络，在FasterRCNN网络的第一最大池化层的输出端获取第一特征图F1，第一特征图F1中将原始图像O1中的船舶信息和背景信息分别进行分类提取；
[0015]将只含有船舶信息的图像O2输入图卷积神经网络，在图卷积神经网络的输出端获
取第二特征图F2；所述第二特征图F2将只含有船舶信息的图像O2中的船舶信息进行分类提取；
[0016]S5、将第一特征图F1、第二特征图F2输入融合层，利用融合层生成具有船舶信息的目标检测图T1；
[0017]S6、将目标检测图T1经融合层输入至FasterRCNN网络的RCNN层，并输出目标检测识别结果图T2。
[0018]优选地，步骤S5中，进行融合处理的方法具体为：
[0019]将第一特征图F1和第二特征图F2分别调整为统一尺寸，后将两特征图中的特征融合至一个像素层，以获得所述目标检测图T1。
[0020]优选地，所述FasterRCNN网络还包括依次连接的第四卷积层、第三最大池化层、第三卷积层、第二卷积层、第二最大池化层和第一卷积层；所述第一卷积层的输出端连接RPN层的输入端。
[0021]优选地，图卷积神经网络还包括三个依次连接的图卷积层；最后一个图卷积层的输出端连接所述注意力
‑
池化层的输入端。
[0022]优选地，只含有船舶信息的图像O2、原始图像O1的尺度不同。
[0023]优选地，所述图卷积神经网络采用第三代图卷积模型。
[0024]与现有技术相比，本专利技术的优点为：
[0025](1)本专利技术可以提取两种不同尺度图像的特征，并且双通道互为补充，提高了网络的容错能力；能够快速对船舶目标进行检测，自动识别船舶。具体的，将不同尺寸的数据集(图像)分别输入两通道进行特征提取，模型从不同数据集中提取到的特征不同。原始图像中包含前景和船舶信息，FasterRCNN通道提取的信息多而杂，也存在信息丢失问题。图卷积神经网络只提取包含船舶特征的信息，特征准确，并且可以提取到FasterRCNN通道没有提取到的特征，再将两部分特征融合，从而相互补充，进一步提高了对于船舶类型识别的准确率。
[0026]此外，双通道互为补充，并且一通道只输入包含单纯的船舶图像，使得模型对于船舶的判别能力更强，使得该模型具有良好的容错能力，可以处理环境信息复杂、推理结构不明确情况下的问题，允许原始图像有缺损。
[0027](2)该双通道网络模型采用其中一通道输入小尺寸图像，使得双通道网络模型的训练时间和同层数的单通道模型训练时间相差较小，节省训练资源，因此具有广阔的应用前景。
附图说明
[0028]图1为本专利技术一实施例的基于深度学习的多尺度船舶目标检测方法流程图；
[0029]图2为本专利技术一实施例的双通道网络模型示意图。
具体实施方式
[0030]下面将结合示意图对本专利技术进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限
制。
[0031]图1～2所示，一种基于深度学习的多尺度船舶目标检测方法，该方法用于对水上船舶目标进行自动检测识别，包括以下步骤：
[0032]S1、获取数据集：数据集包括只含有船舶信息的图像O2、原始图像O1；原始图像O1中包含船舶信息和背景信息。
[0033]只含有船舶信息的图像O2、原始图像O1的尺度不同。
[0034]在本实施例中，首先采集大量内河港口和长江进出口等位置的船舶图像作为数据库，将图像人工分类作为图卷积神经网络的据集，即只含有船舶信息的图像O2；作为FasterRCNN的数据集，即原始图像O1。
[0035]共采集水上船舶图片3875张，通过处理使其分成只包含船舶信息的图像O2和原图像O1的两种尺度船舶图像。只含有船舶信息的图像O2，其尺寸为64*64，原始图像O1，其尺寸为128*128。
[0036]S2、构建并训练图卷积神经网络、FasterRCNN网络。
[0037]FasterRCNN网络，用于检测图像类型，并提取图像的特征，包括依次连接的RPN层、第一最大池化层和RCNN层。
[0038]图卷积神经网络，采用第三代图卷积模型，用于提取图像的特征，包括注意力
‑
池化层。
[0039]在本实施例中，FasterRCNN网络还包括依次连接的第四卷积层、第三最大池化层、第三卷积层、第二卷积层、第二最大池化层和第一卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的多尺度船舶目标检测方法，其特征在于，包括以下步骤：S1、获取数据集：所述数据集包括只含有船舶信息的图像O2、原始图像O1；所述原始图像O1中包含船舶信息和背景信息；S2、构建并训练图卷积神经网络、FasterRCNN网络；所述FasterRCNN网络，用于检测图像类型，并提取图像的特征，包括依次连接的RPN层、第一最大池化层和RCNN层；所述图卷积神经网络，用于提取图像的特征，包括注意力
‑
池化层；S3、构建双通道网络模型：所述FasterRCNN网络和图卷积神经网络共享一个融合层；所述融合层的输入端连接FasterRCNN网络中第一最大池化层的输出端、图卷积神经网络中注意力
‑
池化层的输出端；所述融合层的输出端连接FasterRCNN网络的RCNN层；S4、将原始图像O1输入FasterRCNN网络，在FasterRCNN网络的第一最大池化层的输出端获取第一特征图F1，第一特征图F1中将原始图像O1中的船舶信息和背景信息分别进行分类提取；将只含有船舶信息的图像O2输入图卷积神经网络，在图卷积神经网络的输出端获取第二特征图F2；所述第二特征图F2将只含有船舶信息的图像O2中的船舶信息进行分类提取；S5、将第一特征图...

【专利技术属性】
技术研发人员：刘阳，宗成明，曹伟男，夏亮，李磊，
申请(专利权)人：中船重工鹏力南京大气海洋信息系统有限公司，
类型：发明
国别省市：