基于直接引导掩码检测网络的近岸视觉船舶目标检测方法技术

本发明专利技术涉及近岸视觉目标检测技术领域，具体的说是一种能够满足实时监测需求、有效提高检测速率和准确率的基于直接引导掩码检测网络的近岸视觉船舶目标检测方法，通过端到端预测船舶目标的前景掩码，使模型直接关注于船舶目标的整体特征，对高度相似的局部特征作出区分，从而减弱相似背景特征的干扰。在无语义分割标签仅有边界框标签的弱监督条件下，GMN结合目标掩码预测任务与目标检测任务，通过弱监督的方式在边界框检测的基础上进行了更细粒度的船舶目标语义分割，对目标尺度、朝向、背景、位置的变化具有鲁棒性，实现了更精准的近岸视觉船舶检测，有效提高了视觉船舶检测系统的检测速率，满足了系统实时检测要求。满足了系统实时检测要求。

【技术实现步骤摘要】
基于直接引导掩码检测网络的近岸视觉船舶目标检测方法

：
[0001]本专利技术涉及近岸视觉目标检测
，具体的说是一种能够满足实时监测需求、有效提高检测速率和准确率的基于直接引导掩码检测网络的近岸视觉船舶目标检测方法。

技术介绍
：
[0002]随着“海上丝绸之路”的建设，海上运输流量与日俱增，在国际贸易中海上运输的重要性越来越高。海洋经济的发展使得海上交通情况越来越复杂，海域安全面临的挑战也越发严峻。实现动态、实时、准确的船舶检测对提高海上交通管理效率，保障海域安全有着重要的作用。视觉图像船舶检测系统由于视频图像获取成本低且采集、处理流程较短，且图像目标分辨率高、细节和颜色特征丰富，有利于进行细粒度多类别的船舶目标检测等优势受到安全导航、智能无人船等应用青睐。
[0003]但是，在近岸视觉船舶检测任务中，船舶目标处于开放环境中，所处背景相对于通用目标检测而言通常更加复杂多变，使得视觉船舶检测更具有挑战性。背景中建筑等相似特征容易与船舶目标混淆，从而造成误检。背景中水面区域的波动与海浪、天空区域中不规则的云和陆地区域的地标、建筑、植被等干扰特征对船舶目标的检测造成了很大影响，使得船舶目标定位精度较差。在复杂背景的干扰下，船舶目标的定位精度受到了较大影响。
[0004]在目标检测领域，自R
‑
CNN在VOC数据集上取得远超传统方法的检测精度后，基于深度学习方法的卷积神经网络模型开始成为目标检测研究的热点。在近岸视觉船舶目标检测方向上，基于卷积神经网络进行船舶目标检测相比传统方法检测效率更高且检测精度提升显著，已经成为了当前主流的研究方向。但是在开放环境下，由于复杂背景干扰特征的影响，近岸视觉船舶目标检测易产生漏检与误检，这导致了检测精度的下降。现有文献方法通常采用间接的预处理方式减弱背景干扰，未能充分利用船舶目标语义特征，具有一定的局限性。并且现有文献在将anchor
‑
free类型检测模型应用于视觉船舶目标检测所作探索有限。

技术实现思路
：
[0005]本专利技术针对现有技术中存在的缺点和不足，提出了一种特别适用于复杂的开放真实视觉图像场景中的通过端到端的anchor
‑
free检测模型直接利用船舶语义特征，进行背景特征干扰抑制，能有效提高近岸视觉船舶目标检测的检测速率与准确性的基于直接引导掩码检测网络的近岸视觉船舶目标检测方法。
[0006]本专利技术通过以下措施达到：
[0007]一种基于直接引导掩码检测网络的近岸视觉船舶目标检测方法，其特征在于，包括以下步骤：
[0008]步骤1：建立直接引导掩码网络模型，具体为：以anchor
‑
free类型的YOLOX为基线，输入图像在经过主干网络提取特征后，为了进行掩码预测以增强模型对目标与背景相似特
征的辨别能力，将第二级降采样率为16的特征输入GuidedMask模块进行目标掩码与背景的分割，为了实现对背景无关特征干扰的抑制，增强对目标的定位能力，将得到的掩码预测与主干网络提取的其它两级特征输入Refining模块进行进一步特征优化，优化后的特征通过FPN(Feature Pyramid Network)进行了语义融合，通过anchor
‑
free检测头对目标的位置与分类进行回归以输出船舶目标的边界框预测结果；
[0009]步骤2：训练步骤1中建立的模型，具体为：
[0010]步骤2
‑
1：向模型输入图像，对为了使得训练数据数量得到扩充并改善训练样本中存在的尺寸分布不均衡问题，将训练集上的原始图像输入先进行实时数据增强，在训练时每个epoch都进行随机数据增强预处理，对输入的图像进行随机纵横比变换、随机尺寸变换相结合的方式改善目标尺寸分布不均衡的问题，进行随机平移使得目标位置分布多样化以提高模型的定位能力，并通过随机色域变换与随机水平翻转相结合的方式提高模型的鲁棒性与泛化能力；
[0011]步骤2
‑
2：将进行数据增强后的图像输入GMN主干网络进行基础特征提取，对提取出的特征依次通过GuidedMask模块进行引导掩码预测使得模型关注船舶目标整体特征与相似背景局部特征作出区分；
[0012]步骤2
‑
3：利用引导掩码通过Refining模块对特征进行加权以屏蔽无关背景特征的干扰，并且通过注意力机制增强船舶目标的关键特征；
[0013]步骤2
‑
4：对优化后的特征在特征金字塔多尺度融合后进行anchor
‑
free方式的边界框检测，对掩码预测损失、检测损失进行梯度回传和参数优化，根据损失是否收敛判断结果，若收敛则训练完毕，若未收敛则重复训练过程；
[0014]步骤3：利用步骤2训练获得的模型进行船舶目标检测。
[0015]本专利技术步骤3具体包括以下步骤：将数据输入训练后的模型内，利用主干网络进行特征提取，然后进行引导掩码预测处理、背景干扰抑制处理，处理后的数据进行关键特征增强处理，然后进行边界框检测处理，此后再进行动态阈值语义掩码分割处理后，输出边界框与语义分割结果，其中得到边界框检测结果后，结合边界框检测的类别信息与引导掩码结果中的掩码信息，在每个预测框内通过动态阈值的方法计算出船舶目标的语义分割结果，与固定阈值方法相比自适应性更强。通过掩码预测任务与目标检测任务相结合，GMN在无需语义掩码标注的弱监督信号下，直接地利用了船舶目标的语义信息，既实现了对背景干扰特征的抑制，又在边界框检测的基础之上进行了更细粒度、更精准的视觉船舶目标检测。
[0016]本专利技术中，船舶目标区域掩码前景分割与船舶目标边界框检测同时进行，船舶目标区域掩码预测在位置信息更丰富的低层特征中进行，而船舶目标边界框检测则在经过FPN完成不同感受野的多尺度特征融合后具有更多语义信息的高层特征中进行。在训练时，引导掩码预测的损失函数为掩码预测结果与目标框标注生成的弱掩码标签的BCE(Binary Cross Entropy)损失函数，预测引导掩码使得模型关注于目标整体特征，提升了模型对背景局部相似特征的辨识能力，在图中船舶目标前景预测中目标所在区域与背景区域的概率差值显著，可通过简单的二值化方式将船舶目标掩码从复杂的背景中提取出来，船舶目标掩码结合后续船舶目标检测任务预测结果中的类别信息和边界框信息，实现了对于船舶目标的语义分割，达成了对船舶目标更加精准的识别。
[0017]本专利技术对于每一个检测到的船舶目标进行了动态阈值语义分割，其语义分割掩码
的计算如式1所示，P
mask
为目标掩码概率，P
conf
为目标检测结果的置信度，λ为系数设置为0.8，对于边界框内每处若目标检测置信度与目标掩码预测概率之积大于λ加权的掩码概率均值则保留该处为语义分割掩码，
[0018][0019]训练的损失函数如式2所示由掩码预测任务的损失和目标检测的中心置信度、回归、分类损失共同构成：
[0020]L本文档来自技高网...

【技术保护点】

【技术特征摘要】
Cross Entropy)损失函数，预测引导掩码使得模型关注于目标整体特征，提升了模型对背景局部相似特征的辨识能力，在图中船舶目标前景预测中目标所在区域与背景区域的概率差值显著，可通过简单的二值化方式将船舶目标掩码从复杂的背景中提取出来，船舶目标掩码结合后续船舶目标检测任务预测结果中的类别信息和边界框信息，实现了对于船舶目标的语义分割，达成了对船舶目标更加精准的识别。4.根据权利要求1所述的一种基于直接引导掩码检测网络的近岸视觉船舶目标检测方法，其特征在于，对于每一个检测到的船舶目标进行了动态阈值语义分割，其语义分割掩码的计算如式1所示，P
mask
为目标掩码概率，P
conf
为目标检测结果的置信度，λ为系数设置为0.8，对于边界框内每处若目标检测置信度与目标掩码预测概率之积大于λ加权的掩码概率均值则保留该处为语义分割掩码，训练的损失函数如式2所示由掩码预测...

【专利技术属性】
技术研发人员：于海雁，郭玲，
申请(专利权)人：哈尔滨工业大学威海，
类型：发明
国别省市：