一种图像自适应船舶检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种图像自适应船舶检测方法、装置及存储介质，方法包括：获取船舶数据集；对船舶数据集进行扩充；对扩充后的船舶数据集中的图像进行预处理；将所述预处理后的扩充船舶数据集中的图像进行自适应增强，得到处理好的船舶数据集；将所述处理好的船舶数据集输入预构建的基于Mobile

【技术实现步骤摘要】
一种图像自适应船舶检测方法、装置及存储介质


[0001]本专利技术属于计算机视觉
，涉及一种图像自适应船舶检测方法、装置及存储介质，具体涉及一种基于改进Mobile
‑
Former的图像自适应船舶检测方法、装置及存储介质。

技术介绍

[0002]近些年，随着计算机视觉技术在目标识别跟踪上取得的研究进展和成果，基于计算机视觉的船舶监管系统作为上述监管设备在船舶监管领域的补充，具有十分重要的应用价值。基于计算机视觉的船舶监管系统作为AIS和雷达设备的补充，可以进一步完善对水上船舶目标的监管。因此采用智能化的监管手段是海事部门提高船舶监管能力的必不可少的手段，而高效智能的监管的前提是对水面目标进行准确的检测。
[0003]最近，vision transformer(ViT)展示了全局处理的优势，并实现了与CNNs相比的显著性能提升。然而，当将计算预算限制在1G FLOPs以内时，ViT的增益减小。如果我们进一步挑战计算成本，MobileNet和它的扩展仍然占据着它们的地盘(例如，ImageNet分类的FLOPs少于300M)，因为它们通过分解深度和点卷积在局部处理过滤器中的效率很高。一个简单的想法是将卷积和视觉转换器结合起来。许多作品显示了将卷积和视觉transformer串联起来的好处，可以在一开始使用卷积，也可以将卷积加入到每个transformer中。
[0004]另外，由于输入图像的领域偏移，一般的高质量图像训练的目标检测模型在恶劣的天气条件下(如大雾和暗光)往往不能获得满意的结果。Narasimhan、Nayar和You等人提出，在恶劣天气下获取的图像可以分解为干净的图像及其对应的天气特定信息，在恶劣天气下图像质量下降主要是由特定天气的信息和物体之间的相互作用造成的，这导致了较差的检测性能。为了解决这个具有挑战性的问题，Huang,Le和Jaw使用了两个子网来共同学习可视性增强和目标检测，其中通过共享特征提取层来减少图像退化的影响。然而，在训练过程中，很难通过调整参数来平衡检测和恢复之间的权重。另一种方法是通过使用图像去雾等现有方法对图像进行预处理来缓解天气特定信息的影响和图像增强。但是，这些方法需要包含复杂的图像恢复网络，需要在像素级监督下单独训练。这需要手动为图像标上要恢复的标签。这个问题也可以被视为一个无监督的领域适应任务。这些方法大多采用域自适应原理，注重对两个分布的特征进行对齐，而在基于天气的图像恢复过程中可以获得的潜在信息往往被忽略。

技术实现思路

[0005]目的：为了克服现有技术中存在的不足，解决恶劣天气检测精度不高、精度高的模型速度慢等问题，本专利技术提供一种基于改进Mobile
‑
Former的图像自适应船舶检测方法、装置及存储介质；使用一种可微分的图像处理(DIP)模块，并利用小型卷积神经网络(CNN
‑
PP)对其参数进行预测；使用改进的Mobile
‑
Former作为backbone对图像进行特征提取，并也使用Mobile
‑
Former模块作为检测头；更好地实现精度
‑
速度平衡。
[0006]技术方案：为解决上述技术问题，本专利技术采用的技术方案为：
[0007]第一方面，提供一种图像自适应船舶检测方法，包括：
[0008]获取船舶数据集；
[0009]对船舶数据集进行扩充，得到扩充后的船舶数据集；
[0010]对扩充后的船舶数据集中的图像进行预处理，得到预处理后的扩充船舶数据集；
[0011]将所述预处理后的扩充船舶数据集中的图像进行自适应增强，得到处理好的船舶数据集；
[0012]将所述处理好的船舶数据集输入预构建的基于Mobile
‑
Former的检测模型，得到输出的船舶目标检测结果。
[0013]在一些实施例中，对船舶数据集进行扩充，包括至少以下方法中的任一种：
[0014]水平翻转：采用水平翻转的方式对船舶数据集进行扩充；
[0015]缩放：对原始船舶数据集进行缩放处理；
[0016]旋转：对船舶数据集进行一定角度的旋转处理；
[0017]仿射变换：将船舶数据集中的图像从二维坐标(x,y)对应到另一个二维坐标(u,v)的线性变换，由平移、缩放、旋转操作组合而成。
[0018]在一些实施例中，所述对扩充后的船舶数据集中的图像进行预处理，包括图像灰度处理和高斯平滑处理。
[0019]进一步地，图像灰度处理，包括：对图像每一点像素进行灰度化，并引入gamma系数进行校正，根据经验gamma通常取值为2.2，计算公式如下：
[0020][0021]其中，Gray(i,j)为图像灰度化后的像素点，某个像素点在矩阵中的位置坐标表示为(i,j))，Wr、Wg、Wb分别为三原色的权值。
[0022]在一些实施例中Wr、Wg、Wb分别取0.299、0.587、0.114。
[0023]进一步地，高斯平滑处理，包括：
[0024][0025]其中，G(x,y)为图像高斯平滑处理后的像素点，(x,y)为像素点坐标，σ为标准差。
[0026]在一些实施例中，将所述预处理后的扩充船舶数据集中的图像进行自适应增强，包括：将所述预处理后的扩充船舶数据集中的图像输入DIP模块进行自适应增强；
[0027]其中所述DIP模块包括六个可微滤波器，具有可调超参数，包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen；所述可调超参数使用小型卷积神经网络CNN
‑
PP预测得到，所述CNN
‑
PP包括卷积块和全连接层，每个卷积块包括一个带有stride＝2的3
×
3卷积层和一个LeakyRelu，全连接层输出DIP模块的所述可调超参数。
[0028]在一些实施例中，基于Mobile
‑
Former的检测模型的构建方法包括：
[0029]所述检测模型包括主干网络和检测头，均包含有Mobile
‑
Former模块；其中Mobile
‑
Former模块包括Mobile子模块、Mobile
→
Former桥、Former子模块和Mobile
←
Former桥；
[0030]构建Mobile子模块，Mobile子模块以图像作为输入在第一次逐点卷积后，用动态ReLU代替ReLU作为激活函数，然后经过3
×
3深度卷积后，再用动态ReLU代替ReLU作为激活函数；其中两个动态ReLU的参数均是将former子模块中得到的全局tokens应用两个MLP层得到，最后通过一个逐点卷积实现Mobile子模块的输出，表示为X
hidden
，作为Mobile
←
Former的输入；
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像自适应船舶检测方法，其特征在于，包括：获取船舶数据集；对船舶数据集进行扩充，得到扩充后的船舶数据集；对扩充后的船舶数据集中的图像进行预处理，得到预处理后的扩充船舶数据集；将所述预处理后的扩充船舶数据集中的图像进行自适应增强，得到处理好的船舶数据集；将所述处理好的船舶数据集输入预构建的基于Mobile
‑
Former的检测模型，得到输出的船舶目标检测结果。2.根据权利要求1所述的图像自适应船舶检测方法，其特征在于，对船舶数据集进行扩充，包括至少以下方法中的任一种：水平翻转：采用水平翻转的方式对船舶数据集进行扩充；缩放：对原始船舶数据集进行缩放处理；旋转：对船舶数据集进行一定角度的旋转处理；仿射变换：将船舶数据集中的图像从二维坐标(x,y)对应到另一个二维坐标(u,v)的线性变换，由平移、缩放、旋转操作组合而成。3.根据权利要求1所述的图像自适应船舶检测方法，其特征在于，所述对扩充后的船舶数据集中的图像进行预处理，包括图像灰度处理和高斯平滑处理。4.根据权利要求3所述的图像自适应船舶检测方法，其特征在于，图像灰度处理，包括：对图像每一点像素进行灰度化，并引入gamma系数进行校正，根据经验gamma通常取值为2.2，计算公式如下：其中，Gray(i,j)为图像灰度化后的像素点，某个像素点在矩阵中的位置坐标表示为(i,j))，Wr、Wg、Wb分别为三原色的权值。5.根据权利要求3所述的图像自适应船舶检测方法，其特征在于，高斯平滑处理，包括：其中，G(x,y)为图像高斯平滑处理后的像素点，(x,y)为像素点坐标，σ为标准差。6.根据权利要求1所述的图像自适应船舶检测方法，其特征在于，将所述预处理后的扩充船舶数据集中的图像进行自适应增强，包括：将所述预处理后的扩充船舶数据集中的图像输入DIP模块进行自适应增强；其中所述DIP模块包括六个可微滤波器，具有可调超参数，包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen；所述可调超参数使用小型卷积神经网络CNN
‑
PP预测得到，所述CNN
‑
PP包括卷积块和全连接层，每个卷积块包括一个带有stride＝2的3
×
3卷积层和一个LeakyRelu，全连接层输出DIP模块的所述可调超参数。7.根据权利要求1所述的图像自适应船舶检测方法，其特征在于，基于Mobile
‑
Former的检测模型的构建方法包括：所述检测模型包括主干网络和检测头，均包含有Mobile
‑
Former模块；其中Mobile
‑
Former模块包括Mobile子模块、Mobile
→
Former桥、Former子模块和Mobile
←
Former桥；构建Mobile子模块，Mobile子模块以图像作为输入在第一次逐点卷积后，用动态ReLU代替ReLU作为激活函数，然后经过3
×
3深度卷积后，再用动态ReLU代替ReLU作为激活函数；其中两个动态ReLU的参数均是将former子模块中得到的全局tokens应用两个MLP层得到，最后通过一个逐点卷积实现Mobile子模块的输出，表示为X
hidden
，作为Mobile
←
Former的输入；构建Mobile
→
Former桥，用于将局部特征X
i
融合到全局tokens Z中：Mobile
→
Former桥以局部特征X
i
作为输入，结合设定的全局tokens Z
i
，计算局部和全局特征之间的交叉关注，并为每个全局tokens聚集局部特征，将全局特征投影到局部特征的同一维度，并在聚合后投影回维度d；Mobile
→
Former的输出表示为Z
hidden...

【专利技术属性】
技术研发人员：梁正和，孙泽云，
申请(专利权)人：河海大学，
类型：发明
国别省市：