一种基于图像视觉增强和半监督学习的水下目标检测方法技术

本发明专利技术属于计算机视觉技术领域，具体涉及一种基于图像视觉增强和半监督学习的水下目标检测方法，包括下列步骤：建立水下目标检测模型；

【技术实现步骤摘要】
一种基于图像视觉增强和半监督学习的水下目标检测方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于图像视觉增强和半监督学习的水下目标检测方法
。

技术介绍

[0002]随着经济的发展和资源的日益缺乏，水下环境探索和水下科学研究近年来备受关注
。
基于深度学习的水下光学目标检测在水下探索和研究中具有重要的意义
。
由于水下环境复杂多样，将通用目标检测模型直接用于通用目标检测相比，水下目标检测面临更多的困难和挑战
。
[0003]一方面，水下成像环境复杂，通过光学成像设备获得的光学图像往往存在低对比度
、
模糊
、
低亮度等问题，上述问题会限制目标检测模型的性能，一种容易想到的解决方法是利用视觉增强或恢复算法对水下图像进行预处理，并且大多数水下图像恢复工作提出“恢复图像可以提高其视觉质量并提高计算机视觉任务的性能”。
例如，
Jingchun Zhou
等人提出“退化的水下图像严重限制了特征提取
、
目标检测和特征匹配等实际应用，因此从模糊的视频和图像中恢复真实的场景具有重要的意义”。
[0004]但最近的研究中发现，利用现有的视觉增强或恢复算法对水下图像进行预处理不能提高目标检测的性能，甚至会导致目标检测性能下降
。
例如，
Jiashuo Zhang
等人选择了3种具有代表性的图像视觉增强算法处理水下数据集，分别为传统方法
、UWCNN、FUNIE
‑
GAN
，通过实验得出结论：不同的图像质量参数的变化与最终检测精度没有明显的统计相关性；
Xingyu Chen
等人分别利用
FRS、GAN
‑
RS
处理水下数据集，通过实验得出“域质量对域内卷积表示和检测精度有可忽略的影响”的结论；
Haifeng Yu
等人提出一种结合
DCP
和
CLAHE
的图像视觉增强方法，该方法具有良好的水下图像增强性能，但实验发现该方法会降低目标检测的精度
。
因此，近期部分工作基于“如何利用水下图像恢复或增强提高目标检测性能”展开
。
例如，
Wen
‑
Yi Peng
等人提出“将水下图像恢复作为数据增强可以提高目标检测精度”；
Xingyu Chen
等人提出“视觉恢复可以减小训练数据与真实场景之间的域移，从而提高在线检测性能”。
然而上述所有方法都忽略了图像视觉增强算法中参数的可调节性，即合适的参数可能是利用图像视觉增强提高目标检测性能的关键
。
[0005]另一方面，基于深度学习的目标检测器性能很大程度上依赖于标注数据集的大小
。
但由于水下图像中目标模糊难以识别，人工标注的成本很高，而获取无标注图像的成本相对较低，因此，研究如何利用无标注数据提高水下目标检测器的性能十分重要
。
近年来半监督学习
(SSL)
受到了越来越多的关注，它的优势在于可以利用无标注数据进行网络训练，从而在有标注数据较少的情况下提高网络的性能，在很大程度上减小了深度学习模型对于有标注数据的依赖
。
[0006]关于半监督学习的研究大多集中在分类任务上，如基于伪标签和基于一致性正则化两种流行的
SSL
方法，以及结合伪标签和一致性正则化的
SSL
方法
。
吸取分类任务中的经验和教训，针对半监督目标检测的研究也在不断发展
。
例如，
Jisoo Jeong
等人提出一种基
于一致性的半监督目标检测方法
(CSD)
，类似于半监督图像分类中的一致性正则化
(CR)
，该方法将一致性约束作为工具，通过充分利用可用的未标记数据来提高检测性能
。Kihyuk Sohn
等人提出一种结合自训练和一致性正则化的半监督目标检测框架
(STAC)
，受噪声学生
(Noisy Student)
的启发，进行两个阶段的训练，并结合两阶段目标检测器
Faster R
‑
CNN
在
MS COCO
数据集上取得了很好的效果
。Qiang Zhou
等人提出一个完全端到端的半监督目标检测框架
(Instant
‑
Teaching)
，它在训练迭代中使用实时伪标记
。
上述方法半监督目标检测方法均未与
anchor
‑
free
的目标检测器相结合，并且目前为止还没有将半监督学习引入水下目标检测领域的工作
。

技术实现思路

[0007]针对上述现有的视觉增强或恢复算法对水下图像进行预处理不能提高目标检测的性能的技术问题，本专利技术提供了一种基于图像视觉增强和半监督学习的水下目标检测方法，该方法使用一个轻量级卷积神经网络预测图像视觉增强模块的可调节参数，使得视觉增强模块预处理之后的图像有助于后续目标检测任务；该方法还将半监督学习框架引入水下目标检测领域，并与无锚框的目标检测器结合，很大程度上减弱了水下目标检测对标注数据的依赖，在只有少量标注数据的情况下具有良好的性能
。
[0008]为了解决上述技术问题，本专利技术采用的技术方案为：
[0009]一种基于图像视觉增强和半监督学习的水下目标检测方法，包括下列步骤：
[0010]S1、
建立水下目标检测模型；
[0011]S2、
利用所有的标注数据训练
S1
中建立的水下目标检测模型得到教师模型，该训练过程中通过最小化监督损失进行模型参数优化；
[0012]S3、
利用
S2
中得到的教师模型推理无标注数据，得到无标注数据的伪标注，伪标注包括位置坐标和类标签，其格式与人工标注的格式保持一致；
[0013]S4、
利用标注数据和无标注数据从头开始训练
S1
中建立的水下目标检测模型，训练过程中，标注数据使用
Mosaic
和随机仿射变换进行数据增强；对无标注数据使用全局颜色变换
、CoarseDropout、Mosaic
和随机仿射变换进行数据增强；通过最小化无监督损失和监督损失的加权和来优化模型参数
。
[0014]所述
S1
中建立的水下目标检测模型包括三个部分：视觉增强参数预测模块
VE
‑
PP、
视觉增强模块
VE
和目标检测器
。
[0015]所述视觉增强参数预测模块采用轻量级卷积神经网络
Pel本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：包括下列步骤：
S1、
建立水下目标检测模型；
S2、
利用所有的标注数据训练
S1
中建立的水下目标检测模型得到教师模型，该训练过程中通过最小化监督损失进行模型参数优化；
S3、
利用
S2
中得到的教师模型推理无标注数据，得到无标注数据的伪标注，伪标注包括位置坐标和类标签，其格式与人工标注的格式保持一致；
S4、
利用标注数据和无标注数据从头开始训练
S1
中建立的水下目标检测模型，训练过程中，标注数据使用
Mosaic
和随机仿射变换进行数据增强；对无标注数据使用全局颜色变换
、CoarseDropout、Mosaic
和随机仿射变换进行数据增强；通过最小化无监督损失和监督损失的加权和来优化模型参数
。2.
根据权利要求1所述的一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：所述
S1
中建立的水下目标检测模型包括三个部分：视觉增强参数预测模块
VE
‑
PP、
视觉增强模块
VE
和目标检测器
。3.
根据权利要求2所述的一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：所述视觉增强参数预测模块采用轻量级卷积神经网络
Peleenet
，其作用是预测
VE
模块中的可调节参数，针对不同水下图像生成不同的视觉增强参数，实现水下图像自适应增强
。4.
根据权利要求2所述的一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：所述视觉增强模块包括四个图像滤波器：
White Balance
图像滤波器
、Gamma
图像滤波器
、Contrast
图像滤波器和
Sharpen
图像滤波器；以上四个滤波器均可微，以保证
VE
‑
PP
模块可以通过反向传播进行网络训练；以上四个滤波器中参数都与待处理图像的分辨率无关，使得
VE
‑
PP
模块的输入图像可以将分辨率缩小到
304
×
304
，以节省计算资源；
VE
‑
PP
模块实际处理的图像分辨率为
416
×
416
，与目标检测网络输入图像的分辨率保持一致
。5.
根据权利要求4所述的一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：所述
White Balance
图像滤波器的映射函数为：
P
o
＝
(W
r
r
i
,W
g
g
i
,W
b
b
i
)
所述
P
i
＝
(r
i
,g
i
,b
i
)
为输入像素值，
P
o
＝
(r
o
,g
o
,b
o
)
为输出像素值，所述
(r,g,b)
分别代表红
、
绿
、
蓝颜色通道的值，所述
W
r
、W
g
、W
b
分别为红
、
绿
、
蓝颜色通道的系数，与
r
i
、g
i
、b
i
是对应相乘的关系，该映射为一个乘法变换；所述
Gamma
图像滤波器的映射函数为：
P
o
＝
P
iG
所述
P
i
为输入像素值，所述
P
o
为输出像素值，所述
G
为
gamma
值，该映射为一个幂变换；所述
Contrast
图像滤波器的映射函数为：
P
o
＝
α
·
En(P
i
)+(1
‑
α
)
·
P
i
所述
P
i
为输入像素值，所述
P
o
为输出像素值，所述
α
为原始图像与完全增强图像之间的线性插值；所述
En(P
i
)
定义为：
其中：
Lum(P
i
)
＝
0.27r
i
+0.67g
i
+0.06b
i
所述
Sharpen
图像滤波器的映射函数为：
F(x,
λ
)
＝
I(x)+
λ
(I(x)
‑
Gau(I(x)))
所述
I(x)
为输入图像，所述
Gau(I(x))
为高斯滤波器，所述
λ
为一个正的比例因子，通过改变
λ
值来调整锐化程度
。6.
根据权利要求2所述的一种基于图像视觉增强和半监督学习的水下目标检测方法，其特征在于：所述目标检测器使用
YOLOX
‑
Nano
，
YOLOX
‑
Nano
中引入了深度可分离卷积，只有
0.91M
...

【专利技术属性】
技术研发人员：周悦，刘伟，郭彦宗，
申请(专利权)人：周悦，
类型：发明
国别省市：