融合YOLOv4与可变形卷积的水下群体目标检测方法技术

本发明专利技术公开一种融合YOLOv4与可变形卷积的水下群体目标检测方法，是以卷积神经网络YOLOv4与可变形卷积进行融合并添加了自适应阈值输出作为网络模型，通过可变形卷积学习采样点的偏移量，从而将采样点移动到目标上，无需图像修复、图像增强以及复杂的网络结构，即可缓解水下图像模糊问题，同时通过将模块原始输入与带有偏移信息的输出结果拼接，缓解空间偏移导致的定位不准确问题。可以根据目标间的重叠程度进行自适应阈值输出，不仅可以优化损失函数，而且还为筛选提供灵活的阈值选择，从而缓解目标密集遮挡导致的漏检问题，提高水下群体目标检测的准确性及召回率。群体目标检测的准确性及召回率。群体目标检测的准确性及召回率。

【技术实现步骤摘要】
融合YOLOv4与可变形卷积的水下群体目标检测方法


[0001]本专利技术涉及图像目标检测领域，尤其涉及一种融合YOLOv4与可变形卷积的水下群体目标检测方法。

技术介绍

[0002]在工厂化水产养殖中，需要精准获取养殖水产品位置和分类等信息，以用于病害预警、生长监测、饵料投喂等科学的养殖指导。
[0003]现有水下群体目标检测方法主要采用计算机视觉技术，即将待检测的水下养殖群体目标图像送入网络模型中进行检测并采用NMS算法筛选，得到水下养殖群体的位置和分类信息。YOLOv4是常用的卷积神经网络之一，具体网络结构包括Backbone部分、Neck部分和Prediction部分，而Neck部分含有四个CBL*5模块，每个CBL*5模块有相互串联的五个CBL模块；Prediction部分有三路YOLOhede，分别为不同尺度下预测的输出，如52
×
52
×
(5+N)、26
×
26
×
(5+N)、13
×
13
×
(5+N)，其中5代表着1个置信度输出(预测存在物体的概率)、4个位置输出(预测框的左上右下两点的坐标)，N为种类预测输出(预测种类的概率)。其损失函数主要包括目标定位偏移量损失L
loc
(l，g)、目标置信度损失L
conf
(o，c)和目标分类损失L
cla
(O，C)，具体如下：
[0004]Loss(O,o,C,c,l,g)＝λ1Lr/>conf
(o,c)+λ2L
cla
(O,C)+λ3L
loc
(l,g)
[0005]其中λ1，λ2，λ3为各部分权重系数，o是表示预测目标边界框中是否有目标真实存在的二值参数，c是目标真实存在的概率，O是表示预测目标边界框中是否有某类目标真实存在的二值参数，C为某类目标真实存在的概率，l是预测矩形框的坐标偏移量，g表示groundtruth矩形框与默认框之间的坐标偏移量。由于YOLOv4在提取图像特征时采用固定的采样点，故特征提取容易受到背景的影响，尤其是水下群体目标模糊时背景影响更加明显。为此，目前常采用图像修复、图像增强等方法修复图像，或者采用强化特征提取的网络结构以提取出更加精细的特征信息，导致网络结构较为复杂。另外，由于水生动物的群居习性，导致图像中密集遮挡频发，而现有YOLOv4的损失函数并没有自适应阈值部分，且只采用固定的阈值进行NMS算法筛选预测结果，容易出现漏检现象，难以保证水下群体目标检测的准确率及召回率。
[0006]可变形卷积模块(DBL)能够变化采样点位置，可提高模型的建模能力，但迄今为止并没有将YOLOv4与可变形卷积进行融合实现对水下群体目标检测的相关报道。

技术实现思路

[0007]本专利技术是为了解决现有技术所存在的上述技术问题，提供一种融合YOLOv4与可变形卷积的水下群体目标检测方法。
[0008]本专利技术的技术解决方案是：一种融合YOLOv4与可变形卷积的水下群体目标检测方法，是将待检测的水下养殖群体目标图像送入网络模型中进行检测并采用NMS算法筛选，得到水下养殖群体的位置和分类信息，所述网络模型按照如下步骤构建：
[0009]步骤1.在真实水产养殖环境中收集水下养殖群体目标的视频数据，对视频数据进行预处理，获得水下养殖群体目标图片；
[0010]步骤2.采用人机结合的半自动标注方法，对水下养殖群体目标图片进行标注；
[0011]步骤3.搭建融合YOLOv4与可变形卷积的检测模型，具体是将网络模型YOLOv4中Neck部分的每个CBL*5模块的第二个模块CBL和第四个模块CBL替换为可变形卷积模块DBL，将每个CBL*5模块的第一个模块CBL的输入与第二个可变形卷积模块DBL的输出结果拼接，并将第五个CBL的卷积核设定为3*3；在网络模型YOLOv4的Prediction部分的YOLO Head卷积输出中添加自适应阈值输出；损失函数如下：
[0012]Loss(O,o,C,c,l,g,T,P)＝λ1L
conf
(o,c)+λ2L
cla
(O,C)+λ3L
loc
(l,g)+λ4L
adap
(T,P)；
[0013]L
adap
(T,P)＝
‑
∑(T ln(p)+(1
‑
T)
·
ln(1
‑
P))；
[0014]其中λ1，λ2，λ3，λ4为各部分权重系数，o是表示预测目标边界框中是否有目标真实存在的二值参数，c是目标真实存在的概率，O是表示预测目标边界框中是否有某类目标真实存在的二值参数，C为某类目标真实存在的概率，l是预测矩形框的坐标偏移量，g表示groundtruth矩形框与默认框之间的坐标偏移量；T是自适应阈值的真值，P为自适应阈值的预测结果，所述T的计算公式如下：
[0015]T＝max(iou(ti,tj))
[0016]其中t
i
、t
j
是预测框的真值，iou(t
i
，t
j
)是计算t
i
和、t
j
的交并比；
[0017]步骤4：将标注好的图片分为训练部分和检测部分，对所搭建的融合YOLOv4与可变形卷积的检测模型进行训练；
[0018]所述NMS算法筛选是先将预测输出的自适应阈值与固定阈值进行比较，选取最大值作为NMS算法的最终阈值进行运算。
[0019]本专利技术是以卷积神经网络YOLOv4与可变形卷积进行融合并添加了自适应阈值输出作为网络模型，通过可变形卷积学习采样点的偏移量，从而将采样点移动到目标上，无需图像修复、图像增强以及复杂的网络结构，即可缓解水下图像模糊问题，同时通过将模块原始输入与带有偏移信息的输出结果拼接，缓解空间偏移导致的定位不准确问题。所添加的自适应阈值输出，可以根据目标间的重叠程度进行自适应输出，不仅可以优化损失函数，而且还为筛选提供灵活的阈值选择，从而缓解目标密集遮挡导致的漏检问题，提高水下群体目标检测的准确性及召回率。
附图说明
[0020]图1是本专利技术实施例所搭建的检测模型结构框图。
[0021]图2、图3是本专利技术实验所用待检测的水下养殖群体目标图像。
[0022]图4是本专利技术实施例对图2的检测结果图。
[0023]图5是本专利技术实施例对图3的检测结果图。
[0024]图6是本专利技术对比例对图2的检测结果图。
[0025]图7是本专利技术对比例对图3的检测结果图。
具体实施方式
[0026]本专利技术的一种融合YOLOv4与可变形卷积的水下群体目标检测方法，与现有技术相
同，是将待检测的水下养殖群体目标图像送入网络模型中进行检测并采用NMS算法筛选，得到水下养殖群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合YOLOv4与可变形卷积的水下群体目标检测方法，是将待检测的水下养殖群体目标图像送入网络模型中进行检测并采用NMS算法筛选，得到水下养殖群体的位置和分类信息，其特征在于所述网络模型按照如下步骤构建：步骤1.在真实水产养殖环境中收集水下养殖群体目标的视频数据，对视频数据进行预处理，获得水下养殖群体目标图片；步骤2.采用人机结合的半自动标注方法，对水下养殖群体目标图片进行标注；步骤3.搭建融合YOLOv4与可变形卷积的检测模型，具体是将网络模型YOLOv4中Neck部分的每个CBL*5模块的第二个模块CBL和第四个模块CBL替换为可变形卷积模块DBL，将每个CBL*5模块的第一个模块CBL的输入与第二个可变形卷积模块DBL的输出结果拼接，并将第五个CBL的卷积核设定为3*3；在网络模型YOLOv4的Prediction部分的YOLO Head卷积输出中添加自适应阈值输出；损失函数如下：Loss(O,o,C,c,l,g,T,P)＝λ1L
conf
(o,c)+λ2L
cla
(O,C)+λ3L
loc
(l,g)+λ4L
adap
(T,P)；L
...

【专利技术属性】
技术研发人员：于红，李海清，高浩天，程思奇，胥婧雯，赵梦，胡泽元，
申请(专利权)人：大连海洋大学，
类型：发明
国别省市：