基于DCBFFNet的城市河道水上多目标检测方法与系统技术方案

本发明专利技术公开了一种基于DCBFFNet的城市河道水上多目标检测方法与系统。首先从视频流中分别提取城市河道管理涉及水上对象的图像，进行降噪处理和标注，构建目标检测数据集；其次构建对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet，该模型构建了面向多对象特性的特征层选择模块以及基于多尺度特征的密集双向特征融合模块，并设计了面向对象的多层特征图锚框尺寸；再基于最优的锚框尺寸和目标检测数据集，进行模型的迭代训练；最后基于训练好的模型实现水上对象的定位和类别预测。本发明专利技术通过端到端的模型训练可实现从数据集到目标检测的完整流程，用于城市河道水上多目标的定位和对象类别判断，为城市河道健康管理的及时响应提供智能化方法。的及时响应提供智能化方法。的及时响应提供智能化方法。

【技术实现步骤摘要】
基于DCBFFNet的城市河道水上多目标检测方法与系统


[0001]本专利技术属于图像处理
，具体涉及一种基于深度学习模型DCBFFNet(Densely Connected Bidirectional Feature Fusion Network，简称DCBFFNet)的城市河道水上多目标检测方法与系统。

技术介绍

[0002]在河湖健康管理方面，河面漂浮物的及时发现和打捞非常重要，可避免漂浮物堆积造成的水环境污染。早期常用的漂浮物检测方法如背景差分法和帧间差分法等，主要是围绕底层特征和中层特征(如颜色、纹理等)进行的，采用特征提取与分类器相结合的方式进行检测。在多类别的目标检测与识别任务中，需要多个分类器(如SVM)进行分类，这使得在训练分类器上耗费大量时间。这类检测方法是基于手工特征构建，受特征的选择、目标形态和背景变化的影响较大，鲁棒性和泛化能力较差。
[0003]随着深度学习的快速发展，基于深度学习的目标检测技术由于其强大的特征表达能力已经在多个领域得到广泛应用，如航天航空、机器人导航、智能安防和工业检测等领域，但由于水面环境复杂(如岸边倒影，目标倒影，水面等)，水面目标种类多样，尺度变化大(小到塑料瓶大到船只)，导致其在水利方面的应用效果不佳。在多类别水面目标检测与识别中，水面目标随水流堆积在一起，导致目标间存在遮挡，目标对象类别模糊，难以判断。一些小目标如塑料瓶、易拉罐等体积较小，占用的图像面积很小，与大目标相比，它们缺乏外观信息，且高层特征缺乏判别性，难以与背景进行区分并实现精确定位，增加检测难度。除此之外，从数据集方面来看，相比于单类别目标检测任务，多类别目标检测任务需要更高质量的数据集，除考虑总样本量外，还需考虑不同类别目标样本间的平衡，数据集中某一目标样本过多或过少都会影响检测模型的学习能力。因此需要研究一种新型的、性能优良的城市河道水上对象目标检测方法，实现从构建数据集到目标检测和识别的完整流程。

技术实现思路

[0004]专利技术目的：本专利技术的目的是为了克服现有技术在城市河道水上对象分类识别方面的不足，提供一种基于深度学习的高精度的城市河道水上多对象检测识别方法与系统，为智慧水利和河长制提供先进技术。
[0005]技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于DCBFFNet的城市河道水上多目标检测方法，包含以下步骤：
[0006](1)从视频流中分别提取城市河道管理涉及水上对象的图像，包括瓶子类图像、水草类图像、混合物类图像、船只类图像，使用限制对比度自适应直方图均衡化方法对采取的图像进行降噪处理，再利用矩形框对各类水上对象进行位置和类别标签的语义标注，构建目标检测数据集；
[0007](2)构建一种对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet，包括：
[0008]构建面向多对象特性的特征层选择模块，分别研究数据集中每一类检测对象的尺度参数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差异性，有针对性地选取模型中需要融合的不同尺度、不同分辨率的特征图；
[0009]构建基于多尺度特征的密集双向特征融合模块，根据选择的不同尺度和不同分辨率的特征图设计两种不同结构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB分别构建自上而下和自下而上的两个互逆传输路径，以选取的多层特征图为输入，基于密集连接的方式分别完成自上而下和自下而上的特征传输及特征融合；
[0010]设计面向多对象的多层特征图锚框尺寸，利用原始图与不同特征图的采样映射关系，采用聚类算法分别统计不同特征图上映射的各类水上对象矩形标注框的尺度分类，确定选取的各层特征图上的锚框尺寸，其中聚类算法中的距离使用d＝1
‑
IoU(bboxes,anchor)表示；
[0011]构建基于多尺度特征的目标检测模块，以密集双向特征融合模块的输出为输入，对多尺度、多类别目标进行类别预测和回归；
[0012](3)基于最优的锚框尺寸和构建的目标检测数据集，对DCBFFNet模型进行迭代训练；
[0013](4)基于训练好的模型实现水上各类对象的定位和类别预测，并将检测结果可视化。
[0014]进一步地，所述步骤(2)中特征图选取步骤包括：
[0015](a)遍历整个检测数据集中包括瓶子类、水草类、船只类、混合物类的各类水上对象的标记框尺度，分别以点状分布图的形式直观体现；
[0016](b)计算不同特征层的感受野大小，并与(a)中获取的对象尺度进行比较，选取感受野与对象尺度相匹配的特征层，感受野公式如下：
[0017][0018]其中，l
k
为第k层的感受野，l
k
‑1为第k
‑
1层的感受野，f
k
为第k层卷积核大小，s
i
为第i层的步长；
[0019](c)可视化(b)中获取的多个特征层，比较不同卷积层获取的特征的差异性，并从中选取分别包含对象细节信息和高级语义信息的五层特征层。
[0020]作为优选，仅使用四层特征图作为检测特征图，将选取的特征图中尺度最大、分辨率最高的一层仅用于提供目标特征，不在该层进行分类回归。
[0021]作为优选，所述步骤(2)中多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB间的密集连接采用的是选择连接的方式，将包含低/高层特征的TCM/TCB逐次与包含高/低层语义特征的TCM/TCB连接，实现特征跨层交互；不同层间特征融合的过程表示为：
[0022]X
p
＝Φ
p
{Φ
f
{T
k
(X
k
)}}
[0023]其中，X
k
表示待融合的特征图，T
k
表示特征图进行上采样或降采样处理，以保证特征融合的尺度一致性；Φ
f
表示特征融合的方式；Φ
p
表示对融合后特征的卷积处理；其中在特征融合时采用同尺度相应通道上对应位置元素相加的方式。
[0024]作为优选，特征层选择模块由七组顺序连接的卷积结构和分类层、回归层组成，卷积结构用于特征提取，分类层和回归层实现“背景
‑
目标”的二分类和回归；经特征差异性分析后，选取第四至第七卷积结构输出的逐层递减的四层特征图C3、C4、C5、C6作为检测特征图；在密集双向特征融合模块，采用依次连接的第一、第二、第三传输连接块TCM自上而下融合C6、C5、C4、C3以及特征层选择模块中第三卷积结构输出的特征图；其中第一传输连接块TCM以C6、C5卷积运算后的特征图为输入，融合后输出至第二传输连接块TCM，第二传输连接块TCM以C4卷积运算后的特征图以及第一传输连接块TCM输出为输入，融合后输出至第三传输连接块TCM，第三传输连接块TCM以C3、C2卷积运算后的特征图以及第二传输连接块TCM输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，包含以下步骤：(1)从视频流中分别提取城市河道管理涉及水上对象的图像，包括瓶子类图像、水草类图像、混合物类图像、船只类图像，使用限制对比度自适应直方图均衡化方法对采取的图像进行降噪处理，再利用矩形框对各类水上对象进行位置和类别标签的语义标注，构建目标检测数据集；(2)构建一种对象尺度敏感的密集连接双向特征融合深度学习模型DCBFFNet，包括：构建面向多对象特性的特征层选择模块，分别研究数据集中每一类检测对象的尺度参数与不同卷积层的感受野尺度参数及对应尺度下提取特征的差异性，有针对性地选取模型中需要融合的不同尺度、不同分辨率的特征图；构建基于多尺度特征的密集双向特征融合模块，根据选择的不同尺度和不同分辨率的特征图设计两种不同结构的传输连接块TCM和TCB，多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB分别构建自上而下和自下而上的两个互逆传输路径，以选取的多层特征图为输入，基于密集连接的方式分别完成自上而下和自下而上的特征传输及特征融合；设计面向多对象的多层特征图锚框尺寸，利用原始图与不同特征图的采样映射关系，采用聚类算法分别统计不同特征图上映射的各类水上对象矩形标注框的尺度分类，确定选取的各层特征图上的锚框尺寸，其中聚类算法中的距离使用d＝1
‑
IoU(bboxes,anchor)表示，其中IoU(bboxes,anchor)表示目标标注框bboxes与锚框anchor的交并比；构建基于多尺度特征的目标检测模块，以密集双向特征融合模块的输出为输入，对多尺度、多类别目标进行类别预测和回归；(3)基于最优的锚框尺寸和构建的目标检测数据集，对DCBFFNet模型进行迭代训练；(4)基于训练好的模型实现水上各类对象的定位和类别预测，并将检测结果可视化。2.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，所述步骤(2)中特征图选取步骤包括：(a)遍历整个检测数据集中包括瓶子类、水草类、船只类、混合物类的各类水上对象的标记框尺度，分别以点状分布图的形式直观体现；(b)计算不同特征层的感受野大小，并与(a)中获取的对象尺度进行比较，选取感受野与对象尺度相匹配的特征层，感受野公式如下：其中，l
k
为第k层的感受野，l
k
‑1为第k
‑
1层的感受野，f
k
为第k层卷积核大小，s
i
为第i层的步长；(c)可视化(b)中获取的多个特征层，比较不同卷积层获取的特征的差异性，并从中选取分别包含对象细节信息和高级语义信息的五层特征层。3.根据权利要求2所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，仅使用四层特征图作为检测特征图，将选取的特征图中尺度最大、分辨率最高的一层仅用于提供目标特征，不在该层进行分类回归。4.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，所述步骤(2)中多个相互连接的传输连接块TCM和多个相互连接的传输连接块TCB间
的密集连接采用的是选择连接的方式，将包含低/高层特征的TCM/TCB逐次与包含高/低层语义特征的TCM/TCB连接，实现特征跨层交互；不同层间特征融合的过程表示为：X
p
＝Φ
p
{Φ
f
{T
k
(X
k
)}}其中，X
k
表示待融合的特征图，T
k
表示特征图进行上采样或降采样处理，以保证特征融合的尺度一致性；Φ
f
表示特征融合的方式；Φ
p
表示对融合后特征的卷积处理；其中在特征融合时采用同尺度相应通道上对应位置元素相加的方式。5.根据权利要求1所述的一种基于DCBFFNet的城市河道水上多目标检测方法，其特征在于，特征层选择模块由七组顺序连接的卷积结构和分类层、回归层组成，卷积结构用于特征提取，分类层和回归层实现“背景
‑
目标”的二分类和回归；经特征差异性分析后，选取第四至第七卷积结构输出的逐层递减的四层特征图C3、C4、C5、C6作为检测特征图；在密集双向特征融合模块，采用依次连接的第一、第二、第三传输连接块TCM自上而下融合C6、C5、C4、C3以及特征层选择模块中第三卷积结构输出的特征图；其中第一传输连接块TCM以C6、C5卷积运算后的特征图为输入，融合后输出至第二传输连接块TCM，第二传输连接块TCM以C4卷积运算后的特征图以及第一传输连接块TCM输出为输入，融合后输出至第三传输连接块TCM，第三传输连接块TCM以C3、C2卷积运算后的特征图以及第二传输连接块TCM输出为输入，融合后得到的特征图作为目标检测模块中第一尺度特征图；第一传输连接块TCB以第三传输连接块TCM输出以及第二传输连接块TCM输出作为输入，融合后得到的特征图作为目标检测模块中第二尺度特征图，且另一路输出至第二传输连接块TCB，第二传输连接块TCB以第一传输连接块TCB输出以及三个传输连接块TCM输出逐元素融合特征作为输入，融合后得到的特征图作为目标检测模块中第三尺度特征图，且另一路输出至第三传输连接块TCB，第...

【专利技术属性】
技术研发人员：张丽丽，魏雅雪，王高旭，吴巍，陈君，王慧斌，张轩，许怡，李岱远，
申请(专利权)人：水利部交通运输部国家能源局南京水利科学研究院，
类型：发明
国别省市：