一种基于工厂化养殖的对虾多目标跟踪系统及方法技术方案

本发明专利技术公开了一种基于工厂化养殖的对虾多目标跟踪系统及方法，属于目标追踪技术领域。本发明专利技术中，在YOLOv3模型的基础上，将模型的骨干网络Darknet53引入Mish函数，并增加了Focus模块、空间金字塔池化模块、特征金字塔模块，提出了基于改进Yolov3的对虾多目标跟踪方法，融合了改进Yolov3目标检测和DeepSort对虾多目标跟踪模型能够实现实际养殖环境下的对虾多目标实时跟踪，可为实现对虾大规模养殖的精准管理提供良好的技术支持。精准管理提供良好的技术支持。精准管理提供良好的技术支持。

【技术实现步骤摘要】
一种基于工厂化养殖的对虾多目标跟踪系统及方法


[0001]本专利技术属于目标追踪
，尤其涉及一种基于工厂化养殖的对虾多目标跟踪系统及方法。

技术介绍

[0002]水产养殖是农业生产的重要组成部分，近几十年来，中国水产养殖业迅速发展，取得了举世瞩目的成就。计算机视觉技术是在图像处理、人工智能、模式识别等技术的基础上逐渐发展形成的一种非入侵式且稳定性较好的观察技术，其原理是利用摄像机等成像系统，采集拍摄区域的视频序列图像，再通过图像处理的方式检测和跟踪图像中的运动目标，从而得到目标的参数。正在被众多的水产养殖行为学研究人员所接受。Delcourt等利用计算机视觉系统对鱼群中个体行为的追踪进行了一定的研究，对鱼群运动中多个目标进行了跟踪，系统具有很好的鲁棒性和可靠性。童剑锋等人采用声学摄像仪对溯河洄游的幼年香鱼进行计数，从获得的声学图像中去除静止的背景和一系列杂质干扰,提取出运动目标,然后用卡尔曼滤波器跟踪运动目标,根据目标移动的方向不同辨别香鱼和垃圾，除去垃圾的干扰后完成对洄游香鱼的计数。
[0003]多目标跟踪算法可以分为两类：1)通过两个独立的模型来解决这个问题：检测模型首先通过图像中的边界框来定位感兴趣的对象，然后关联模型为每个边界框提取重新识别(Re
‑
ID)特征，并根据特征上定义的某些指标将其链接到现有轨迹上。近年来，对象检测和Re
‑
ID分别取得了显着进展，这反过来又提高了跟踪性能，然而这些方法不能以视频速率进行推理，因为这两个网络不共享特征， 2)随着多任务学习的成熟，联合检测对象和学习Re
‑
ID特征的一步方法也开始受到更多关注，由于两个模型共享大部分功能，他们有着显著减少推理时间的潜力，然而，与两步方法相比，一步方法的准确性通常会显着下降，因此，亟须一种基于工厂化养殖的对虾多目标跟踪系统及方法解决上述问题。

技术实现思路

[0004]本专利技术的目的在于：为了解决一步方法的准确性通常会显着下降的问题，而提出的一种基于工厂化养殖的对虾多目标跟踪系统及方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于工厂化养殖的对虾多目标跟踪方法，包括以下步骤：
[0007]S101、通过摄像头获取目标的多个连续视频图像，其中目标为包括环境内多目标的连续视频图像；
[0008]S102、确定连续视频图像内特征信息，确定视频子图像，其中，子图像包括所有目标的关键帧；
[0009]S103、基于子图像关键帧特征信息通过Yolov3检测器进行目标检测提取；
[0010]S104、通过对提取的目标进行匹配，通过DeepSort跟踪器的实时输入完成目标运动轨迹跟踪检测。
[0011]作为上述技术方案的进一步描述：
[0012]具体还包括建立Yolov3模型系统实现对提升小尺度和遮挡目标的检测和跟踪能力，训练方法具体包括以下步骤：
[0013]S201、筛选剔除夜间、无目标和镜头污染无效片段视频图像后；
[0014]S202、构建了3个数据集分别用于训练目标检测模型、重识别模型和验证多目标跟踪效果；
[0015]S203、对于目标检测数据集，利用ffmpeg进行关键帧提取，将采集的6024 张(1920像素
×
1080像素)对虾图像通过LabelImg标注工具进行标注，制作成 PASCAL VOC标准数据集格式的数据；
[0016]S204、按照4︰1的比例划分为训练集和测试集；
[0017]S205、为了提高重识别结果的准确性，通过人工筛选视频数据保证对虾个体为唯一存在，再使用DarkLabel对视频进行标注，根据标注过程中的不同标号来区分不同个体，最后按照Market
‑
1501数据集格式构建重识别数据集。
[0018]作为上述技术方案的进一步描述：
[0019]具体还包括使用多目标跟踪算法对提取目标进行匹配进行轨迹跟踪检查，通过提取深度表观特征提升多目标的跟踪效果，基于现有的准确的检测结果，以检测结果bounding box、confidence、feature为输入，confidence主要用于检测框的筛选，bounding box与feature(ReID)用于与跟踪器的匹配计算，预测模块利用卡尔曼滤波器，更新模块部分利用IOU进行匈牙利算法的匹配。
[0020]作为上述技术方案的进一步描述：
[0021]还包括使用多目标跟踪方法的系统，所述系统采用改进型Yolov3作为对虾多目标跟踪模型的目标检测模块，具体改进包括增加Mosaic数据增强模块、Focus 模块、CSP模块、FPN+PAN模块和引入Mish函数来增强模型的泛化能力，引入GIOU 损失函数对交并比损失函数进行优化。
[0022]作为上述技术方案的进一步描述：
[0023]所述Mosaic数据增强具体增强方法包括采用4张图片通过随机缩放、随机裁剪和随机排布的方式进行拼接。
[0024]作为上述技术方案的进一步描述：
[0025]所述Focus模块增强包括对图片切片操作，在图像中每隔一个像素取值，原始608
×
608
×
3的图像输入Focus模块，采用切片操作变成304
×
304
×
12的特征图，经过32个卷积核的卷积操作，变成304
×
304
×
32的特征图，得到没有信息丢失的下采样特征图。
[0026]作为上述技术方案的进一步描述：
[0027]所述CSP模块增强包括CSP模块包含卷积、批归一化、leaky relu激活函数和X个残差单元，用于将基础层的特征映射划分为两部分，然后通过跨阶段层次结构合并，减少计算量的同时可以保证准确率。
[0028]作为上述技术方案的进一步描述：
[0029]所述空间金字塔池化模块属于多尺度融合的，使用空间金字塔池化SPP模块进行三次最大池化操作，将输入特征F
in
∈R
C
×
H
×
W
分别进行5
×
5，9
×
9，13
×
13的最大值池化，均通过在特征图周围补0保持特征图大小，接着将三次池化的特征图进行通道维度的拼接完成
特征融合。
[0030]作为上述技术方案的进一步描述：
[0031]所述FPN+PAN包括在FPN层的后面还添加了一个自底向上的特征金字塔，其中包含两个PAN结构，FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，从不同的主干层对不同的检测层进行参数聚合。
[0032]作为上述技术方案的进一步描述：
[0033]还包括引入交并比(IoU)来量化预测框和真实框的贴合程度检测任务，设置阈值为0.5，若IoU大于0.5，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，包括以下步骤：S101、通过摄像头获取目标的多个连续视频图像，其中目标为包括环境内多目标的连续视频图像；S102、确定连续视频图像内特征信息，确定视频子图像，其中，子图像包括所有目标的关键帧；S103、基于子图像关键帧特征信息通过Yolov3检测器进行目标检测提取；S104、通过对提取的目标进行匹配，通过DeepSort跟踪器的实时输入完成目标运动轨迹跟踪检测。2.根据权利要求1所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，具体还包括建立Yolov3模型系统实现对提升小尺度和遮挡目标的检测和跟踪能力，训练方法具体包括以下步骤：S201、筛选剔除夜间、无目标和镜头污染无效片段视频图像后；S202、构建了3个数据集分别用于训练目标检测模型、重识别模型和验证多目标跟踪效果；S203、对于目标检测数据集，利用ffmpeg进行关键帧提取，将采集的6024张(1920像素
×
1080像素)对虾图像通过LabelImg标注工具进行标注，制作成PASCAL VOC标准数据集格式的数据；S204、按照4︰1的比例划分为训练集和测试集；S205、为了提高重识别结果的准确性，通过人工筛选视频数据保证对虾个体为唯一存在，再使用DarkLabel对视频进行标注，根据标注过程中的不同标号来区分不同个体，最后按照Market
‑
1501数据集格式构建重识别数据集。3.根据权利要求1所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，具体还包括使用多目标跟踪算法对提取目标进行匹配进行轨迹跟踪检查，通过提取深度表观特征提升多目标的跟踪效果，基于现有的准确的检测结果，以检测结果bounding box、confidence、feature为输入，confidence主要用于检测框的筛选，bounding box与feature(ReID)用于与跟踪器的匹配计算，预测模块利用卡尔曼滤波器，更新模块部分利用IOU进行匈牙利算法的匹配。4.根据权利要求1
‑
3任意一项所述的一种基于工厂化养殖的对虾多目标跟踪方法，其特征在于，还包括使用多目标跟踪方法的系统，所述系统采用改进型Yolov3作为对虾多目标跟踪模型的目标检测模块，具体改进包括增加Mosaic数据增强模块、Focus模块、CSP模块、FPN+PAN模块和引入Mish函数来...

【专利技术属性】
技术研发人员：刘利平，乔乐乐，孙建，何航宇，石义，
申请(专利权)人：华北理工大学，
类型：发明
国别省市：