一种基于YOLO V5算法的船舶多目标追踪方法技术

本发明专利技术公开了一种基于YOLO V5算法的船舶多目标追踪方法，本发明专利技术首先对采集到的船舶图像数据进行筛选和标注并自组建数据集，将数据集划分为训练集、验证集、测试集；利用自组建数据集中的训练集和验证集对YOLO V5网络进行训练，获取基于YOLO V5网络的船舶检测模型以及权重文件；利用训练后的YOLO V5检测模型对测试集进行检测，输出检测结果，并对检测模型进行评价；基于训练后的YOLO V5检测模型，经DeepSort算法处理，生成追踪模型；对生成的DeepSort追踪模型进行实时性验证。本发明专利技术能够实现对海上船舶的检测及多目标跟踪，检测精度高、实时性好、速度快。

【技术实现步骤摘要】
一种基于YOLOV5算法的船舶多目标追踪方法
本专利技术涉及机器视觉领域，特别是涉及一种基于YOLOV5算法的船舶多目标追踪方法。
技术介绍
目标追踪是对连续帧图像的时间序列中的运动目标进行检测、提取、识别和跟踪，获得追踪目标的位置和运动轨迹，实现对运动目标的行为理解，以完成更高一级的检测任务。根据追踪目标的数量可以将追踪算法分为单目标跟踪与多目标跟踪。相比单目标追踪而言，多目标追踪问题更加复杂和困难。多目标追踪主要任务是在给定视频中同时对多个感兴趣目标进行定位，维持各感兴趣目标的ID并记录他们的轨迹。针对于海上特定环境，首先，船舶会受到航行时风波涌流的影响，造成摄像头无法稳定获取固定视角的图像数据，导致在目标识别较为困难从而对船舶的多目标检测产生较大误差；其次，海上气候多变使摄像头在获取图像数据时产生不同光影画面，致使传统的目标检测算法实施的过程中不能理想的检测到目标，且传统的目标检测算法难以克服船舶在行驶过程中检测目标出现的重叠与遮挡等问题所带来的影响；最后，船舶多目标追踪的问题更多的在于其基础上目标检测的准确性，在目标追踪的算法当中，目标检测的精度影响着追踪的效果。船舶多目标追踪方法是海上船舶智能监控系统的核心，现有的海上船舶智能监控系统仅能实现船舶检测工作，且速度慢、精度低、实时性不好，无法实现目标船舶的追踪。现有的目标追踪方法仅能满足陆上以及其他相对稳定的检测环境中，海上船舶航行环境复杂多变，其无法保证检测精度和实时性。因而提高海上目标检测与追踪的精确性有着重要意义。专利技术内容本专利技术的目的是提供一种基于YOLOV5算法的船舶多目标追踪方法，以解决上述现有技术存在的问题，能够对船舶多目标进行实时检测、跟踪。为实现上述目的，本专利技术提供了如下方案：本专利技术提供一种基于YOLOV5算法的船舶多目标追踪方法，包括以下步骤：S1，采集船舶图像数据，对采集到的所述船舶图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；S2，基于所述训练集和所述验证集，对YOLOV5网络进行训练，获得YOLOV5检测模型，基于所述测试集对所述YOLOV5检测模型进行测试，获得测试结果，基于所述测试结果对YOLOV5检测模型进行评价，评价合格后则结束测试；S3，对所述YOLOV5检测模型进行处理，生成YOLOV5船舶追踪模型，基于所述YOLOV5船舶追踪模型对船舶进行追踪并进行实时性验证。优选地，所述S1中的船舶图像数据包括：从包括船舶相关图像数据的开源数据集；通过摄像头对船舶进行拍摄而获得的图像数据。优选地，所述开源数据集包括但不限于：COCO数据集、VOC数据集和SeaShip船舶数据集。优选地，所述S1中的图像预处理的具体方法为：从采集的所述船舶图像数据中筛选出COCO数据集和VOC数据集中含有船舶的图片，对筛选出的图片、SeaShip船舶数据集及通过摄像头获取的图片进行标注并合并。优选地，所述YOLOV5网络包括backbone部分、neck部分和prediction部分，在所述S2中，获得所述YOLOV5检测模型的方法具体为：S2.1，将训练集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone部分，获得不同尺度的特征图；S2.2，将所述不同尺度的特征图输入所述neck部分，进行上采样和特征融合后获得不同尺度的张量数据；S2.3，将所述不同尺度的张量数据输入所述prediction部分，基于损失函数及反向传播对梯度进行计算，实时进行梯度更新并利用所述验证集进行验证，获得所述YOLOV5检测模型。优选地，所述S2中测评价合格的要求为：所述YOLOV5检测模型的所述测试结果的平均精度均值大于等于设定值。优选地，所述S3中对所述YOLOV5检测模型进行处理的方法具体为：采用DeepSort算法进行处理。优选地，所述S3中的方法：S3.1，对所有待追踪目标进行检测，完成检测后构建DeepSort跟踪器，对所述YOLOV5船舶追踪模型输入带有船舶的视频帧并进行处理；S3.2，处理完毕且第一帧视频图像输入所述YOLOV5船舶追踪模型后，将检测到的目标初始化并创建新的所述DeepSort跟踪器，标注ID；S3.3，第一帧后的任一帧输入所述YOLOV5船舶追踪模型时，基于所述DeepSort算法，获得所有目标的状态预测和当前帧的所述检测框的交并比，并获得所述交并比的最大唯一匹配，作为目标检测框；S3.4，基于置信度对所述检测框进行过滤，删除置信度不够高的检测框及特征，基于所述当前帧匹配到的所述目标检测框更新所述DeepSort跟踪器，计算状态更新，获得更新值并输出，将所述更新值作为所述当前帧的追踪框。优选地，所述S3.1中的处理方法为：初始化各个参数并去掉检测置信度小于0.7的检测框；通过非极大值抑制法去除检测中重叠的所述检测框并确认所述DeepSort追踪器的状态正常。优选地，所述S3.4中，若所述当前帧中没有匹配到的目标，则重新初始化所述DeepSort跟踪器。本专利技术公开了以下技术效果：本专利技术提出一种基于YOLOV5、DeepSort算法的船舶多目标追踪方法，本专利技术基于自组建数据集和YOLOV5网络训练出检测模型，所述模型可实现目标检测功能，然后基于训练好的YOLOV5检测模型利用DeepSort算法进行处理，从而实现对多目标的实时追踪；本专利技术可实现对海上六类船舶(矿船、普通货船、散货船、集装箱船、渔船、客船)的多目标的实时检测和跟踪，利用DeepSort算法保证多目标追踪的实时性，所述DeepSort算法基于目标检测算法，将每一帧的目标检测出来，然后使用DeepSort算法中匈牙利匹配算法将相邻帧之间检测到的目标进行关联，通过目标检测结合帧间的数据关联来实现船舶多目标追踪，且目标检测器性能越好，最终的追踪输出效果也会更好。因此该方法利用了YOLOV5算法来作为DeepSort算法的目标检测器。YOLOV5使用了Pytorch框架能够非常方便地训练自己的数据集，与传统的检测算法相比，YOLOV5算法优点在于模型小、速度快、检测精度高。本专利技术能够对海上船舶多目标进行实时检测和追踪，在船舶防撞避碰方面有着重要的意义，提高了船舶航行的安全性，节省了人力和物力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术的流程示意图；图2是本专利技术的船舶图像标注的示意图；图3是本专利技术基于YOLOV5目标检测模型训练评价参数PR图；图4是本专利技术基于YOLOV5目标检测模型训练评价参数图；图5是本专利技术中交并比的示意图。具体实施本文档来自技高网...

【技术保护点】
1.一种基于YOLO V5算法的船舶多目标追踪方法，其特征在于：包括以下步骤：/nS1，采集船舶图像数据，对采集到的所述船舶图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；/nS2，基于所述训练集和所述验证集，对YOLO V5网络进行训练，获得YOLO V5检测模型，基于所述测试集对所述YOLO V5检测模型进行测试，获得测试结果，基于所述测试结果对YOLO V5检测模型进行评价，评价合格后则结束测试；/nS3，对所述YOLO V5检测模型进行处理，生成YOLO V5船舶追踪模型，基于所述YOLO V5船舶追踪模型对船舶进行追踪并进行实时性验证。/n

【技术特征摘要】
1.一种基于YOLOV5算法的船舶多目标追踪方法，其特征在于：包括以下步骤：
S1，采集船舶图像数据，对采集到的所述船舶图像数据进行图像预处理，基于预处理完毕的图像构建数据集，将所述数据集划分为训练集、验证集和测试集；
S2，基于所述训练集和所述验证集，对YOLOV5网络进行训练，获得YOLOV5检测模型，基于所述测试集对所述YOLOV5检测模型进行测试，获得测试结果，基于所述测试结果对YOLOV5检测模型进行评价，评价合格后则结束测试；
S3，对所述YOLOV5检测模型进行处理，生成YOLOV5船舶追踪模型，基于所述YOLOV5船舶追踪模型对船舶进行追踪并进行实时性验证。


2.根据权利要求1所述的基于YOLOV5算法的船舶多目标追踪方法，其特征在于：所述S1中的船舶图像数据包括：从包括船舶相关图像数据的开源数据集；通过摄像头对船舶进行拍摄而获得的图像数据。


3.根据权利要求2所述的基于YOLOV5算法的船舶多目标追踪方法，其特征在于：所述开源数据集包括但不限于：COCO数据集、VOC数据集和SeaShip船舶数据集。


4.根据权利要求3所述的基于YOLOV5算法的船舶多目标追踪方法，其特征在于：所述S1中的图像预处理的具体方法为：从采集的所述船舶图像数据中筛选出COCO数据集和VOC数据集中含有船舶的图片，对筛选出的图片、SeaShip船舶数据集及通过摄像头获取的图片进行标注并合并。


5.根据权利要求1所述的基于YOLOV5算法的船舶多目标追踪方法，其特征在于：所述YOLOV5网络包括backbone部分、neck部分和prediction部分，在所述S2中，获得所述YOLOV5检测模型的方法具体为：
S2.1，将训练集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone部分，获得不同尺度的特征图；
S2.2，将所述不同尺度的特征图输入所述neck部分，进行上采样和特征融合后获得不同尺度的张量数据；
S2.3，将所述不同尺度的张量数据输入所述p...

【专利技术属性】
技术研发人员：王晓原，何国文，王文龙，豆志伟，王刚，王全政，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：山东;37