一种用于跟踪多目标的方法及装置制造方法及图纸

本发明专利技术提供了一种用于跟踪多目标的方法，包括：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的序列帧图像；步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪；步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示，相应地，公开了一种用于跟踪多目标的装置，本发明专利技术检测精度和速率较高、可对多个目标进行稳定跟踪，且可根据用户需求对不同目标进行选择性跟踪。对不同目标进行选择性跟踪。对不同目标进行选择性跟踪。

【技术实现步骤摘要】
一种用于跟踪多目标的方法及装置


[0001]本专利技术涉及目标跟踪
，尤其涉及到一种用于跟踪多目标的方法及装置。

技术介绍

[0002]随着科技水平的不断发展，基于计算机视觉识别的技术也开始备受关注，而视觉目标跟踪是计算机视觉研究中的一个重要研究方向，作为智能视频监控中的关键技术，被广泛应用在智能安防监控、智能交通和智能导航等方面，主要是对企业、商场等公共场所和私人住宅及水电站等可视区域进行异常目标监督，交通流量统计和车辆异常情况检测以及机器人跟踪视场中指定目标等。因此，如何及时精确的对多个目标进行稳定跟踪识别，避免发生损失或进行及时的资料记录，十分重要，但图像中的物体过多就容易发生识别错误的现象，目前的多目标跟踪方法，存在复杂度高，或由于环境干扰采集图像的清晰度受到影响或发生畸变导致识别精度不够，或者由于跟踪遮挡问题导致稳定性较低的问题。且无法根据用户对特定的多目标进行选择性的跟踪以节省计算机资源。
[0003]综上所述，提供一种检测精度和速率较高、稳定性好，且可根据用户需求对不同目标进行选择性跟踪和自动控制跟踪时长的用于跟踪多目标的方法及装置，是本领域技术人员急需解决的问题。

技术实现思路

[0004]本方案针对上文提到的问题和需求，提出一种用于跟踪多目标的方法，其由于采取了如下技术方案而能够解决上述技术问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种用于跟踪多目标的方法，包括以下步骤：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像；
[0006]步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；
[0007]步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪，对不需要进行跟踪的目标进行释放；
[0008]步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
[0009]进一步地，在所述序列帧图像进行预处理包括图像增强处理和图像滤波处理，所述图像增强处理包括先将所述待检测目标对象的序列帧图像的颜色空间由RGB转为HSV，然后将进行颜色空间转换后的图像进行均匀分块,并对每个分块在HSV颜色空间中的V分量分别进行直方图均衡化操作；将进行直方图均衡化操作后的V分量和原H分量及原S分量拼接，再将拼接后的图像从HSV颜色空间转到RGB颜色空间得到增强后的序列帧图像；所述图像滤波处理包括选择3*3均值滤波模板，将要被处理的图像像素位于模板的中心位，再使用模板
中全部像素的平均值给目标像素赋值，得到滤波处理后的序列帧图像。
[0010]更进一步地，所述对待检测目标对象进行检测包括：将图片处理成统一格式大小，输入基于YOL0v3目标检测网络，所述基于YOL0v3目标检测网络将原始图像按照特征图的尺度大小划分为n*n个等大的单元格；在每一个单元格上为每一个边界框预测边界框中心点坐标、目标边界框的宽、高4个值；利用聚类算法对训练集中目标边界框的尺寸进行聚类,获取最佳边界框的尺寸；对边界框位置进行预测后，利用逻辑回归计算每个边界框的分数来预测是所属类别的概率即置信度；若先验边界框和真实边界框的重叠率大于先前其他任何一个边界框和真实边界框的重叠率,则这个边界框的概率为1；若先验边界框与真实边界框的重叠率大于0.5,但又不是最大的,则忽略这个预测框，采用二元交叉熵损失和逻辑回归进行类别预测，得到目标检测结果。
[0011]更进一步地，所述基于YOL0v3目标检测网络包括DarkNet
‑
53特征提取网络和Inception模块，DarkNet
‑
53特征提取网络中的残差连接Inception模块形成新的Inception
‑
ResNet模块，所述Inception
‑
ResNet模块包括先采用三个并行卷积层来处理上层网络特征图，第一并行卷积层包括1*1的卷积核，第二并行卷积层包括1*1的卷积核和3*3的卷积核，第三并行卷积层包括1*1的卷积核、1*3的卷积核和3*1的卷积核；然后处理特征融合并利用1*1的卷积核更改其输出通道；和叠加输入特征形成的残差短连接得到Inception
‑
ResNet模块。
[0012]更进一步地，在进行目标检测网络训练前，需要建立数据集，所述建立数据集包括对不同类型的目标图像进行分类标记存储，目标图像的标记信息包括目标数量、目标姿态、目标类别、目标边界框的四个顶点坐标，所述数据集包括建训练集、验证集和测试集。
[0013]更进一步地，对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪包括获取目标对象信息和相邻背景信息，再对目标对象进行HOG特征提取，并对提取的特征进行归一化；利用主成分分析法进行特征降维将高维特征用低维特征表示，形成跟踪训练样本，将训练样本保存下来当作备用的参考样本；利用二维高斯函数制作目标函数，并计算高斯相关核函数和岭回归系数，得到最终滤波跟踪模板，当滤波跟踪模板作用在跟踪目标上时，得到的响应最大，最大响应值的位置就是目标的位置。
[0014]一种用于跟踪多目标的装置，包括：目标对象视频采集模块、目标对象检测模块、目标对象跟踪模块和信息管理模块；
[0015]所述目标对象视频采集模块用于控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像，所述目标对象视频采集模块包括图像获取设备、分帧模块和用于视频数据缓存转发的视频传输模块，所述目标对象检测模块与所述目标对象视频采集模块电连接；
[0016]所述目标对象检测模块用于对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注，并将检测结果发送给所述目标对象跟踪模块，所述目标对象检测模块包括图像预处理模块和目标对象检测模块，所述图像预处理模块包括图像增强处理单元和图像滤波处理单元，目标对象检测模块用于对待检测目标对象进行检测；
[0017]所述目标对象跟踪模块用于对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，并根据管理员输入的跟踪信息对跟踪目标进行筛选和选择性跟踪，对不需要
进行跟踪的目标进行释放；
[0018]所述信息管理模块用于获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。
[0019]进一步地，所述图像获取设备包括高清摄像机、第一控制器和调节模块，所述高清摄像机和调节模块均与所述第一控制器电连接，所述第一控制器接收管理员输入的控制指令，并根据所述控制指令控制所述高清摄像机获取待检测目标对象的视频数据，所述调节模块用于在图像采集时进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于跟踪多目标的方法，其特征在于，包括以下步骤：步骤Step1:根据管理员输入的控制指令控制图像获取设备获取待检测目标对象的视频数据，并从所述待检测目标对象的视频数据中获取待检测目标对象的序列帧图像；步骤Step2:对所述序列帧图像进行预处理，基于预处理后图像对待检测目标对象进行检测，并对检测到的多个目标对象进行分类标注；步骤Step3:对每一个目标对象采用基于KCF的目标跟踪算法进行单目标跟踪，根据管理员输入的跟踪信息对跟踪目标进行选择性跟踪，对不需要进行跟踪的目标进行释放；步骤Step4:获取多个目标的跟踪轨迹信息，并对多个目标的跟踪轨迹信息进行存储管理及对目标轨迹进行可视化显示。2.如权利要求1所述的用于跟踪多目标的方法，其特征在于，在所述序列帧图像进行预处理包括图像增强处理和图像滤波处理，所述图像增强处理包括先将所述待检测目标对象的序列帧图像的颜色空间由RGB转为HSV，然后将进行颜色空间转换后的图像进行均匀分块,并对每个分块在HSV颜色空间中的V分量分别进行直方图均衡化操作；将进行直方图均衡化操作后的V分量和原H分量及原S分量拼接，再将拼接后的图像从HSV颜色空间转到RGB颜色空间得到增强后的序列帧图像；所述图像滤波处理包括选择3*3均值滤波模板，将要被处理的图像像素位于模板的中心位，再使用模板中全部像素的平均值给目标像素赋值，得到滤波处理后的序列帧图像。3.如权利要求2所述的用于跟踪多目标的方法，其特征在于，所述对待检测目标对象进行检测包括：将图片处理成统一格式大小，输入基于YOL0v3目标检测网络，所述基于YOL0v3目标检测网络将原始图像按照特征图的尺度大小划分为n*n个等大的单元格；在每一个单元格上为每一个边界框预测边界框中心点坐标、目标边界框的宽、高4个值；利用聚类算法对训练集中目标边界框的尺寸进行聚类,获取最佳边界框的尺寸；对边界框位置进行预测后，利用逻辑回归计算每个边界框的分数来预测是所属类别的概率即置信度；若先验边界框和真实边界框的重叠率大于先前其他任何一个边界框和真实边界框的重叠率,则这个边界框的概率为1；若先验边界框与真实边界框的重叠率大于0.5,但又不是最大的,则忽略这个预测框，采用二元交叉熵损失和逻辑回归进行类别预测，得到目标检测结果。4.如权利要求3所述的用于跟踪多目标的方法，其特征在于，所述基于YOL0v3目标检测网络包括DarkNet
‑
53特征提取网络和Inception模块，DarkNet
‑
53特征提取网络中的残差连接Inception模块形成新的Inception
‑
ResNet模块，所述Inception
‑
ResNet模块包括先采用三个并行卷积层来处理上层网络特征图，第一并行卷积层包括1*1的卷积核，第二并行卷积层包括1*1的卷积核和3*3的卷积核，第三并行卷积层包括1*1的卷积核、1*3的卷积核和3*1的卷积核；然后处理特征融合并利用1*1的卷积核更改其输出通道；和叠加输入特征形成的残差短连接得到Inception
‑
ResNet模块。5.如权利要求4所述的用于跟踪多目标的方法，其特征在于，在进行目标检测网络训练前，需要建立数据集，所述建立数据集包括对不同类型的目标图像进行分类标记存储，目标图像的...

【专利技术属性】
技术研发人员：张笑钦，
申请(专利权)人：温州大学大数据与信息技术研究院，
类型：发明
国别省市：