一种基于制造技术

本申请公开了一种基于

【技术实现步骤摘要】
一种基于TBD策略的行人多目标跟踪方法


[0001]本申请涉及深度学习
，具体涉及一种基于
TBD
策略的行人多目标跟踪方法
。

技术介绍

[0002]在行人多目标跟踪领域中，行人多目标跟踪技术的主要任务是在视频序列中同时对多个行人目标进行连续地跟踪，并维持其唯一的
ID
编号
。
由于深度学习技术的迅速发展，使用深度学习技术的行人多目标跟踪方法成为主流，其中行人多目标跟踪方法的主流策略有
TBD
和
DFT。TBD
策略是先检测再跟踪的方法，
DFT
策略需要手动初始化行人目标再进行跟踪，仅仅能跟踪已经标记的行人目标，而
TBD
策略可以自动发现新的行人目标，删除已经消失的行人目标，更适合现实的应用场景
。TBD
策略的行人多目标跟踪方法中行人目标检测与多目标跟踪是核心内容，因此
TBD
策略需要性能优异的行人检测器和行人跟踪器
。
[0003]随着深度学习技术的不断发展，基于深度卷积神经网络的目标检测算法应运而生
。
如
Alex Bewley
等人提出的经典的
SORT
算法就是采用先检测再跟踪的
TBD
策略，也是第一次将深度学习技术带入到
MOT
中，
SORT
使用
Faster R
‑
CNN
作为检测器因此
SORT
有着极快的跟踪速度
。
以及之后
Nicolai Wojke
等人提出的
SORT
的升级版
DeepSORT
也是基于
TBD
策略的多目标跟踪算法，
DeepSORT
设计了行人外观特征提取网络，结合级联匹配算法可以有效降低行人被遮挡时
ID
编号的变换次数
。
近几年来，裴云成使用
YOLOv3
作为
DeepSORT
的检测器，并使用多特征融合网络来代替
DeepSORT
的原特征特提取网络并结合
GIoU
损失函数使得行人多目标跟踪精度提升
4.1
％
。
杨国东使用改进后的
YOLOv4
作为检测器并结合
DeepSORT
算法构建了安防巡逻机器人行人跟踪系统，实现了
20FPS
以上的实时行人目标跟踪
。Yunhao Du
等人提出的
StrongSORT
算法是在
DeepSORT
的基础上进行全面的改进，使用指数移动平均
(EMA)
的方式来更新行人外观信息，采用
ECC
进行相机运动补偿和使用
NSA
卡尔曼滤波来处理检测噪声尺度上的信息，
StrongSORT
可以实现更准确的目标定位并有效改善了跟踪目标
ID
编号切换频繁等问题
。
[0004]现有的基于
TBD
策略的行人多目标跟踪方法都是由一个行人检测器和行人跟踪器组合而成，目前作为行人跟踪器的
SORT、DeepSORT、
以及
StrongSORT
算法，
SORT
算法只考虑了行人之间的距离匹配而没考虑行人外观特征的匹配，
DeepSORT
虽然引入了行人外观特征提取网络，但其网络是浅层的
CNN
，对行人外观提取不够准确和全面，并且也没有真正做到行人的运动信息和外观信息的关联
。StrongSORT
算法虽然真正实现了行人运动信息和外观信息的关联，但其行人外观特征提取网络对相似外观行人特征提取不够全面，只考虑了行人的同构尺度特征没有考虑到行人的异构尺度特征
。
以上行人跟踪算法存在的缺点，都会降低行人多目标跟踪的精度，导致行人的
ID
编号切换频繁
。

技术实现思路

[0005]本申请为了解决上述技术问题，提出了如下技术方案：
[0006]第一方面，本申请实施例提供了一种基于
TBD
策略的行人多目标跟踪方法，包括：
[0007]确定基于
TBD
策略的行人多目标跟踪网络，所述行人多目标跟踪网络包括过
ES
‑
YOLO
行人检测器和基于全尺度特征融合的
StrongSORT
行人跟踪器；
[0008]将待跟踪样本输入到所述
ES
‑
YOLO
行人检测器获得行人目标检测框；
[0009]将所述行人目标检测框输入到所述基于全尺度特征融合的
StrongSORT
行人跟踪器中获得行人多目标跟踪结果帧，实现行人多目标跟踪
。
[0010]在一种可能的实现方式中，确定基于
TBD
策略的行人多目标跟踪网络的
ES
‑
YOLO
行人检测器，包括：
[0011]使用改进后的
YOLOv5s
作为行人检测器，所述改进后的
YOLOv5s
目标检测算法为
ES
‑
YOLO
，
ES
‑
YOLO
的网络结构由输入端
、Backbone
网络
、Neck
网络和
Head
组成；
[0012]利用检测器训练样本对
ES
‑
YOLO
网络进行训练，得到训练完成的行人目标检测网络
。
[0013]在一种可能的实现方式中，所述输入端有9‑
Mosaic
数据增强
、
自适应计算锚框和自适应缩放图像三个部分，9‑
Mosaic
数据增强通过使用9张图片进行随机缩放
、
裁剪
、
排布来丰富训练样本；
Backbone
网络由一个
CBS
模块和多个
MBConv
和
Fused
‑
MBConv
模块组成，用来提取目标通用的特征，
Neck
网络由
SPPF
模块
、
特征金字塔模块
FPN、
路径聚合网络模块
PAN
组成，使用特征融合得到行人多尺度特征图；
Head
作为输出端，接受
Neck
网络中三个不同维度的特征层输出，然后使用
SIoU
损失函数预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
TBD
策略的行人多目标跟踪方法，其特征在于，包括：确定基于
TBD
策略的行人多目标跟踪网络，所述行人多目标跟踪网络包括过
ES
‑
YOLO
行人检测器和基于全尺度特征融合的
StrongSORT
行人跟踪器；将待跟踪样本输入到所述
ES
‑
YOLO
行人检测器获得行人目标检测框；将所述行人目标检测框输入到所述基于全尺度特征融合的
StrongSORT
行人跟踪器中获得行人多目标跟踪结果帧，实现行人多目标跟踪
。2.
根据权利要求1所述的基于
TBD
策略的行人多目标跟踪方法，其特征在于，确定基于
TBD
策略的行人多目标跟踪网络的
ES
‑
YOLO
行人检测器，包括：使用改进后的
YOLOv5s
作为行人检测器，所述改进后的
YOLOv5s
目标检测算法为
ES
‑
YOLO
，
ES
‑
YOLO
的网络结构由输入端
、Backbone
网络
、Neck
网络和
Head
组成；利用检测器训练样本对
ES
‑
YOLO
网络进行训练，得到训练完成的行人目标检测网络
。3.
根据权利要求2所述的基于
TBD
策略的行人多目标跟踪方法，其特征在于，所述输入端有9‑
Mosaic
数据增强
、
自适应计算锚框和自适应缩放图像三个部分，9‑
Mosaic
数据增强通过使用9张图片进行随机缩放
、
裁剪
、
排布来丰富训练样本；
Backbone
网络由一个
CBS
模块和多个
MBConv
和
Fused
‑
MBConv
模块组成，用来提取目标通用的特征，
Neck
网络由
SPPF
模块
、
特征金字塔模块
FPN、
路径聚合网络模块
PAN
组成，使用特征融合得到行人多尺度特征图；
Head
作为输出端，接受
Neck
网络中三个不同维度的特征层输出，然后使用
SIoU
损失函数预测当前帧中行人目标的位置信息和置信度，输出目标检测的结果
。4.
根据权利要求2或3所述的基于
TBD
策略的行人多目标跟踪方法，其特征在于，确定基于
TBD
策略的行人多目标跟踪网络，包括：使用基于全尺度特征融合的
StrongSORT
跟踪网络作为行人跟踪器，所述基于全尺度特征融合的
StrongSORT
跟踪网络由全尺度特征提取网络
、NSA
卡尔曼滤波模块
、EMA、ECC、Vanilla Matching
组成，用于进一步处理行人目标的外观信息和运动信息；利用
Market
‑
1501
行人重识别训练样本对所述行人跟踪器的行人外观特征提取网络进行训练，得到训练完成的行人外观特征提取网络；将训练完成的
ES
‑
YOLO
行人检测器和训练完成的基于全尺度特征融合的
StrongSORT
行人跟踪器进行组合得到训练完成的基于
TBD
策略的行人多目标跟踪网络
。5.
根据权利要求4所述的基于
TBD
策略的行人多目标跟踪方法，其特征在于，全尺度特征提取网络用于行人外观特征的分类，
NSA
卡尔曼滤波模块用于行人运动信息的预测与更新，
EMA
用于行人轨迹的外观状态的更新，
ECC
用于相机运动补偿，
Vanilla Matching
用来匹配当前帧的行人轨迹和之前帧的行人轨迹
。6.
根据权利要求5所述的基于
TBD
策略的行人多目标跟踪方法，其特征在于，所述将待跟踪样本输入到所述
ES
‑
YOLO
行人检测器获得行人目标检测框，包括：将输入跟踪样本的每一帧图像进行补边
、
裁剪
、
缩放后，使输入的每一帧图像与
ES
‑
YOLO
网络的输入尺寸相同；处理后的跟踪样本经过
CBS
模块
、
多个
M...

【专利技术属性】
技术研发人员：王师，刘香菊，王晓虹，闫晨阳，
申请(专利权)人：齐鲁理工学院，
类型：发明
国别省市：