一种基于特征关联与特征增强的行人多目标跟踪方法技术

本发明专利技术提供了一种基于特征关联与特征增强的行人多目标跟踪方法，涉及多目标跟踪技术领域。该方法采用DLA34作为目标检测主干网络、加入了基于自注意力和互注意力的特征关联模块，通过Detection分支和空间、通道增强的ReID分支相结合，得到目标检测结果，通过DeepSort算法将检测目标与轨迹相匹配，旨在能够有效检测区分图像中出现的行人，提升检测精度，降低ID切换数。ID切换数。

【技术实现步骤摘要】
一种基于特征关联与特征增强的行人多目标跟踪方法


[0001]本专利技术涉及多目标跟踪
，尤其涉及一种基于特征关联与特征增强的行人多目标跟踪方法。

技术介绍

[0002]随着现代社会科学技术逐渐发展，摄像头等监控设备也逐渐在许多场所发挥着至关重要的作用，且从视频监控中进行行人多目标跟踪已是当下研究的热点。多目标追踪通过图像处理、计算机视觉相关算法以及机器学习等技术对目标进行识别和追踪，其技术实现手段可以简单的解释为判断输入图片或视频帧是否包含目标，如果有目标，则标记出位置信息和身份标识。多目标跟踪是行为分析、异常姿态检测的技术前提，被广泛应用于智能交通、人数统计、公共安全、智能监控和自动驾驶等方面，具有非常重要的应用价值和实际意义。
[0003]目前深度学习目标跟踪领域的算法可以分为两类：Two
‑
Step方法和One
‑
Shot方法，其区别在于目标位置检测和特征提取使用的方法不一样。Two
‑
Step方法将图片先经过一个检测器模型得到图像中目标对应的检测框，而后利用另一个特征提取模型针对检测结果中每个检测框提取其对应的特征向量，这种方法使得跟踪效果相对较好。尽管随着近年来目标检测算法和ReID(Person re
‑
identification，行人重识别)的发展，Two
‑
Step方法在目标跟踪上也有明显的性能提升，但是Two
‑
Step方法使用两个独立的模型，并且需要分别训练，导致其速度很慢，很难在视频速率下进行推理。而One
‑
Shot方法将检测和特征提取融合到一个模型中，这种方法使检测速度相对较快，但是他们的表现不如Two
‑
Step方法。
[0004]为了平衡速度和精度，One
‑
Shot方法开始吸引越来越多人的注意。例如，Track
‑
RCNN在Mask
‑
RCNN后添加了一个ReID头，对于每个目标得到一个检测框和特征向量。JDE使用YOLOv3框架添加ReID头的方法达到了接近视频速率的推理速度。FairMot发现JDE这种基于锚框的检测方法不适合做多目标跟踪任务，于是使用无锚框的目标检测器减少了歧义的锚框。我们发现以上几种One
‑
Shot方法都是直接利用主干网络输出的特征图，同时进行目标检测和ReID任务。其中目标检测任务负责在图像中确定目标类别出现的位置以及对应目标的分类，而ReID任务负责提取每个目标对应的特征向量，并根据此特征向量和此前出现的所有目标特征向量进行匹配，得到目标的运动轨迹。目标检测任务要求不同类别的目标之间的特征向量距离大，相同类别的目标之间特征向量距离小，反之ReID任务为了更好的区分每个目标的ID，其要求相同类别的不同目标之间的特征距离大。而目标检测任务和ReID任务使用相同输入的特征图，这样就产生了特征图的表征能力存在歧义，会同时抑制目标检测和ReID任务的效果，导致大部分多目标跟踪方法的检测精度不高，ID切换严重的现象。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术设计了一种基于特征关联与特征增强的行人多
目标跟踪方法；
[0006]一种基于特征关联与特征增强的行人多目标跟踪方法，包括如下步骤：
[0007]步骤1：获取包含检测目标的原始监控视频，对监控视频进行切帧处理，切分成若干帧图像序列；
[0008]步骤2：使用OpenCV读取原始监控视频的帧图像，读取第一帧图像，读取成功执行步骤3
‑
7；当读取帧图像失败，则说明视频每一帧都已被读取并跟踪，执行步骤8；
[0009]步骤3：将步骤2获取得到的帧图像使用OpenCV缩放到神经网络的主干网络需要的固定尺寸，得到缩放后的图像L；
[0010]步骤4：将步骤3得到的图像L输入到神经网络的DLA34主干网络，提取其特征图；
[0011]步骤5：采用特征关联模块对步骤4提取得到的特征图进行自注意力和互注意力增强，得到检测关联特征图和ReID关联特征图；
[0012]步骤5.1：定义主干网络输出特征图为F，其中F∈R
C*H/4*W/4
，R代表实数集，H是图像L的高，W表示图像L的宽，C是特征图通道数；将F通过最大池化操作生成强特征图F1，F通过平均池化生成弱特征图F2，其中{F1，F2}∈R
C*H
'
*W
'；其中，H'和W'是特征图F1和F2的高和宽；分别对强特征图F1、弱特征图F2进行卷积操作生成强卷积特征图T1和弱卷积特征图T2；将强卷积特征图T1和弱卷积特征图T2变形到固定尺寸得到强标准特征图M1和弱标准特征图M2，{M1，M2}∈R
C*N
'，其中N'＝H'*W'；将M1叉乘自身的转置矩阵经过归一化得到强自注意力图SA1，M2叉乘自身的转置矩阵经过归一化得到弱自注意力图SA2，如下式(1)所示：
[0013][0014]其中，C表示特征图通道数，i，j∈{1,2,3,...,C}表示强、弱标准特征图中元素索引；k表示此方法为强、弱特征图的标号，k＝1时，表示强自注意图的第i行第j列的元素值，表示强标准特征图的第i个元素值，表示强标准特征图的第j个元素值；k＝2时，表示弱自注意力图第i行第j列的元素值，表示弱标准特征图的第i个元素值，表示弱标准特征图的第j个元素值，exp为以自然常数e为底的指数函数，∑为累加操作，
·
表示矩阵乘操作；
[0015]步骤5.2：将强标准特征图M1和弱标准特征图M2的转置矩阵进行叉乘，叉乘结果进行归一化得到强互注意力图SC1，如下式(2)所示：
[0016][0017]其中，C表示特征图通道数，i，j∈{1,2,3,...,C}表示强、弱标准特征图中元素索引；表示强标准特征图第i个元素值，表示弱标准特征图第j个元素值；
[0018]步骤5.3：将强标准特征图M1和弱标准特征图M2的转置矩阵进行叉乘，叉乘结果经过转置、归一化得到弱互注意力图SC2，如下式(3)所示；
[0019][0020]其中，C表示特征图通道数，i，j∈{1,2,3,...,C}表示强、弱标准特征图中元素索引；表示弱标准特征图第i个元素值，表示强标准特征图第j个元素值；
[0021]步骤5.4：将步骤5.1得到的强自注意力图SA1和步骤5.2的强互注意力图SC1相加得到融合后的强注意力图SME1，SA2和SC2相加得到弱注意力图SME2；防止经过注意力增强后的特征图丢失原有信息，将特征图F经过变形后与强注意力图SME1进行相乘、相加、归一化、变形得到检测关联特征图FM1，将变形后的特征图F与弱注意力图SME2相乘、相加、归一化、变形得到ReID关联特征图FM2；
[0022]步骤6：将步骤5得到的检测关联特征图FM1输入到Detection分支，得到每个检测目标在图像L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征关联与特征增强的行人多目标跟踪方法，其特征在于，包括如下步骤：步骤1：获取包含检测目标的原始监控视频，对监控视频进行切帧处理，切分成若干帧图像序列；步骤2：使用OpenCV读取原始监控视频的帧图像，读取第一帧图像，读取成功执行步骤3
‑
7；当读取帧图像失败，则说明视频每一帧都已被读取并跟踪，执行步骤8；步骤3：将步骤2获取得到的帧图像使用OpenCV缩放到神经网络的主干网络需要的固定尺寸，得到缩放后的图像L；步骤4：将步骤3得到的图像L输入到神经网络的DLA34主干网络，提取其特征图；步骤5：采用特征关联模块对步骤4提取得到的特征图进行自注意力和互注意力增强，得到检测关联特征图和ReID关联特征图；步骤6：将步骤5得到的检测关联特征图FM1输入到Detection分支，得到每个检测目标在图像L中出现的中心点坐标以及检测框的宽高；图像L由步骤3缩放后得到；将步骤5得到的ReID关联特征图FM2输入到带有空间注意力和通道注意力增强的ReID分支，得到每个检测目标对应的特征向量；步骤7：将步骤6得到的检测目标的中心点坐标、检测框的宽高和每个检测目标对应的特征向量封装成目标检测信息，使用DeepSort方法对当前图像L中出现的所有检测目标进行目标跟踪，得到当前图像L中每个检测目标对应的轨迹ID及坐标位置，即跟踪结果；然后跳转到步骤2，获取下一帧图像，获取成功后执行步骤3
‑
7，如果获取失败，说明已经获取全部帧图像，直接执行步骤8；步骤8：创建txt文件并将步骤7得到的所有帧图像跟踪结果写入txt文件，得到行人多目标跟踪结果。2.根据权利要求1所述的一种基于特征关联与特征增强的行人多目标跟踪方法，其特征在于，步骤5具体为：步骤5.1：定义主干网络输出特征图为F，其中F∈R
C*H/4*W/4
，R代表实数集，H是图像L的高，W表示图像L的宽，C是特征图通道数；将F通过最大池化操作生成强特征图F1，F通过平均池化生成弱特征图F2，其中{F1，F2}∈R
C*H'*W'
；其中，H'和W'是特征图F1和F2的高和宽；分别对强特征图F1、弱特征图F2进行卷积操作生成强卷积特征图T1和弱卷积特征图T2；将强卷积特征图T1和弱卷积特征图T2变形到固定尺寸得到强标准特征图M1和弱标准特征图M2，{M1，M2}∈R
C*N'
，其中N'＝H'*W'；将M1叉乘自身的转置矩阵经过归一化得到强自注意力图SA1，M2叉乘自身的转置矩阵经过归一化得到弱自注意力图SA2，如下式(1)所示：其中，C表示特征图通道数...

【专利技术属性】
技术研发人员：文峰，殷向阳，王梅，石明泽，
申请(专利权)人：沈阳理工大学，
类型：发明
国别省市：