一种基于多重特征相似性匹配算法的视觉多目标跟踪方法技术

一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，涉及自动驾驶感知和安防监控领域。解决了现有多目标跟踪方法缺少对检测目标和已存在跟踪轨迹之间的时空特征相关性考量，存在跟踪准确率低的问题。本发明专利技术获取t时刻的目标检测集合；对历史轨迹进行纹理特征提取；对每个新目标的纹理特征进行空间融合，再对每条历史轨迹进行时空特征融合，对每条历史轨迹时空融合后的纹理特征和每个新目标的纹理特征进行多重融合，最后将t时刻的目标与所述历史跟踪轨迹匹配，完成多目标跟踪。本发明专利技术适用于目标跟踪。适用于目标跟踪。适用于目标跟踪。

A visual multi-target tracking method based on multiple feature similarity matching algorithm

【技术实现步骤摘要】
一种基于多重特征相似性匹配算法的视觉多目标跟踪方法


[0001]本专利技术涉及自动驾驶感知和安防监控领域。

技术介绍

[0002]多目标跟踪是自动驾驶感知、智能监控等领域的核心技术，目前产业化应用的多目标跟踪方法主要是两阶段方式：第一阶段检测，然后再检测的基础上进行关联。当前检测技术随着深度学习理论的发展已经趋于成熟，精度已经达到较高的程度。但是在关联阶段，以SORT、DEEPSORT等为代表的算法普遍仅考虑了纹理和运动特征的相似性，缺乏对检测目标和已存在跟踪轨迹之间的时空特征相关性的考量，极大的限制了多目标跟踪的关联准确性。

技术实现思路

[0003]本专利技术目的是为了解决现有多目标跟踪方法缺少对检测目标和已存在跟踪轨迹之间的时空特征相关性考量，存在跟踪准确率低的问题，提供了一种基于多重特征相似性匹配算法的视觉多目标跟踪方法。
[0004]本专利技术所述一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，包括：
[0005]步骤一、采用CenterNet目标检测算法对待检测视频流中含有目标的图像进行采集，并将采集的含有目标的图像采用紧邻矩形框的方式进行目标标识，获取t时刻含有目标的图像中目标集合B
t
；
[0006]步骤二、采用ResNet50网络对t时刻含有目标的图像中目标集合B
t
中所有目标和t时刻历史轨迹集合T
t
‑1中的每条历史轨迹分别进行纹理特征提取；所述每条历史轨迹为t
‑
1个时刻含有目标图像中每个目标对应匹配跟踪获得；
[0007]步骤三、采用空间特征融合深度神经网络对t时刻图像中每个目标的纹理特征与该时刻图像中其他目标的纹理特征进行空间融合，获取t时刻图像中每个目标空间融合后的纹理特征；
[0008]采用时空特征融合深度神经网络对t时刻历史轨迹集合T
t
‑1的每条历史轨迹分别进行时空特征融合，获取每条历史轨迹时空融合后的纹理特征；
[0009]步骤四、采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹理特征分别与t时刻图像中所有目标纹理特征分别进行融合，获取每条历史轨迹与t时刻图像中每个目标的相似性得分；
[0010]步骤五、利用每条历史轨迹与t时刻图像中每个目标特征的相似性得分构建相似性得分矩阵；
[0011]步骤六、利用所述相似性得分矩阵构建待匹配二分图；
[0012]步骤七、利用匈牙利算法和待匹配二分图，将t时刻图像中的目标分别与所述历史跟踪轨迹匹配跟踪，完成多目标跟踪。
[0013]进一步地，本专利技术中，步骤三中，获取t时刻图像中每个目标空间融合后的纹理特
征的具体过程为：为：
[0014]对t时刻的任意目标j的文理特征与该时刻图像中的其他目标的纹理进行时空融合；采用：
[0015][0016]计算目标j的纹理与目标o1的纹理的空间注意力分数s
jo1
，其中<.，.>表示向量的内积，W1为空间融合共享参数；其中,表示t时刻除目标j的所有目标的集合，；
[0017]采用公式：
[0018][0019]计算目标j的文理特征与目标o1的文理特征的空间注意力系数α
jo1
；k1表示t时刻图像中除目标j和目标o1以外的任意一个目标；
[0020]采用公式：
[0021][0022]计算目标j空间融合后的纹理特征
[0023]进一步地，本专利技术中，步骤三中，获取每条历史轨迹时空融合后的纹理特征的具体过程为：
[0024]首先，对t时刻目标轨迹集合的每条历史轨迹进行空间融合；
[0025]对于t时刻的历史轨迹中目标i时刻τ的纹理特征与同一时刻图像中被检测到的其它目标对应的纹理分别进行空间融合，其中，N
τ
为时刻τ被检测到的目标总数，t
‑
q≤τ≤t
‑
1；表示目标o2时刻τ的纹理特征；
[0026]采用：
[0027][0028]计算目标i与目标o2时刻τ的空间注意力分数s
io2
，其中<.，.>表示向量的内积，W1为空间融合共享参数；
[0029]采用：
[0030][0031]计算目标i时刻τ的空间注意力系数α
io2
；k2表示时刻τ图像中除目标i和目标o2以外的任意一个目标；
[0032]采用：
[0033][0034]获取空间融合后的目标i时刻τ的纹理特征对空间融合后的每个历史轨迹中
目标i进行时间融合；
[0035]采用：
[0036][0037]计算目标i的时间注意力分数s
τ
；W2为时间融合共享参数；采用：
[0038][0039]计算目标i的时间注意力系数α
τ
；其中，q为时刻；
[0040]采用：
[0041][0042]计算目标i的历史轨迹时空融合后的纹理特征
[0043]进一步地，本专利技术中，步骤四、采用多重特征关联深度神经网络将每条历史轨迹的纹理特征分别与t时刻目标纹理特征进行融合的具体方法为：
[0044]分别对每个目标历史轨迹时空融合后的纹理特征与t时刻每个目标空间融合后的纹理特征进行分别进行纹理特征的拼接融合、纹理特征的余弦融合、位置特征的融合和形变特征的融合。
[0045]进一步地，本专利技术中，每个目标历史轨迹时空融合后的纹理特征与t时刻每个目标空间融合后的纹理特征进行纹理特征的拼接融合为:
[0046][0047]其中，W3为拼接融合共享参数，[.，.]为向量拼接操作。
[0048]进一步地，本专利技术中，每个目标历史轨迹时空融合后的纹理特征与t时刻每个目标空间融合后的纹理特征进行纹理特征的余弦融合为:
[0049][0050]W4为余弦融合共享参数。
[0051]进一步地，本专利技术中，每个目标历史轨迹时空融合后的纹理特征与t时刻每个目标空间融合后的纹理特征进行位置特征的融合的过程为：
[0052]已跟踪轨迹的最后一个时刻检测目标框与t时刻检测目标框的位置特征表达为：
[0053][0054][0055]其中，为t时刻图像中目标j检测框v的中心横坐标，为t时刻图像中目标j检测框的中心纵坐标，为t时刻图像中目标j检测框的宽度，为t时刻图像中目标j检测框的高度；为历史轨迹t
‑
1时刻图像中目标i检测框的中心横坐标，为历史轨迹t
‑
1时刻图像中目标i检测框的中心纵坐标，为历史轨迹t
‑
1时刻图像中目标i检测框的宽度，为历史轨迹t
‑
1时刻图像中目标i检测框的高度，I
t
为t时刻检测目标所对应的彩色图像，为t时刻检测目标所对应的彩色图像I
t
的宽度，时刻检测目标所对应的彩色图像I...

【技术保护点】

【技术特征摘要】
1.一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，其特征在于，包括：步骤一、采用CenterNet目标检测算法对待检测视频流中含有目标的图像进行采集，并将采集的含有目标的图像采用紧邻矩形框的方式进行目标标识，获取t时刻含有目标的图像中目标集合B
t
；步骤二、采用ResNet50网络对t时刻含有目标的图像中目标集合B
t
中所有目标和t时刻历史轨迹集合T
t
‑1中的每条历史轨迹分别进行纹理特征提取；所述每条历史轨迹为t
‑
1个时刻含有目标图像中每个目标对应匹配跟踪获得；步骤三、采用空间特征融合深度神经网络对t时刻图像中每个目标的纹理特征与该时刻图像中其他目标的纹理特征进行空间融合，获取t时刻图像中每个目标空间融合后的纹理特征；采用时空特征融合深度神经网络对t时刻历史轨迹集合T
t
‑1的每条历史轨迹分别进行时空特征融合，获取每条历史轨迹时空融合后的纹理特征；步骤四、采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹理特征分别与t时刻图像中所有目标纹理特征分别进行融合，获取每条历史轨迹与t时刻图像中每个目标的相似性得分；步骤五、利用每条历史轨迹与t时刻图像中每个目标特征的相似性得分构建相似性得分矩阵；步骤六、利用所述相似性得分矩阵构建待匹配二分图；步骤七、利用匈牙利算法和待匹配二分图，将t时刻图像中的目标分别与所述历史跟踪轨迹匹配跟踪，完成多目标跟踪。2.根据权利要求1所述的一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，其特征在于，步骤三中，获取t时刻图像中每个目标空间融合后的纹理特征的具体过程为：对t时刻的任意目标j的文理特征与该时刻图像中的其他目标的纹理进行时空融合；采用：计算目标j的纹理与目标o1的纹理的空间注意力分数s
jo1
，其中<.，.>表示向量的内积，W1为空间融合共享参数；其中,表示t时刻除目标j的所有目标的集合；采用公式：计算目标j的文理特征与目标o1的文理特征的空间注意力系数α
jo1
；k1表示t时刻图像中除目标j和目标o1以外的任意一个目标；采用公式：计算目标j空间融合后的纹理特征
3.根据权利要求2所述的一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，其特征在于，步骤三中，获取每条历史轨迹时空融合后的纹理特征的具体过程为：首先，对t时刻目标轨迹集合的每条历史轨迹进行空间融合；对于t时刻的历史轨迹中目标i时刻τ的纹理特征与同一时刻图像中被检测到的其它目标对应的纹理分别进行空间融合，其中，N
τ
为时刻τ被检测到的目标总数，t
‑
q≤τ≤t
‑
1；表示目标o2时刻τ的纹理特征；采用：计算目标i与目标o2时刻τ的空间注意力分数s
io2
，其中<.，.>表示向量的内积，W1为空间融合共享参数；采用：计算目标i时刻τ的空间注意力系数α
io2
，k2表示时刻τ图像中除目标i和目标o2以外的任意一个目标；采用：获取空间融合后的目标i时刻τ的纹理特征对空间融合后的每个历史轨迹中目标i进行时间融合；采用：计算目标i的时间注意力分数s
τ
；W2为时间融合共享参...

【专利技术属性】
技术研发人员：崔建勋，曲明成，徐培刚，李博文，
申请(专利权)人：哈尔滨工业大学重庆研究院，
类型：发明
国别省市：