一种多目标跟踪方法技术

本发明专利技术提供了一种多目标跟踪方法

【技术实现步骤摘要】
一种多目标跟踪方法、装置、设备及存储介质


[0001]本专利技术涉及目标跟踪
，尤其涉及一种多目标跟踪方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]随着单目标跟踪技术的成熟，越来越多的研究转向于前景更好的多目标跟踪，在城市安全监控
、
自动驾驶
、
机器人路径规划等方面，多目标跟踪技术具有显著的商业和学术价值
。
然而，目前尚不存在效果较好的多目标跟踪方法
。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种多目标跟踪方法
、
装置
、
设备及存储介质，用以较准确的对多目标进行跟踪，其技术方案如下：
[0004]一种多目标跟踪方法，包括：
[0005]获取第一视频帧对应的目标跟踪信息和当前视频帧的目标检测集，其中，所述第一视频帧为当前视频帧的前向相邻帧，所述目标跟踪信息包括多个级别分别对应的跟踪集，所述多个级别分别对应的跟踪集通过对截至所述第一视频帧跟踪的若干第一目标分别对应的跟踪子集进行分级得到，所述目标检测集包括从当前视频帧检测出的若干第二目标分别对应的检测子集；
[0006]按级别由高到低的顺序，对所述多个级别分别对应的跟踪集包含的跟踪子集与所述目标检测集包含的检测子集进行匹配，并基于匹配结果对多个级别分别对应的跟踪集进行更新，多个级别分别对应的更新后跟踪集作为当前视频帧对应的目标跟踪信息
。
[0007]可选的，所述按级别由高到低的顺序，对所述多个级别分别对应的跟踪集包含的跟踪子集与所述目标检测集包含的检测子集进行匹配，并基于匹配结果对多个级别分别对应的跟踪集进行更新，包括：
[0008]按级别由高到低的顺序，遍历所述多个级别分别对应的跟踪集：
[0009]针对当前遍历到的跟踪集，将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集匹配，并根据获得的若干匹配子集对，对当前遍历到的跟踪集包含的跟踪子集中的信息进行更新；遍历结束后得到多个级别分别对应的更新子集信息后的跟踪集；
[0010]根据获得的所有匹配子集对，对所述多个级别分别对应的更新子集信息后的跟踪集包含的跟踪子集的级别进行调整
。
[0011]若所述第一视视频帧为开始跟踪的视频帧，则对所述若干第一目标分别对应的跟踪子集进行分级，包括：
[0012]对于所述若干第一目标中的每个第一目标：
[0013]若该第一目标在第
n
‑1帧出现，则将该第一目标对应的跟踪子集划分至第1级，其中，当前帧为第
n
帧，所述第1级为最高级；
[0014]若该第一目标在第
n
‑
m
帧出现，在第
n
‑1帧至第
n
‑
m+1
帧均未出现，则将该第一目标对应的跟踪子集划分至第
m
级，
m
取从2至
M
中的整数，
M
为所述预设数量，第
M
级为最低级
。
[0015]可选的，所述目标检测集包含的每个检测子集中包括：对应的第二目标在当前视频帧对应的目标检测框信息；
[0016]所述多个级别分别对应的跟踪集包含的每个跟踪子集中包括：对应的第一目标对应的表观特征向量集
、
最新的目标检测框信息和最新的速度向量
。
[0017]可选的，所述将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集匹配，包括：
[0018]将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集两两组合，以得到若干子集对；
[0019]针对每个子集对，根据该子集对中的跟踪子集包含的检测框信息和该子集对中的检测子集包含的检测框信息确定速度向量，并对该子集对中的检测子集包含的检测框信息对应的目标检测框图像提取表观特征向量，将确定出的速度向量和提取的表观特征向量加入该子集对中的检测子集中，更新后的子集对作为候选匹配子集对，以得到若干候选匹配子集对；
[0020]针对每个候选匹配子集对，根据该候选匹配子集对，确定该候选匹配子集对对应的两个目标的相似度，作为该候选匹配子集对对应的目标相似度；
[0021]根据所述若干候选匹配子集对分别对应的目标相似度，从所述若干候选匹配子集对中确定匹配子集对，以得到若干匹配子集对
。
[0022]可选的，所述根据该候选匹配子集对，确定该候选匹配子集对对应的两个目标的相似度，包括：
[0023]根据该候选匹配子集对中的跟踪子集中的目标检测框信息和速度向量，以及该候选匹配子集对中的检测子集中的目标检测框信息和速度向量，确定该候选匹配子集对对应的两个目标的第一相似度；
[0024]根据该候选匹配子集对中的跟踪子集中的表观特征向量集和该候选匹配子集对中的检测子集中的表观特征向量，确定该候选匹配子集对对应的两个目标的第二相似度；
[0025]根据该候选匹配子集对中的跟踪子集中的目标检测框信息对应的目标检测框图像和该候选匹配子集对中的检测子集中的目标检测框信息对应的目标检测框图像，确定该候选匹配子集对对应的两个目标的第三相似度；
[0026]根据所述第一相似度
、
所述第二相似度和所述第三相似度，确定该候选匹配子集对对应的两个目标的最终相似度
。
[0027]可选的，所述根据该候选匹配子集对中的跟踪子集中的目标检测框信息和速度向量，以及该候选匹配子集对中的检测子集中的目标检测框信息和速度向量，确定该候选匹配子集对对应的两个目标的第一相似度，包括：
[0028]预测该候选匹配子集对中的跟踪子集对应的第一目标在下一视频帧对应的目标检测框信息；
[0029]计算预测的目标检测框信息对应的目标检测框与该候选匹配子集对中的检测子集中的目标检测框信息对应的目标检测框的重叠率，得到目标检测框重叠率；
[0030]计算该候选匹配子集对中的跟踪子集包含的速度向量与该候选匹配子集对中的
检测子集包含的速度向量的相似度，得到速度相似度；
[0031]将所述目标检测框重叠率与所述速度相似度融合，融合结果作为该候选匹配子集对对应的两个目标的第一相似度
。
[0032]可选的，所述根据该候选匹配子集对中的跟踪子集中的表观特征向量集和该候选匹配子集对中的检测子集中的表观特征向量，确定该候选匹配子集对对应的两个目标的第二相似度，包括：
[0033]计算该候选匹配子集对中的跟踪子集中的表观特征向量集包含的各表观特征向量分别与该候选匹配子集对中的检测子集包含的表观特征向量的相似度；
[0034]将计算得到的相似度中的最大相似度，确定为该候选匹配子集对对应的两个目标的第二相似度
。
...

【技术保护点】

【技术特征摘要】
1.
一种多目标跟踪方法，其特征在于，包括：获取第一视频帧对应的目标跟踪信息和当前视频帧的目标检测集，其中，所述第一视频帧为当前视频帧的前向相邻帧，所述目标跟踪信息包括多个级别分别对应的跟踪集，所述多个级别分别对应的跟踪集通过对截至所述第一视频帧跟踪的若干第一目标分别对应的跟踪子集进行分级得到，所述目标检测集包括从当前视频帧检测出的若干第二目标分别对应的检测子集；按级别由高到低的顺序，对所述多个级别分别对应的跟踪集包含的跟踪子集与所述目标检测集包含的检测子集进行匹配，并基于匹配结果对多个级别分别对应的跟踪集进行更新，多个级别分别对应的更新后跟踪集作为当前视频帧对应的目标跟踪信息
。2.
根据权利要求1所述的多目标跟踪方法，其特征在于，所述按级别由高到低的顺序，对所述多个级别分别对应的跟踪集包含的跟踪子集与所述目标检测集包含的检测子集进行匹配，并基于匹配结果对多个级别分别对应的跟踪集进行更新，包括：按级别由高到低的顺序，遍历所述多个级别分别对应的跟踪集：针对当前遍历到的跟踪集，将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集匹配，并根据获得的若干匹配子集对，对当前遍历到的跟踪集包含的跟踪子集中的信息进行更新；遍历结束后得到多个级别分别对应的更新子集信息后的跟踪集；根据获得的所有匹配子集对，对所述多个级别分别对应的更新子集信息后的跟踪集包含的跟踪子集的级别进行调整
。3.
根据权利要求2所述多目标跟踪方法，其特征在于，若所述第一视视频帧为开始跟踪的视频帧，则对所述若干第一目标分别对应的跟踪子集进行分级，包括：对于所述若干第一目标中的每个第一目标：若该第一目标在第
n
‑1帧出现，则将该第一目标对应的跟踪子集划分至第1级，其中，当前帧为第
n
帧，所述第1级为最高级；若该第一目标在第
n
‑
m
帧出现，在第
n
‑1帧至第
n
‑
m+1
帧均未出现，则将该第一目标对应的跟踪子集划分至第
m
级，
m
取从2至
M
中的整数，
M
为所述预设数量，第
M
级为最低级
。4.
根据权利要求2所述多目标跟踪方法，其特征在于，所述目标检测集包含的每个检测子集中包括：对应的第二目标在当前视频帧对应的目标检测框信息；所述多个级别分别对应的跟踪集包含的每个跟踪子集中包括：对应的第一目标对应的表观特征向量集
、
最新的目标检测框信息和最新的速度向量
。5.
根据权利要求4所述的多目标跟踪方法，其特征在于，所述将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集匹配，包括：将当前遍历到的跟踪集包含的跟踪子集与所述目标检测集中未匹配到跟踪子集的检测子集两两组合，以得到若干子集对；针对每个子集对，根据该子集对中的跟踪子集包含的检测框信息和该子集对中的检测子集包含的检测框信息确定速度向量，并对该子集对中的检测子集包含的检测框信息对应的目标检测框图像提取表观特征向量，将确定出的速度向量和提取的表观特征向量加入该子集对中的检测子集中，更新后的子集对作为候选匹配子集对，以得到若干候选匹配子集对；
针对每个候选匹配子集对，根据该候选匹配子集对，确定该候选匹配子集对对应的两个目标的相似度，作为该候选匹配子集对对应的目标相似度；根据所述若干候选匹配子集对分别对应的目标相似度，从所述若干候选匹配子集对中确定匹配子集对，以得到若干匹配子集对
。6.
根据权利要求5所述的多目标跟踪方法，其特征在于，所述根据该候选匹配子集对，确定该候选匹配子集对对应的两个目标的相似度，包括：根据该候选匹配子集对中的跟踪子集中的目标检测框信息和速度向量，以及该候选匹配子集对中的检测子集中的目标检测框信息和速度向量，确定该候选匹配子集对对应的两个目标的第一相似度；根据该候选匹配子集对中的跟踪子集中的表观特征向量集和该候选匹配子集对中的检测子集中的表观特征向量，确定该候选匹配子集对对应的两个目标的第二相似度；根据该候选匹配子集对中的跟踪子集中的目标检测框信息对应的目标检测框图像和该候选匹配子集对中的检测子集中的目标检测框信息对应的目标检测框图像，确定该候选匹配子集对对应的两个目标的第三相似度；根据所述第一相似度
、
所述第二相似度和所述第三相似度，确定该候选匹配子集对对应的两个目标的最终相似度
。7.
根据权利要求6所述的多目标跟踪方法，其特征在于，所述根据该候选匹配子集对中的跟踪子集中的目标检测框信息和速度向量，以及该候选匹配子集对中的检测子集中的目标检测框信息和速度向量，确定该候选匹配子集对对应的两个目标的第一相似度，包括：预测该候选匹配子集对中的跟踪子集对应的第一目标在下一视频帧对应的目标检测框信息；计算预测的目标检测框信息对应的目标检测框与该候选匹配子集对中的检测子集中的目标检测框信息对应的目标检测框的重叠率，得到目标检测框重叠率；计算该候选匹配子集对中的跟踪子集包含的速度向量与该候选匹配子集对中的检测子集包含的速度向量的相似度，得到速度相似度；将所述目标检测框重叠率与所述速度相似度融合，融合结果作为该候选匹配子集对对应的两个目标的第一相似度
。8.
根据权利要...

【专利技术属性】
技术研发人员：张亚兵，常欢，谢名亮，魏冲洲，程志鹏，胡金水，吴嘉嘉，殷兵，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：