一种多目标跟踪方法、系统及计算机存储介质技术方案

本发明专利技术公开了一种多目标跟踪方法、系统及计算机存储介质，方法包括：将当前帧图像和前序帧图像输入孪生网络中，提取相应的特征图；利用区域建议网络根据特征图确定预测框；对预测框进行第一次筛选，获得匹配成功和失败的匹配对；对匹配成功和失败的匹配对分别采用高于和低于最佳外观特征匹配阈值的外观特征匹配阈值进行第二次筛选；将第二次筛选后匹配失败的目标特征输入重新识别分支中，得到跟踪结果。本发明专利技术通过引入区域建议网络作为预测模块，分析数据关联模块中的距离矩阵，并采用一种简单的自适应阈值确定方法，结合差分匹配策略，增强了多目标跟踪算法对非线性、高速等复杂多样应用场景的适应性，提高了被遮挡目标的跟踪鲁棒性。跟踪鲁棒性。跟踪鲁棒性。

A multi-target tracking method, system and computer storage medium

【技术实现步骤摘要】
一种多目标跟踪方法、系统及计算机存储介质


[0001]本专利技术涉及目标跟踪
，特别涉及一种多目标跟踪方法、系统及计算机存储介质。

技术介绍

[0002]随着现代科技快速发展，无人机以其成本低廉、机动性强的特点在民用及行业应用领域得到广泛拓展，但也引发了系列安全问题。当这些无人机出现在航飞区域、机要区域以及隐私场所等地时，会给航空飞行和公共安全造成重大威胁。由此可见亟需采取有效的技术手段对黑飞无人机进行监控与预警。利用成像探测技术能实现对无人机检测跟踪，但在实际应用中，由于远距离成像及大气程辐射干扰造成的影响，导致目标信噪比低、像素点少、无形状纹理和结构信息，并且易受到复杂背景杂波及随机噪声的干扰，使得常规目标跟踪算法无法实现智能连续的跟踪。
[0003]为解决目标跟踪算法稳健性弱、鲁棒性差的问题，目前主要有两类方法：基于标注的跟踪和基于检测结果的跟踪。由于基于标注的跟踪方法需要人工标定初始帧的目标，无法处理非初始帧出现的目标或中间帧消失的目标，导致跟踪准确率低，常常偏离目标，不适于实际应用。现有基于检测结果的跟踪方法按照关联算法大致分为在线跟踪和离线跟踪两类。离线跟踪使用整个视频的信息，比较相邻帧的相似度并将其关联合成为连续轨迹，但是全局数据会导致较高的计算成本。在线跟踪是指当前帧的预测只能使用当前帧与前序帧的信息并将其关联为连续轨迹，与离线方法相比，该方法更高效但容易出现关联错误。
[0004]Shuai B等人在文献“Shuai B, Berneshawi A G, Modolo D, et al. Multi
‑
Object Tracking with Siamese Track
‑
RCNN. 2020.”提出统一的孪生跟踪网络TrackRCNN，其中检测分支定位目标实例，基于孪生的轨迹分支估计目标运动，目标重识别分支在之前终止的轨迹再次出现时重新激活它们，实现了高效的智能多目标跟踪。但是当目标具有相似的外观和复杂的运动模式时，保持目标的ID变得困难。为了解决这一问题，Na An等人在文献“An N , Yan W Q . Multitarget Tracking Using Siamese Neural Networks[J]. ACM Transactions on Multimedia Computing Communications and Applications, 2021, 17(2s):1
‑
16.”中将目标检测网络和单目标孪生跟踪网络相结合，通过融合目标检测网络和目标跟踪网络的结果来提高跟踪性能，并基于IOU和相似性评分有效地减少了目标遮挡问题对多目标跟踪的影响。然而，该算法对预测模块的关注不够，且在数据关联中使用手动调试来确定匹配阈值，鲁棒性较低。

技术实现思路

[0005]本专利技术实施例提供了一种多目标跟踪方法、系统及计算机存储介质，用以解决现有技术中使用手动调试来确定匹配阈值存在鲁棒性较低的问题。
[0006]一方面，本专利技术实施例提供了一种多目标跟踪方法，包括：获取当前帧图像和前序帧图像；
将当前帧图像和前序帧图像输入孪生网络中，孪生网络包含两个卷积神经网络，两个卷积神经网络共享权值，两个卷积神经网络分别用于提取当前帧图像和前序帧图像的特征图；利用区域建议网络根据特征图确定相应的预测框；采用IOU特征阈值对预测框进行第一次筛选，获得匹配成功的匹配对和匹配失败的匹配对；确定最佳外观特征匹配阈值；对匹配成功的匹配对和匹配失败的匹配对分别采用高于最佳外观特征匹配阈值和低于最佳外观特征匹配阈值的外观特征匹配阈值进行第二次筛选；将经过第二次筛选后匹配失败的目标特征输入重新识别分支中进行重新识别，得到跟踪结果。
[0007]另一方面，本专利技术实施例提供了一种多目标跟踪系统，包括：图像获取模块，用于获取当前帧图像和前序帧图像；孪生网络，包含两个卷积神经网络，两个卷积神经网络共享权值，两个卷积神经网络分别用于提取当前帧图像和前序帧图像的特征图；预测框确定模块，用于利用区域建议网络根据特征图确定相应的预测框；第一次筛选模块，用于采用IOU特征阈值对预测框进行第一次筛选，获得匹配成功的匹配对和匹配失败的匹配对；阈值确定模块，用于确定最佳外观特征匹配阈值；第二次筛选模块，用于对匹配成功的匹配对和匹配失败的匹配对分别采用高于最佳外观特征匹配阈值和低于最佳外观特征匹配阈值的外观特征匹配阈值进行第二次筛选；重新识别分支，用于对经过第二次筛选后匹配失败的目标特征进行重新识别，得到跟踪结果。
[0008]另一方面，本专利技术实施例提供了一种计算机存储介质，该计算机存储介质中存储有多条计算机指令，该多条计算机指令用于使计算机执行上述的方法。
[0009]本专利技术中的一种多目标跟踪方法、系统及计算机存储介质，具有以下优点：通过引入区域建议网络作为预测模块，分析数据关联模块中的距离矩阵，并采用一种简单的自适应阈值确定方法，结合差分匹配策略，增强了多目标跟踪算法对非线性、高速等复杂多样应用场景的适应性，提高了被遮挡目标的跟踪鲁棒性。
附图说明
[0010]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1为本专利技术实施例提供的一种多目标跟踪方法的流程图。
具体实施方式
[0012]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0013]图1为本专利技术实施例提供的一种多目标跟踪方法的流程图。本专利技术实施例提供了一种多目标跟踪方法，包括：S100，获取当前帧图像和前序帧图像。
[0014]S110，将当前帧图像和前序帧图像输入孪生网络中，孪生网络包含两个卷积神经网络，两个卷积神经网络共享权值，两个卷积神经网络分别用于提取当前帧图像和前序帧图像的特征图。
[0015]示例性地，S120，利用区域建议网络根据特征图确定相应的预测框。
[0016]示例性地，在S120之前，还包括：S121对区域建议网络进行初始化。
[0017]具体地，可以通过共享权值从卷积神经网络中提取当前帧图像和前序帧图像的特征图，以充分学习被跟踪目标的信息，然后利用这些信息完成对区域建议网络的初始化。
[0018]S120具体包括：S122，将前序帧图像的特征图输入区域建议网络，获得相应的回归权重和分类权重；S123，将回归权重和分类权重作为卷积核参数，对当前帧图像进行卷积，获得相应的最终特征图；S124，基于最终特征图进行分类和线性回归，获得多个预测框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多目标跟踪方法，其特征在于，包括：获取当前帧图像和前序帧图像；将所述当前帧图像和前序帧图像输入孪生网络中，所述孪生网络包含两个卷积神经网络，两个所述卷积神经网络共享权值，两个所述卷积神经网络分别用于提取所述当前帧图像和前序帧图像的特征图；利用区域建议网络根据所述特征图确定相应的预测框；采用IOU特征阈值对所述预测框进行第一次筛选，获得匹配成功的匹配对和匹配失败的匹配对；确定最佳外观特征匹配阈值；对所述匹配成功的匹配对和匹配失败的匹配对分别采用高于所述最佳外观特征匹配阈值和低于所述最佳外观特征匹配阈值的外观特征匹配阈值进行第二次筛选；将经过第二次筛选后匹配失败的目标特征输入重新识别分支中进行重新识别，得到跟踪结果。2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，在利用区域建议网络根据所述特征图确定相应的预测框之前，还包括：对所述区域建议网络进行初始化。3.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述利用区域建议网络根据所述特征图确定相应的预测框，包括：将所述前序帧图像的特征图输入所述区域建议网络，获得相应的回归权重和分类权重；将所述回归权重和分类权重作为卷积核参数，对所述当前帧图像进行卷积，获得相应的最终特征图；基于所述最终特征图进行分类和线性回归，获得多个所述预测框。4.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述采用IOU特征阈值对所述预测框进行第一次筛选，获得匹配成功的匹配对和匹配失败的匹配对，包括：确定当前检测框和所述预测框之间的IOU预测值；根据所述IOU预测值确定相应的IOU特征距离；将所述IOU特征距离与设定的IOU距离阈值进行比较，当所述IOU特征距离小于所述IOU距离阈值时，则匹配成功，获得匹配成功的匹配对；当所述IOU特征距离大于或...

【专利技术属性】
技术研发人员：刘伟，王鹏，郭得福，段程鹏，张书强，宋洁，刘济铭，
申请(专利权)人：西安中科立德红外科技有限公司，
类型：发明
国别省市：