基于滑窗优化的多目标跟踪方法技术

本发明专利技术提出一种基于滑窗优化的多目标跟踪方法，包括以下步骤：获取目标视频序列，检测目标视频序列，并根据检测结果对各个目标的状态信息进行初始化；计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据相似度判断当前帧中各目标的状态，其中，当前帧中各目标的状态包括明确状态和模糊状态；建立近似‑缩减框架将当前帧中的明确状态与已存在的目标的状态进行最优连接，以得到跟踪结果。本发明专利技术能够在提高跟踪的准确率的同时，保证跟踪的实时性，从而满足了更多应用的需求。

【技术实现步骤摘要】

本专利技术涉及计算机视觉及机器人导航
，特别涉及一种基于滑窗优化的多目标跟踪方法。
技术介绍
多目标跟踪是计算机视觉领域中的一个重要问题，特别是，由于多目标跟踪本身的特性，其在视频监控、运动分析、自动驾驶以及机器人导航等视频分析场景有更广泛的应用，这也就使得对这一问题的研究有了更加实际的意义。下面简述一些多目标跟踪的重要应用场景：(1)视频监控：各种场景内的自动化监测，例如工地，场站等场景需要及时监控并检测到可疑的行为；各种道路以及路口的交通监视，多目标跟踪可以有效的进行目标的自动识别以及跟踪，在交通流量控制以及疏导上也有重要的作用。(2)自动驾驶：自动驾驶需要车载电脑实时的识别路上各种行人、车辆，并根据这些目标的运动作出决策。因此多目标跟踪是自动驾驶中获取路面信息的重要环节，对自动驾驶技术的发展具有重要的意义。多目标跟踪指从视频序列中获取感兴趣的多个目标(一般是某一类)的位置、大小以及运动轨迹的过程。随着深度学习等更加先进的算法成功的应用到物体检测领域，物体检测的准确度进一步提高。这也就为基于检测的多目标跟踪算法的产生提供了基础和依据。基于检测的多目标跟踪简单来说就是将每一帧的检测结果对应连接起来形成每个目标在视频空间的“轨迹(trajectories)”。为了确定这个轨迹，就要解决检测之间歧义链接以及错误检测问题(多检——假阳，漏检——假阴)。为了更好的解决上述问题，较为直接的想法是用整体(batch)模式，即在整段视频序列上进行循环迭代，不断优化求得的轨迹。由于这种方法只能处理已有的整段视频，无法实时跟踪，也被称为离线(offline)模式。显而易见，整体模式的实用性并不强，无法应用到实时监控以及自动驾驶等需要实时处理的领域。因此，与之相对的实时(online)模式就成为了现在研究的主要方向。但由于实时跟踪所用的数据信息少于离线跟踪，这也就造成了准确率难以达到同等条件下离线模式的程度。如何能将两者的优势相结合是一个至今仍未解决的问题。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的目的在于提出基于滑窗优化的多目标跟踪方法，该方法能够在提高跟踪的准确率的同时，保证跟踪的实时性，从而满足了更多应用的需求。为了实现上述目的，本专利技术的实施例提出了一种基于滑窗优化的多目标跟踪方法，包括以下步骤：S1：获取目标视频序列，检测所述目标视频序列，并根据检测结果对各个目标的状态信息进行初始化；S2：计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据所述相似度判断所述当前帧中各目标的状态，其中，所述当前帧中各目标的状态包括明确状态和模糊状态；以及S3：建立近似-缩减框架将所述当前帧中的明确状态与已存在的目标的状态进行最优连接，以得到跟踪结果。根据本专利技术实施例的基于滑窗优化的多目标跟踪方法，利用离线跟踪数据丰富的优势，在提高多目标跟踪性能和准确率的同时，保证了足够的跟踪实时性，从而满足更多应用的需求，增加了应用范围。另外，根据本专利技术上述实施例的基于滑窗优化的多目标跟踪方法还可以具有如下附加的技术特征：在一些示例中，在所述S3之后，还包括：根据连接信息更新已存在的目标的状态信息，并缩减模糊状态进行连接的可行集，同时将当前帧中的模糊状态与下一帧新初始化的状态进行下一轮迭代，直至当前帧中所有的模糊状态变成明确状态，或者迭代次数达到预设窗口长度。在一些示例中，所述根据所述相似度判断所述当前帧中各目标的状态，具体包括：当所述相似度大于预设阈值时，判定对应的目标处于明确状态；当所述相似度小于预设阈值时，判定对应的目标处于模糊状态。在一些示例中，所述目标的状态信息包括：目标的位置、大小及图像特征。在一些示例中，通过综合计算所述当前帧中所有目标和所述已存在的目标的位置、大小及图像特征得到当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度。在一些示例中，所述建立近似-缩减框架，具体包括：采用公式(I)对多目标跟踪问题进行建模，所述多目标跟踪问题为求得在已知所有观测的条件下，将概率最大化的所有目标状态值所述公式(I)为每一帧每一个目标都取得最优状态，可变形为：对于明确状态由于其与已存在状态的相似程度高，可以推得：且模糊状态则所述公式(Ⅱ)可变为公式(Ⅲ)以及公式(Ⅳ)两部分：分别进行所述公式(Ⅲ)和公式(Ⅳ)的优化，并在完成所述公式(Ⅳ)的优化之后，明确状态已经完成了连接，并变成了对所述公式(Ⅲ)进行优化的条件，则所述公式(Ⅲ)优化为：其中，所述公式(Ⅴ)对模糊状态可能进行连接的可行集进行了缩减，并在迭代的过程中，不断的从模糊状态中产生新的明确状态在一些示例中，还包括：根据多目标跟踪过程中状态间连接的互斥性及时序，建立模糊-明确状态图，以缩减可行集空间所设计的适用于多目标跟踪的数据结构，其中，所述模糊-明确状态图中的每个节点表示目标在该帧的状态，节点之间的连线表示同一目标在各帧的状态的连接。在一些示例中，其中，所述模糊状态只能存在预设窗口长度帧，当所述模糊状态经过所述预设窗口长度帧而无法转变为明确状态时，将所述模糊状态与已存在的明确状态进行最优连接，以得到跟踪结果。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本专利技术一个实施例的基于滑窗优化的多目标跟踪方法的流程图；图2是根据本专利技术一个实施例的基于滑窗优化的多目标跟踪方法的整体流程图；图3是本专利技术一个具体实施例的模糊-明确状态图在TUD-Stadtmitte数据集中应用的示意图；图4是本专利技术一个具体实施例的延迟跟踪方式的示意图；图5是本专利技术一个具体实施例的模糊窗口的长度对于跟踪准确度的影响示意图；以及图6是本专利技术一个具体实施例的真实标注结果中有重叠的目标状态统计图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。以下结合附图描述根据本专利技术实施例的基于滑窗优化的多目标跟踪方法。图1是根据本专利技术一个实施例的基于滑窗优化的多目标跟踪方法的流程图。图2是根据本专利技术一个实施例的基于滑窗优化的多目标跟踪方法的整体流程图。如图1所示，并结合图2，根据本专利技术一个实施例的基于滑窗优化的多目标跟踪方法，包括以下步骤：步骤S1：获取目标视频序列，检测目标视频序列，并根据检测结果对各个目标的状态信息进行初始化。其中，目标的状态信息包括：目标的位置、大小及图像特征。步骤S2：计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据相似度判断当前帧中各目标的状态，其中，当前帧中各目标的状态包括明确状态和模糊状态。其中，例如，已存在的目标即为已跟踪到的目标。通过综合计算当前帧中所有目标和已存在的目标的位置、大小及图像特征得到当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度。其中，根据相似度判断当前帧中各目标的状态，具体包括：当相似度大于预设阈值时，判定对应的目标处本文档来自技高网...

【技术保护点】
一种基于滑窗优化的多目标跟踪方法，其特征在于，包括以下步骤：S1：获取目标视频序列，检测所述目标视频序列，并根据检测结果对各个目标的状态信息进行初始化；S2：计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据所述相似度判断所述当前帧中各目标的状态，其中，所述当前帧中各目标的状态包括明确状态和模糊状态；以及S3：建立近似‑缩减框架将所述当前帧中的明确状态与已存在的目标的状态进行最优连接，以得到跟踪结果。

【技术特征摘要】
1.一种基于滑窗优化的多目标跟踪方法，其特征在于，包括以下步骤：S1：获取目标视频序列，检测所述目标视频序列，并根据检测结果对各个目标的状态信息进行初始化；S2：计算当前帧中所有目标的状态信息与已存在的目标的状态信息的相似度，并根据所述相似度判断所述当前帧中各目标的状态，其中，所述当前帧中各目标的状态包括明确状态和模糊状态；以及S3：建立近似-缩减框架将所述当前帧中的明确状态与已存在的目标的状态进行最优连接，以得到跟踪结果。2.根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，在所述S3之后，还包括：根据连接信息更新已存在的目标的状态信息，并缩减模糊状态进行连接的可行集，同时将当前帧中的模糊状态与下一帧新初始化的状态进行下一轮迭代，直至当前帧中所有的模糊状态变成明确状态，或者迭代次数达到预设窗口长度。3.根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，所述根据所述相似度判断所述当前帧中各目标的状态，具体包括：当所述相似度大于预设阈值时，判定对应的目标处于明确状态；当所述相似度小于预设阈值时，判定对应的目标处于模糊状态。4.根据权利要求1所述的基于滑窗优化的多目标跟踪方法，其特征在于，所述目标的状态信息包括：目标的位置、大小及图像特征。5.根据权利要求4所述的基于滑窗优化的多目标跟踪方法，其特征在于，通过综合计算所述当前帧中所有目标和所述已存在的目标的位置、大小及图像特征得到当前帧中所有目标的状...

【专利技术属性】
技术研发人员：季向阳，但乐，郭齐，戴琼海，
申请(专利权)人：清华大学，清华大学深圳研究生院，
类型：发明
国别省市：北京;11