基于行为学习的多目标跟踪方法及系统技术方案

本发明专利技术提出一种基于行为学习的多目标跟踪方法及系统，该方法包括：获取目标视频序列，对目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；对多目标实时跟踪问题进行建模，并建立多目标实时跟踪问题的产生式概率模型；针对产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对产生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；结合全局行为预测及局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。本发明专利技术在多目标跟踪时能保持跟踪率，同时能明显的减少跟踪错误率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉及机器人导航
，特别涉及一种基于行为学习的多目标跟踪方法及系统。
技术介绍
目标跟踪一直是计算机视觉领域的重要问题和研究热点，目标跟踪根据同时跟踪的目标数分为单目标跟踪以及多目标跟踪(MOT，Multi-Object Tracking)。近年来，由于在视频监控、运动分析、自动驾驶以及机器人导航等视频分析场景有更广泛的应用，对于多目标跟踪的研究变得更加重要并拥有更多的现实意义。下面简述一些多目标跟踪的重要应用场景：(1)智能视频监控：基于运动识别(例如基于步法的人类识别，自动物体检测等)，自动化监测(监视一个场景以检测可疑行为)；交通监视(实时收集交通数据用来指挥交通流动)。(2)人机交互：传统人机交互是通过计算键盘和鼠标进行的。而人们期望计算机更智能地以自然方式与人交流。实现这一目标的方式之一是使计算机具有识别和理解人的姿态、动作、手势等能力，跟踪是完成这些任务的关键一步。(3)机器人导航：视觉传感器是智能机器人一种重要的信息源，为能自主运动，智能机器人须认识和跟踪环境中的物体。在机器人手眼应用中，跟踪技术用安装在机器人手上的摄像机拍摄物体，计算其运动轨迹，选择最佳姿态抓取物体。(4)虚拟现实：虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动分析的研究成果，可给参与者提供更加丰富的交互形式。从视频中获取人体运动数据，用新的虚拟人物或具有类似关节模型的物体替换原视频中的人物，以得到意想不到的特殊效果。其关键技术是人体运动跟踪分析。多目标跟踪指从视频序列中获取感兴趣的多个目标(一般是某一类)的位置、大小以及运动轨迹的过程。随着深度学习等更加先进的算法成功的应用到物体检测领域，物体检测的准确度进一步提高。这也就为基于检测的多目标跟踪算法的产生提供了基础和依据。基于检测的多目标跟踪简单来说就是将每一帧的检测结果对应连接起来形成每个目标在视频空间的“轨迹(trajectories)”。为了确定这个轨迹，就要解决检测之间歧义链接以及错误检测问题(多检——假阳，漏检——假阴)。为了更好的解决上述问题，较为直接的想法是用整体(batch)模式，即在整段视频序
列上进行循环迭代，不断优化求得的轨迹。由于这种方法只能处理已有的整段视频，无法实时跟踪，也被称为离线(offline)模式。显而易见，整体模式的实用性并不强，无法应用到实时监控以及自动驾驶等需要实时处理的领域。因此，与之相对的实时(online)模式就成为了现在研究的主要方向。
技术实现思路
本专利技术旨在至少在一定程度上解决上述相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于行为学习的多目标跟踪方法，该方法在多目标跟踪时能保持跟踪率，同时能明显的减少跟踪错误率。本专利技术的另一个目的在于提出一种基于行为学习的多目标跟踪系统。为了实现上述目的，本专利技术第一方面的实施例提出了一种基于行为学习的多目标跟踪方法，包括以下步骤：S1：获取目标视频序列，对所述目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；S2：对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率模型；S3：针对所述产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；以及S4：结合所述全局行为预测及所述局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。根据本专利技术实施例的基于行为学习的多目标跟踪方法，在应用于多目标跟踪场景时，既能保持跟踪率，同时能明显的减少跟踪错误率，提高跟踪准确性。另外，根据本专利技术上述实施例的基于行为学习的多目标跟踪方法还可以具有如下附加的技术特征：在一些示例中，所述S2中，所述产生式概率模型建立过程如下：采用公式(I)所示的概率模型来表示求解多目标跟踪问题：其中，表示所跟踪目标的状态的集合，表示所有的检测结果的信息集合；具体到所述目标视频序列中每一帧t的所有目标的状态，所述公式(I)可变形为： X t * = argmax X t P ( Z t | X t ) P ( X t ) - - - ( I I ) , ]]>其中，Zt以及Xt分别表示第t帧的所有观测和目标状态，所述公式(Ⅱ)相当于逐帧求得最优解；根据多目标跟踪问题的马尔科夫性，Xt可以被看作是由前一帧的目标状态Xt-1以及关于目标行为的预测或者先验知识共同产生的，则所述公式(Ⅱ)就可以被进一步推导为：其中，所述先验知识以及前一帧目标的状态Xt-1是相互独立的，具体为：利用一阶马尔科夫性进行逐帧递推，所述公式(Ⅲ)可以进一步的变形为：其中，P(X1)是在第一帧初始化目标状态，P(Zt|Xt)是观测目标框以及目标状态信息所决定的目标框的图像特征相似性，是所有目标共性行为的全局先验知识对目标状态的预测，为每一个目标在前一帧的状态产生当前帧状态的概率，相当于根据目标自身的行为对该目标的状态预测。在一些示例中，在所述S3中，所述全局行为预测具体包括：利用数据变形的方法，将原始的探测数据结合训练集的标注结果产生训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前Tg帧的状态信息预测出目标当前帧的状态信息，其中，所述训练数据的结构为：目标前Tg帧的状态信息以及对应的当前帧的状态信息。在一些示例中，在所述S3中，所述局部行为预测具体包括：在进行目标跟踪的过程中，实时进行训练，并将目标之前的跟踪信息进行变形，产生出训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前Tl帧的状态信息预测出目标当前帧的状态信息，其中，训练数据的结构为，目标前Tl帧的状态信息以及对应的当前帧的状态信息。为了实现上述目的，本专利技术第二方面的实施例还提供了一种基于行为学习的多目标跟踪系统，包括：获取模块，所述获取模块用于获取目标视频序列，对所述目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；建模模块，所述建模模块用于对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率模型；预测模块，所述预测模块用于针对所述产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产
生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；以及跟踪模块，所述跟踪模块用于结合所述全局行为预测及所述局部行为预测得到目标的行为预测，并本文档来自技高网...

【技术保护点】
一种基于行为学习的多目标跟踪方法，其特征在于，包括以下步骤：S1：获取目标视频序列，对所述目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；S2：对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率模型；S3：针对所述产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；以及S4：结合所述全局行为预测及所述局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。

【技术特征摘要】
1.一种基于行为学习的多目标跟踪方法，其特征在于，包括以下步骤：S1：获取目标视频序列，对所述目标视频序列进行检测，并根据检测结果获得跟踪目标候选框的大小及位置信息；S2：对多目标实时跟踪问题进行建模，并建立所述多目标实时跟踪问题的产生式概率模型；S3：针对所述产生式概率模型中的全局条件概率项，在已进行正确标注的训练集上进行离线训练，进行普适于各种场景的全局行为预测，针对所述产生式概率模型中的局部条件概率项利用每个目标在当前帧之前的跟踪数据，实时在线训练适用于该目标的局部行为预测；以及S4：结合所述全局行为预测及所述局部行为预测得到目标的行为预测，并根据预测的目标行为进行多目标跟踪。2.根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，所述S2中，所述产生式概率模型建立过程如下：采用公式(I)所示的概率模型来表示求解多目标跟踪问题：其中，表示所跟踪目标的状态的集合，表示所有的检测结果的信息集合；具体到所述目标视频序列中每一帧t的所有目标的状态，所述公式(I)可变形为： X t * = argmax X t P ( Z t | X t ) P ( X t ) - - - ( I I ) , ]]>其中，Zt以及Xt分别表示第t帧的所有观测和目标状态，所述公式(Ⅱ)相当于逐帧求得最优解；根据多目标跟踪问题的马尔科夫性，Xt可以被看作是由前一帧的目标状态Xt-1以及关于目标行为的预测或者先验知识共同产生的，则所述公式(Ⅱ)就可以被进一步推导为：其中，所述先验知识以及前一帧目标的状态Xt-1是相互独立的，具体为：利用一阶马尔科夫性进行逐帧递推，所述公式(Ⅲ)可以进一步的变形为：其中，P(X1)是在第一帧初始化目标状态，P(Zt|Xt)是观测目标框以及目标状态信息所决定的目标框的图像特征相似性，是所有目标共性行为的全局先验知识对目标状态的预测，为每一个目标在前一帧的状态产生当前帧状态的概率，相当于根据目标自身的行为对该目标的状态预测。3.根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，在所述S3中，所述全局行为预测具体包括：利用数据变形的方法，将原始的探测数据结合训练集的标注结果产生训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前Tg帧的状态信息预测出目标当前帧的状态信息，其中，所述训练数据的结构为：目标前Tg帧的状态信息以及对应的当前帧的状态信息。4.根据权利要求1所述的基于行为学习的多目标跟踪方法，其特征在于，在所述S3中，所述局部行为预测具体包括：在进行目标跟踪的过程中，实时进行训练，并将目标之前的跟踪信息进行变形，产生出训练数据，并利用所述训练数据训练神经网络，以使训练出的神经网络能够根据目标前Tl帧的状态信息预测出目标当前帧的状态信息，其中，训练数据的结构为，目标前Tl帧的状态信息以及对应的当前帧的状态信息。5.一种基于行为...

【专利技术属性】
技术研发人员：季向阳，但乐，赵泽奇，戴琼海，
申请(专利权)人：清华大学，清华大学深圳研究生院，
类型：发明
国别省市：北京;11