一种基于深度学习和数据关联的在线多目标跟踪方法技术

本发明专利技术公开了一种基于深度学习和数据关联的在线多目标跟踪方法，包括如下步骤：1、输入视频当前帧的图像；2、应用目标检测器得到图像中所有的检测响应；3、利用深度余弦度量学习模型提取检测响应的外观特征；4、初始化目标状态；5、利用卡尔曼滤波算法预测目标在下一帧的位置和尺度；6、基于两阶段数据关联将目标与检测响应的匹配关联，得到最优关联结果；7、根据步骤6中的最优关联结果更新目标的状态和特征；8、输入下一视频帧的图像，重复步骤2、3、4、5、6、7，直到视频结束。与现有技术相比，本发明专利技术能在目标交互与遮挡、目标间具有相似外观等复杂情况下，实现目标之间的正确关联，完成鲁棒且持续的多目标跟踪。

An Online Multi-target Tracking Method Based on Deep Learning and Data Association

【技术实现步骤摘要】
一种基于深度学习和数据关联的在线多目标跟踪方法
本专利技术涉及一种目标跟踪方法，特别涉及一种基于深度学习和数据关联的在线多目标跟踪方法，属于计算机视觉领域。
技术介绍
多目标跟踪技术是计算机视觉领域中特别重要的一个分支，广泛用于各种各样的视频分析场景，比如自动驾驶汽车、机器人导航、智能交通视频监控及运动分析等。在线多目标跟踪的任务是逐帧可靠地估计目标的位置并跨帧跟踪同一个目标来估计多个目标的轨迹。近年来，由于深度学习的发展，目标检测算法的性能不断提升，检测响应更加可靠，基于检测的跟踪(Tracking-by-detection)框架受到广泛关注，并取得了显著的效果，成为当前多目标跟踪的主流。在这种跟踪框架下，首先应用离线训练好的目标检测器独立地对每帧图像中的目标进行检测，得到目标的数目和位置，然后，依据目标的外观、运动等信息，将相邻帧中检测出的目标进行关联，实现目标的匹配和跟踪。基于检测的跟踪算法可分为两类：离线跟踪和在线跟踪。目前，基于检测的跟踪算法也面临着诸多挑战，跟踪效果严重依赖于检测器的性能，在复杂的场景中，当目标和障碍物，或者目标之间发生严重的遮挡时，多目标跟踪算法很容易跟丢目标或者目标编号发生错乱。其次，目标检测器的检测噪声和目标尺度的剧烈变化也会导致多目标跟踪算法发生跟踪漂移。
技术实现思路
专利技术目的：针对在复杂场景中具有相似外观的目标相互遮挡时，现有多目标跟踪技术存在严重编号切换、跟踪漂移等问题，本专利技术提出了一种基于深度学习和数据关联的在线多目标跟踪方法。本专利技术提出了一种新的多目标跟踪方法，从多个角度解决多目标跟踪问题。1)采用深度余弦度量学习模型设计了目标的外观模型，利用多层卷积网络从目标图像中提取特征，以特征向量之间的余弦作为目标外观之间的相似性，实现不同目标外观的有效辨识；2)考虑到目标外观动态变化的连续性，构建一种融合多帧历史外观特征的目标外观相似性度量方法，能有效缓解检测器的缺陷或目标相互遮挡对目标匹配精度的影响；3)提出基于目标状态的两阶段数据关联方法，针对目标的可靠性分别设计对应的关联策略，并采用匈牙利算法进行数据关联。在拥挤、频繁遮挡发生的复杂交通场景下，该算法能实现准确、稳定的多目标跟踪。技术方案：一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1：输入视频当前帧的图像；步骤2：应用目标检测器得到图像中所有检测响应的集合Dt＝{D1，D2，…，DM}，t为当前帧号，Dj为第j个检测响应，表示为其中为检测响应Dj的中心点坐标，为检测响应Dj的宽和高，M为检测响应总数；步骤3：利用深度余弦度量学习模型从检测响应集合Dt中的所有检测响应提取外观特征向量，表示为{Z1，Z2，…，ZM}，其中Zj∈Rp为检测响应Dj的外观特征；步骤4：初始化目标状态，将目标状态分为4类：初始状态、跟踪状态、丢失状态和删除状态；如果t＝1，即输入视频的第一帧，产生目标集合Tt＝{T1，T2，…，TN}，N＝M，目标Tj与检测响应Dj对应，并将目标Tj的状态置为初始状态，转到步骤1；否则，转到步骤5；步骤5：应用卡尔曼滤波算法，预测目标集合Tt-1中的每个目标Ti在当前帧中的位置和尺度，表示为其中为预测的中心点坐标，为预测的宽和高；步骤6：基于两阶段数据关联将目标与检测响应匹配关联，得到最优关联结果；步骤7：根据步骤6中的最优关联结果更新目标的状态和特征；步骤8：输入下一视频帧的图像，重复步骤2、3、4、5、6、7直到视频结束。优选项，所述步骤6基于两阶段数据关联的目标状态与检测响应的匹配关联，包括：(a)基于前一帧中所有目标的状态，将目标集合Tt-1＝{T1，T2，…，TN}划分为两类Ω1和Ω2，Ω1∪Ω2＝Tt-1，Ω1由处于初始状态和跟踪状态的目标组成，Ω2由处于丢失状态的目标组成，N为目标总数；(b)计算Ω1中的每个目标与Dt中的每个检测响应的匹配相似度，得到相似度矩阵A1；以-A1为关联代价矩阵，将Ω1中的目标与Dt中的检测响应进行关联，应用匈牙利算法求解最优关联；依据关联结果将Ω1与Dt进行划分：其中中的目标与DA中的检测响应成功关联，为未关联的目标集合，DB为第一阶段未关联的检测响应集合；(c)计算Ω2中的每个目标与DB中的每个检测响应的匹配相似度，得到相似度矩阵A2；以-A2为关联代价矩阵，将Ω2中的目标与DB中的检测响应进行关联，应用匈牙利算法求解最优关联。依据关联结果将Ω2与DB进行划分：其中中的目标与为未关联的目标集合，为第二阶段未关联的检测响应集合。优选项，所述方法计算Ω1中的每个目标与Dt中的每个检测响应的匹配相似度，包括：(a)计算Ω1中的目标Ti与Dt中的检测响应Dj的外观相似度且其中<*，*>为向量的内积，Xi(t-K)表示目标Ti在第t-k帧中的外观特征向量，Zj表示检测响应Dj的外观特征向量，ωk表示外观特征向量Xi(t-k)的权重，Ci(t-k)为目标Ti在第t-k帧与检测响应的匹配代价；(b)计算Ω1中的目标Ti与Dt中的检测响应Dj的形状相似度(c)计算Ω1中的目标Ti与Dt中的检测响应Dj的运动相似度为目标Ti的预测区域与检测响应Dj对应区域的交并比(IOU)，其中area(*)表示面积；(d)计算Ω1中的目标Ti与Dt中的检测响应Dj的匹配相似度A1(i，j)：优选项，所述方法计算Ω2中的每个目标与DB中的每个检测响应的匹配相似度，包括：(a)利用上述公式(1)、(2)、(3)计算Ω2中的目标Ti与DB中的检测响应Dj的外观相似度和形状相似度(b)计算目标Ti的搜索半径ri：其中为当前帧号与目标Ti处于跟踪状态时的最大帧号之差，α为常数。以目标Ti在当前帧中的预测位置为中心，ri为半径，定义目标Ti的搜索区域Ri；(c)计算Ω2中的目标Ti与检测响应集合DB中的检测响应Dj的匹配相似度A2(i，j)：其中I(Ri∩Dj＞0)为指示函数，当搜索区域Ri与检测响应Dj存在重叠时，I(Ri∩Dj＞0)＝1，否则I(Ri∩Dj＞0)＝0。优选项，所述步骤7：根据步骤6中的最优关联结果更新目标的状态和特征，包括：(a)对于中的未关联检测响应，表示视频中可能出现新目标，初始化新目标，并将状态置为初始状态。当初始状态的目标连续出现finit帧，则为该目标分配ID，设置状态参数，然后将目标转换为跟踪状态；(b)对于中的目标，由于存在关联的检测响应，保持目标状态不变，应用卡尔曼滤波算法更新目标的状态，并保存目标在当前帧的外观特征向量；(c)对于中的目标，由于没有关联的检测响应，将目标状态由跟踪状态转换为丢失状态，并保存目标在当前帧的外观特征向量；(d)对于中的目标，由于存在关联的检测响应，将目标状态由丢失状态转换为跟踪状态，应用卡尔曼滤波算法更新目标的状态，并保存目标在当前帧的外观特征向量；(e)对于中的目标，由于没有关联的检测响应，保持目标状态不变；(f)当目标连续fdel帧处于丢失状态，则转换为删除状态，并销毁该目标。有益效果：1、本专利技术通过采用深度余弦度量学习模型学习目标的外观模型，利用多层卷积网络从目标图像中提取特征，以特征向量之间的余弦作为目标外观之间的相似性，实现不同目标外观的有效辨识，有效地克服了复杂本文档来自技高网...

【技术保护点】
1.一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1：输入视频当前帧的图像；步骤2：应用目标检测器得到图像中所有检测响应的集合D

【技术特征摘要】
1.一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤1：输入视频当前帧的图像；步骤2：应用目标检测器得到图像中所有检测响应的集合Dt＝{D1，D2，…，DM}，t为当前帧号，Dj为第j个检测响应，表示为其中为检测响应Dj的中心点坐标，为检测响应Dj的宽和高，M为检测响应总数；步骤3：利用深度余弦度量学习模型从检测响应集合Dt中的所有检测响应提取外观特征向量，表示为{Z1，Z2，…，ZM}，其中Zj∈Rp为检测响应Dj的外观特征；步骤4：初始化目标状态，将目标状态分为4类：初始状态、跟踪状态、丢失状态和删除状态；如果t＝1，即输入视频的第一帧，产生目标集合Tt＝{T1，T2，…，TN}，N＝M，目标Tj与检测响应Dj对应，并将目标Tj的状态置为初始状态，转到步骤1；否则，转到步骤5；步骤5：应用卡尔曼滤波算法，预测目标集合Tt-1中的每个目标Ti在当前帧中的位置和尺度，表示为其中为预测的中心点坐标，为预测的宽和高；步骤6：基于两阶段数据关联将目标与检测响应匹配关联，得到最优关联结果；步骤7：根据步骤6中的最优关联结果更新目标的状态和特征；步骤8：输入下一视频帧的图像，重复步骤2、3、4、5、6、7直到视频结束。2.根据权利要求1所述的一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述步骤6基于两阶段数据关联的目标状态与检测响应的匹配关联，包括：(a)基于前一帧中所有目标的状态，将目标集合Tt-1＝{T1，T2，…，TN}划分为两类Ω1和Ω2，Ω1∪Ω2＝Tt-1，Ω1由处于初始状态和跟踪状态的目标组成，Ω2由处于丢失状态的目标组成，N为目标总数；(b)计算Ω1中的每个目标与Dt中的每个检测响应的匹配相似度，得到相似度矩阵A1；以-A1为关联代价矩阵，将Ω1中的目标与Dt中的检测响应进行关联，应用匈牙利算法求解最优关联；依据关联结果将Ω1与Dt进行划分：Dt＝DA∪DB，其中中的目标与DA中的检测响应成功关联，为未关联的目标集合，DB为第一阶段未关联的检测响应集合；(c)计算Ω2中的每个目标与DB中的每个检测响应的匹配相似度，得到相似度矩阵A2；以-A2为关联代价矩阵，将Ω2中的目标与DB中的检测响应进行关联，应用匈牙利算法求解最优关联。依据关联结果将Ω2与DB进行划分：其中中的目标与中的检测响应成功关联，为未关联的目标集合，为第二阶段未关联的检测响应集合。3.根据权利要求2所述的一种基于深度学习和数据关联的在线多目标跟踪方法，其特征在于，所述方法计算Ω1中的每个...

【专利技术属性】
技术研发人员：陈小波，冀建宇，王彦钧，蔡英凤，王海，陈龙，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32