本申请涉及多目标跟踪技术领域，特别涉及一种基于多维注意力机制的联合检测与跟踪方法、装置及设备，其中，方法包括：对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图；基于原始特征图，生成解耦特征图，并利用解耦特征执行预设检测任务和跟踪任务，获取当前帧的检测结果和跟踪目标特征；以及以当前帧的检测结果、跟踪目标特征和历史轨迹中的目标特征为输入，构建多特征级联跟踪器，生成最终的检测和跟踪结果。由此，解决了在联合检测和跟踪任务中不同尺度目标的跨时空提取问题以及在不同任务中的特征解耦等问题，通过构建多特征级联跟踪器，增强了跟踪算法在复杂场景中的鲁棒性。中的鲁棒性。中的鲁棒性。
【技术实现步骤摘要】
基于多维注意力机制的联合检测与跟踪方法、装置及设备
[0001]本申请涉及多目标跟踪领域
，特别涉及一种基于多维注意力机制的联合检测与跟踪方法、装置及设备。
技术介绍
[0002]与多目标跟踪领域经典的先检测后跟踪的实现方案不同，联合检测与跟踪方法从单一神经网络中提取目标检测和跟踪的特征，提高了模型的运行效率，同时降低了计算成本。针对联合检测与跟踪方法，目前的技术实现方案及典型算法可分为以下两种。
[0003](1)基于前后帧中目标的位置相关性。Trackor作为一种代表性的联合检测与跟踪方法，利用前一帧的包围框检测结果作为当前帧的候选区域，然后直接回归当前帧中相同跟踪目标的包围框。Trackor在一些多目标跟踪数据集上实现了性能的提升，但该方法是建立在目标在前后帧边界框重合率较高的假设之上，因此在目标快速移动等复杂交通场景中性能显著下降。
[0004](2)基于目标重识别特征。该类方法是目前最主流的联合检测与跟踪方法。其使用单一网络生成一帧图像的检测结果，以及检测目标对应的重识别特征，然后基于Kalman滤波算法生成相邻帧之间相同目标的位置约束，最后基于重识别特征及位置约束生成权重矩阵，并使用匈牙利匹配算法完成当前帧检测结果与跟踪轨迹之间的匹配。然而，该类算法过渡依赖目标的外观重识别特征，在复杂的交通场景下由于目标易受遮蔽，使相邻帧之间同一目标的外观特征变化剧烈，易造成外观特征匹配失败，从而造成跟踪失效；另一方面，检测任务所需的特征和跟踪任务所需重识别特征在提取过程中存在一定程度的冲突，将两者置于同一网络中提取会造成检测和跟踪任务性能的下降。
技术实现思路
[0005]本申请提供一种基于多维注意力机制的联合检测与跟踪方法、装置及设备，以解决在联合检测和跟踪任务中不同尺度目标的跨时空提取问题以及在不同任务中的特征解耦等问题。
[0006]本申请第一方面实施例提供一种基于多维注意力机制的联合检测与跟踪方法，包括以下步骤：
[0007]对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图；
[0008]基于所述原始特征图，生成解耦特征图，并利用所述解耦特征执行预设检测任务和跟踪任务，获取所述当前帧的检测结果和跟踪目标特征；以及
[0009]以所述当前帧的检测结果、所述跟踪目标特征和历史轨迹中的目标特征为输入，构建多特征级联跟踪器，生成最终的检测和跟踪结果。
[0010]根据本申请的一个实施例，所述对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图，包括：
[0011]基于所述当前时刻图像进行下采样，得到多个初始特征图；
[0012]对所述多个输出特征图中的部分初始特征图进行反卷积的上采样，得到对应的上采样特征，并加和处理后，得到多个加和特征图；
[0013]对所述多个输出特征图和/或所述多个加和特征图进行通道注意力处理和位置注意力处理，得到多个注意力特征图；
[0014]对所述多个注意力特征图进行卷积与上采样处理，得到所述原始特征图。
[0015]根据本申请的一个实施例，所述构建多特征级联跟踪器，生成最终的检测和跟踪结果，包括：
[0016]输入所述当前帧的检测结果和跟踪目标特征及所述历史轨迹中的目标特征；
[0017]对于每一个目标及所述历史轨迹中的每一个轨迹，考虑运动特征，生成第一成本矩阵，对所述第一成本矩阵进行点匹配，确定所述检测结果中已匹配上历史轨迹的第一集合与未匹配的第二集合及所述跟踪目标特征中已匹配上历史轨迹的第三集合与未匹配的第四集合；
[0018]对所述第二集合中每一个目标和所述第四集合中每一条轨迹，考虑运动特征，计算每一点对外观特征的相似度，生成第二成本矩阵，且对所述第二成本矩阵进行点匹配，确定所述检测结果中已匹配上历史轨迹的第五集合与未匹配的第六集合及所述跟踪目标特征中已匹配上历史轨迹的第七集合与未匹配的第八集合，并生成新的轨迹；
[0019]基于所述第一集合、第三集合、第五集合和第七集合的匹配成功的点更新目标跟踪轨迹，生成更新后的轨迹，并合并所述新的轨迹和所述更新后的轨迹，生成当前时刻的跟踪结果。
[0020]根据本申请的一个实施例，所述基于所述第一集合、第三集合、第五集合和第七集合的匹配成功的点更新目标跟踪轨迹，生成更新后的轨迹，包括：
[0021]若当前时刻有匹配的检测结果，则基于相对应的目标或者轨迹中的相关信息进行更新；
[0022]若所述当前时刻没有匹配的检测结果，则计算距离上一时刻更新的时间差，其中，在所述时间差大于或等于预设阈值时进行删除，否则基于所述上一时刻进行更新。
[0023]根据本申请的一个实施例，所述基于多维注意力机制的联合检测与跟踪方法，还包括：
[0024]从所述最终的检测和跟踪结果中提取至少一个展示特征，并基于所述至少一个展示特征进行可视化展示。
[0025]根据本申请实施例的基于多维注意力机制的联合检测与跟踪方法，对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图并生成解耦特征图，利用解耦特征执行预设检测任务和跟踪任务，获取当前帧的检测结果和跟踪目标特征，并根据当前帧的检测结果、跟踪目标特征和历史轨迹中的目标特征为输入，构建多特征级联跟踪器，生成最终的检测和跟踪结果。由此，解决了在联合检测和跟踪任务中不同尺度目标的跨时空提取问题以及在不同任务中的特征解耦等问题，通过构建多特征级联跟踪器，增强了跟踪算法在复杂场景中的鲁棒性。
[0026]本申请第二方面实施例提供一种基于多维注意力机制的联合检测与跟踪装置，包括：
[0027]第一生成模块，用于对当前帧的当前时刻图像进行特征提取与融合处理，生成原
始特征图；
[0028]获取模块，用于基于所述原始特征图，生成解耦特征图，并利用所述解耦特征执行预设检测任务和跟踪任务，获取所述当前帧的检测结果和跟踪目标特征；以及
[0029]第二生成模块，用于以所述当前帧的检测结果、所述跟踪目标特征和历史轨迹中的目标特征为输入，构建多特征级联跟踪器，生成最终的检测和跟踪结果。
[0030]根据本申请的一个实施例，所述第一生成模块，具体用于：
[0031]基于所述当前时刻图像进行下采样，得到多个初始特征图；
[0032]对所述多个输出特征图中的部分初始特征图进行反卷积的上采样，得到对应的上采样特征，并加和处理后，得到多个加和特征图；
[0033]对所述多个输出特征图和/或所述多个加和特征图进行通道注意力处理和位置注意力处理，得到多个注意力特征图；
[0034]对所述多个注意力特征图进行卷积与上采样处理，得到所述原始特征图。
[0035]根据本申请的一个实施例，所述第二生成模块，具体用于：
[0036]输入所述当前帧的检测结果和跟踪目标特征及所述历史轨迹中的目标特征；
[0037]对于每一个目标及所述历史轨迹中的每一个轨迹，考虑运动特征，生成第一成本矩阵，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于多维注意力机制的联合检测与跟踪方法，其特征在于，包括以下步骤：对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图；基于所述原始特征图，生成解耦特征图，并利用所述解耦特征执行预设检测任务和跟踪任务，获取所述当前帧的检测结果和跟踪目标特征；以及以所述当前帧的检测结果、所述跟踪目标特征和历史轨迹中的目标特征为输入，构建多特征级联跟踪器，生成最终的检测和跟踪结果。2.根据权利要求1所述的方法，其特征在于，所述对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图，包括：基于所述当前时刻图像进行下采样，得到多个初始特征图；对所述多个输出特征图中的部分初始特征图进行反卷积的上采样，得到对应的上采样特征，并加和处理后，得到多个加和特征图；对所述多个输出特征图和/或所述多个加和特征图进行通道注意力处理和位置注意力处理，得到多个注意力特征图；对所述多个注意力特征图进行卷积与上采样处理，得到所述原始特征图。3.根据权利要求1所述的方法，其特征在于，所述构建多特征级联跟踪器，生成最终的检测和跟踪结果，包括：输入所述当前帧的检测结果和跟踪目标特征及所述历史轨迹中的目标特征；对于每一个目标及所述历史轨迹中的每一个轨迹，考虑运动特征，生成第一成本矩阵，对所述第一成本矩阵进行点匹配，确定所述检测结果中已匹配上历史轨迹的第一集合与未匹配的第二集合及所述跟踪目标特征中已匹配上历史轨迹的第三集合与未匹配的第四集合；对所述第二集合中每一个目标和所述第四集合中每一条轨迹，考虑运动特征，计算每一点对外观特征的相似度，生成第二成本矩阵，且对所述第二成本矩阵进行点匹配，确定所述检测结果中已匹配上历史轨迹的第五集合与未匹配的第六集合及所述跟踪目标特征中已匹配上历史轨迹的第七集合与未匹配的第八集合，并生成新的轨迹；基于所述第一集合、第三集合、第五集合和第七集合的匹配成功的点更新目标跟踪轨迹，生成更新后的轨迹，并合并所述新的轨迹和所述更新后的轨迹，生成当前时刻的跟踪结果。4.根据权利要求3所述的方法，其特征在于，所述基于所述第一集合、第三集合、第五集合和第七集合的匹配成功的点更新目标跟踪轨迹，生成更新后的轨迹，包括：若当前时刻有匹配的检测结果，则基于相对应的目标或者轨迹中的相关信息进行更新；若所述当前时刻没有匹配的检测结果，则计算距离上一时刻更新的时间差，其中，在所述时间差大于或等于预设阈值时进行删除，否则基于所述上一时刻进行更新。5.一种基于多维注意力机制的联合检测与跟踪装置，其特征在于，包括：第一生成模块，用于对当前帧的当前时刻图像进行特征提取与融合处理，生成原始特征图；获取模块，用于基于所述原始特征图，生成解耦特征图，并利用所述解耦...
【专利技术属性】
技术研发人员：郑四发，张创，吴浩然，许庆，王建强，李克强，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。