【技术实现步骤摘要】
本专利技术属于计算机视觉的图像处理领域，更具体地，涉及一种基于时空线索协同学习的无人机多目标跟踪方法。
技术介绍
1、随着无人机技术的快速发展，其在军事侦察、交通监控、环境监测等领域的应用越来越广泛。特别是在计算机视觉领域，基于无人机视频的多目标跟踪技术已成为研究的热点。多目标跟踪技术旨在自动识别并跟踪视频序列中的多个目标，例如行人、车辆等，这对于理解视频内容、进行动态监控等具有重要意义。
2、然而，基于无人机视角的多目标跟踪面临着独特的挑战。由于无人机的高度运动自由度，摄像头捕获的目标通常呈现出小尺寸、动态变化大和视角多变等特点。此外，无人机视频常受到遮挡、光照变化和目标密集等问题的影响，这进一步增加了跟踪的复杂性。因此，已有的多目标算法在处理无人机视频时常常表现出关联性能差和跟踪精度低等问题。
3、当前多目标跟踪解决方案主要依赖目标检测和重识别技术，但这些算法通常只以单帧图像为输入，忽略了时序信息在建模目标关系中的重要作用。尤其在面对目标外观相似或模糊的挑战性场景时，这种方法易于导致漏检和误关联。因此，在多目标跟踪任务中融合时空信息，使网络能够更精确地把握目标位置并学习到更可靠的重识别特征，将极大地增强网络对跟踪场景的理解能力，从而提升无人机视频跟踪的整体性能。
技术实现思路
1、本专利技术提供了一种基于时空线索协同学习的无人机多目标跟踪方法，其目的在于通过分别在多目标的检测部分和重识别部分引入时空轨迹信息，可以减少检测过程中的漏检测和提高目标重识别特征
2、根据本专利技术第一方面，提供一种基于时空线索协同学习的无人机多目标跟踪方法，该方法包括以下步骤：通过搭配有摄像机的无人机平台捕获视频序列；对时空线索协同学习模型进行训练，其中用于网络训练的数据集如此构建：将无人机捕获的视频序列分为训练集和验证集，所述训练集和验证集构成用于网络训练的数据集，其中训练集和验证集的每个子集中都包含标注文件，包含了目标的位置信息和身份信息；时空线索协同学习模型由特征提取器，重识别分支和检测分支构成，分别对应的功能为：提取图像对应的原始特征图，输出目标重识别特征和输出目标检测结果；将无人机拍摄的视频序列输入到时空线索协同学习模型中，以得到目标检测结果和目标重识别特征；计算目标检测结果中的运动信息关联矩阵和重识别特征中的外观信息关联矩阵，并利用使用匈牙利算法完成多目标的匹配任务，并输出包括匹配目标及其身份信息在内的跟踪结果。
3、在上述基于时空线索协同学习的无人机多目标跟踪方法中，在时空线索协同学习模型中，采用dla-34作为特征提取器，用于获取连续两帧图片对应的原始特征图ft-1与ft。
4、在上述基于时空线索协同学习的无人机多目标跟踪方法中，在时空线索协同学习模型中，重识别分支采用特征增强子网络，用于将原始特征图ft-1与ft作为输入，并分别经过两个常规的卷积操作得到重识别特征图idt-1与idt，接着对idt-1与idt做相似度计算：
5、 (1)
6、其中，wc指代第一重识别特征图idt-1与第二重识别特征图idt的相似度结果；
7、将wc作为通道级描述子来重加权检测到目标的重识别特征图：
8、 (2)
9、其中，表示增强后的重识别特征表示。
10、在上述基于时空线索协同学习的无人机多目标跟踪方法中，检测分支采用检测细化子网络，所述检测细化子网络首先将原始特征图ft-1经过常规卷积操作得到目标热图信息fmt-1，接着获取目标热图信息fmt-1中目标的坐标信息，并根据所述坐标信息在重识别特征图idt-1上提取对应目标的身份特征，最后将身份特征作为增强信息与原始特征图ft做信息交互，得到当前帧的目标位置信息。
11、在上述基于时空线索协同学习的无人机多目标跟踪方法中，对时空线索协同学习模型进行训练包括进行30次的模型训练，当训练截止时保存训练好的权重，并将训练好的权重加载到模型中。
12、在上述基于时空线索协同学习的无人机多目标跟踪方法中，运动信息关联矩阵通过比较连续两帧中目标检测框的交并比而生成；外观信息关联矩阵通过计算对应目标在前后两帧中重识别特征的余弦相似度而生成。
13、相对于现有技术的方案，本专利技术技术方案带来以下有益效果：
14、采用连续帧的图片作为输入，通过构建时空网络模型优化了多目标跟踪中的两个重要部分，即目标检测和重识别技术，使得多目标跟踪算法更适应无人机视角下的跟踪场景，从而显著提高多目标跟踪算法在复杂场景下的综合跟踪性能。
15、进一步，通过在多目标跟踪的重识别分支中引入了特征增强子网络，通过分析相邻帧重识别特征图的相似性，强化网络在目标外观相似或遭受遮挡等情况下对目标个体的识别能力，进而提高目标重识别特征的判别性。
16、进一步地，多目标跟踪的检测分支中引入了检测细化子网络，利用目标轨迹在视频序列中的连续性来优化网络提取到目标的位置信息，进而提高检测精度。
本文档来自技高网...【技术保护点】
1.一种基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
3.根据权利要求2所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
4.根据权利要求3所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
5.根据权利要求1所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
6.据权利要求1所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
【技术特征摘要】
1.一种基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
3.根据权利要求2所述的基于时空线索协同学习的无人机多目标跟踪方法，其特征在于，
【专利技术属性】
技术研发人员：马建波，赵灿，唐川明，张建林，徐智勇，魏宇星，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。