【技术实现步骤摘要】
本专利技术属于图像处理领域，具体涉及一种基于孪生网络及模板更新的无人机目标跟踪方法。
技术介绍
1、目前，基于孪生网络的目标跟踪算法在视觉目标跟踪中取得了显著进展。这类算法通过深度学习技术在大规模数据集上进行训练，使得模型能有效应对目标的各种形变和复杂场景。
2、bertinetto等首先将全卷积孪生网络嵌入到跟踪算法中提出了siamfc算法，通过互相关操作计算模板与搜索区域的相似性来确定目标位置，整个网络可以离线训练，跟踪过程无需微调。li等提出的siamrpn模型采用区域建议网络(region proposal network,rpn)来辅助目标定位。首先利用孪生网络提取特征，由rpn进行目标定位，其中rpn包括分类和回归两分支，分类分支区分目标和背景，回归分支对边界框进行修正。该方法与使用传统图像金字塔来预测目标尺度的方法相比跟踪速度明显加快。之后，zhu等针对siamrpn存在的响应分数不可靠问题进行分析，发现这是由于训练样本不均衡导致的，从而提出了dasiamrpn方法。该算法通过多样化正样本对的种类来提升泛化性能，使用语义负样本对来改进判别能力，改善响应分数的质量，获得更加可靠的跟踪结果。
3、然而，现有技术仍存在一些挑战，特别是在目标状态估计和复杂场景干扰方面。例如，当目标出视野、出现遮挡或有相似目标干扰时，现有的孪生网络跟踪算法容易失效。这些问题在无人机航拍视频中尤为突出，因为无人机航拍视频中目标经常会因为快速运动、视角变化和环境复杂性等因素而出现出视野和遮挡现象。
1、本专利技术的目的是提供一种基于孪生网络及模板更新的无人机目标跟踪方法，以解决目标出视野或被遮挡时容易失效，复杂场景中的目标难以跟踪的问题。
2、本专利技术的目的是通过以下技术手段实现的，一种基于孪生网络及模板更新的无人机目标跟踪方法，包括以下步骤：
3、获取要跟踪对象的视频，并按帧划分，从首帧中截取出要跟踪的对象的图像作为模板图像，后续帧的完整图像作为搜索图像；
4、将模板图像和第二帧搜索图像，分别输入基础深度残差网络，提取出各自的block3和block4特征，再通过多尺度融合模块，对各自的block3和block4特征进行融合，得到模板图像的多尺度融合特征，以及搜索图像的多尺度融合特征；
5、模板图像和搜索图像的多尺度融合特征融合后输入区域建议网络中，区域建议网络的回归分支生成候选样本fc，将模板图像的多尺度融合特征和候选样本fc输入匹配网络，输出匹配分数，通过匹配分数对区域建议网络的分类分支进行修正，区域建议网络输出模板预测结果o0；
6、搜索图像的多尺度融合特征和模版缓冲池中的辅助模板融合后输入区域建议网络中，区域建议网络输出辅助预测结果oi；模板缓冲池中包括若干辅助模板，使用时从中选择一个使用，初始时模板图像作为辅助模板；
7、辅助预测结果oi和模板预测结果o0融合后得到最终跟踪结果o；
8、对最终跟踪结果o进行评估，若合格加入模板缓冲池中，作为可选辅助模板；
9、重复以上步骤直至所有帧的搜索图像跟踪识别完成。
10、所述基础深度残差网络为resnet-50。
11、所述多尺度融合模块具体为，block3的特征图分别输入四个支路，对四个支路的输出进行通道维度上的连接；
12、block4输出的特征图的通过卷积与反卷积进行细化和调整来实现特征融合，
13、通过元素方式将空间特征block3和深层语义特征block4进行融合，得到多尺度融合特征；
14、特征融合后，通过1×1卷积减少通道数量，得到最终的多尺度融合特征。
15、所述四个支路具体内容为，支路一，将输入依次进行1×1卷积、5×5卷积和7×7卷积；分支二，将输入依次进行1×1卷积和3×3卷积；分支三，将输入依次进行3×3平均池化和1×1卷积；分支四，将输入进行1×1卷积。
16、所述模板缓冲池的初始辅助模板为模板图像。
17、所述模板缓冲池中辅助模板总数固定，当辅助模板数量达到上限后，新加入辅助模板的同时，去除最早的辅助模板。
18、使用两个3×3卷积核替代5×5卷积核；将3×3卷积化为，先经过3×1的卷积以后得到1×3的特征输出，再经过1×3的卷积得到1×1的特征输出。
19、所述匹配网络将模板图像的多尺度融合特征和候选样本fc，在通道维度进行拼接，然后经过一个卷积和三个全连接层，得出两者之间的匹配分数，匹配分数与分类分支的互相关特征图进行元素相乘，得到改进的相关特征，将改进后的相关特征通过卷积层传递，得到改进后的分类可信度评分，区域建议网络根据改进后的分类可信度评分输出模板预测结果o0。
20、对最终跟踪结果o进行评估的具体方法为，tn表示模板池中所有模板的napce均值，当且仅当napce>tn时，将当前候选样本特征图添加到模板缓冲池γ中，
21、fmin为最小响应值，fw,h为坐标索引为(w,h)处的响应值，fmax为最大响应值。
22、从模板模板缓冲池中选择与模板图像相似度最小的作为辅助模板。
23、本专利技术的有益效果在于：
24、1、通过模板更新机制，通过引入并动态调整目标的辅助模板，提高了跟踪的鲁棒性，解决了现有的基于孪生网络的目标跟踪算法在目标出视野或被遮挡时容易失效，导致跟踪失败的问题。
25、2、通过改进多尺度特征融合模块，充分获取目标的语义信息与空间信息，显著提升了在复杂场景中的跟踪精度。
26、3、通过匹配网络将区域建议网络中的分类分支与回归分支进行关联，进一步提高了跟踪效果，解决了区域建议网络的分类分支与回归分支关联不够紧密，影响了跟踪的准确性的问题。
本文档来自技高网...【技术保护点】
1.一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述基础深度残差网络为ResNet-50。
3.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述多尺度融合模块具体为，block3的特征图分别输入四个支路，对四个支路的输出进行通道维度上的连接；
4.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述四个支路具体内容为，支路一，将输入依次进行1×1卷积、5×5卷积和7×7卷积；分支二，将输入依次进行1×1卷积和3×3卷积；分支三，将输入依次进行3×3平均池化和1×1卷积；分支四，将输入进行1×1卷积。
5.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述模板缓冲池的初始辅助模板为模板图像。
6.根据权利要求1或5所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述模板缓冲池中辅助模板总数固
7.根据权利要求4所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：使用两个3×3卷积核替代5×5卷积核；将3×3卷积化为，先经过3×1的卷积以后得到1×3的特征输出，再经过1×3的卷积得到1×1的特征输出。
8.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述匹配网络将模板图像的多尺度融合特征和候选样本Fc，在通道维度进行拼接，然后经过一个卷积和三个全连接层，得出两者之间的匹配分数，匹配分数与分类分支的互相关特征图进行元素相乘，得到改进的相关特征，将改进后的相关特征通过卷积层传递，得到改进后的分类可信度评分，区域建议网络根据改进后的分类可信度评分输出模板预测结果O0。
9.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：对最终跟踪结果O进行评估的具体方法为，TN表示模板池中所有模板的NAPCE均值，当且仅当NAPCE>TN时，将当前候选样本特征图添加到模板缓冲池Γ中，
10.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：从模板模板缓冲池中选择与模板图像相似度最小的作为辅助模板。
...【技术特征摘要】
1.一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述基础深度残差网络为resnet-50。
3.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述多尺度融合模块具体为，block3的特征图分别输入四个支路，对四个支路的输出进行通道维度上的连接；
4.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述四个支路具体内容为，支路一，将输入依次进行1×1卷积、5×5卷积和7×7卷积；分支二，将输入依次进行1×1卷积和3×3卷积；分支三，将输入依次进行3×3平均池化和1×1卷积；分支四，将输入进行1×1卷积。
5.根据权利要求1所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述模板缓冲池的初始辅助模板为模板图像。
6.根据权利要求1或5所述的一种基于孪生网络及模板更新的无人机目标跟踪方法，其特征在于：所述模板缓冲池中辅助模板总数固定，当辅助模板数量达到上限后，新加入辅助模板的同时，去除最早的辅助模板。...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。