一种高精度回归的红外小目标跟踪方法技术

本发明专利技术属于红外目标跟踪领域，具体为一种高精度回归的红外小目标跟踪方法，针对红外小目标运动过程中出现目标形变

【技术实现步骤摘要】
一种高精度回归的红外小目标跟踪方法


[0001]本专利技术属于红外目标跟踪领域，具体为一种高精度回归的红外小目标跟踪方法
。

技术介绍

[0002]目标跟踪是计算机视觉领域中一个重要组成部分，其中红外小目标跟踪在航空航天
、
国防军事和民用监控等方面应用广泛，但在红外小目标跟踪研究中势必遇到各种挑战，如何进行精确跟踪是当前研究人员的重要研究课题
。
遇到的主要挑战有：
1)
红外小目标的快速运动或镜头抖动，当相邻帧目标从一个位置突然移动到另一个位置，缺乏全局重检测的跟踪器会丢失目标，导致跟踪失败
。2)
目标与背景差异过小，导致目标对比度较低，目标淹没在背景环境中，无法提取有效的目标信息，跟踪器判别能力减弱，难以识别目标位置
。3)
目标形态变化，目标在运动过程中可能会发生姿态调整
、
抵近或远离相机
、
甚至解体分离，目标发生刚性
、
非刚性的形变，如果跟踪器不进行更新，则计算的目标相似度较低，从而丢失真实目标
。4)
目标遮挡，当环境中的一些物体，如云层
、
建筑物等将真实目标遮挡，跟踪器无法寻找到目标所在位置，当目标再次出现时，由于跟踪器搜索区域还处于目标消失位置，导致跟踪失败
。5)
目标尺寸过小，红外小目标所在图像区域像素较少，缺少边缘轮廓等明显特征，很难对其进行有效的特征提取和识别
。
对于以上挑战，如何以高精度边界框的形式确定真实目标所在位置，是一项非常艰巨的任务
。
[0003]目前目标跟踪方法可分为基于判别式的跟踪方法和基于孪生网络的跟踪方法，其中基于判别式的跟踪方法关键是训练相关滤波器去检测当前搜索区域中的目标，并在跟踪过程中实时更新相关滤波器
。
在训练相关滤波器的过程中常使用循环移位的方法，但会引入降低目标模型判别能力的边界效应，原因主要是正负样本分配不均，且负样本会带有目标信息
。
其次，在对边界框估计的过程中，常采用多尺度金字塔的方法，但会带来巨大的运算量，降低跟踪方法的运行速度，且只能等比例放缩边界框，不能做到自适应
。
最后，对判别式方法进行损失优化时如何求得最优解是一个巨大的挑战，岭回归的方法无法添加空间
、
时间等正则化项，限制了基于判别式跟踪方法的发展
。
基于孪生网络的跟踪方法关键步骤是计算模板帧图像和搜索帧图像之间的相似性，并取相似度最大的像素位置作为预测目标中心位置，其准确性和实时性的平衡获得广泛的研究和应用
。
最初的孪生网络使用
CNN
网络对图像特征进行提取，但对于红外小目标来说，随着网络层数的加深，特征图像素点对应的感受野也会增大，其范围会大于小目标所属区域，导致引入更多背景信息，甚至网络过深特征图不再会包含小目标的特征信息，导致跟踪器的跟踪结果较差；其次，相似性操作往往采用简单快速的卷积操作，具体为使用模板特征图作为卷积核，在搜索特征图上进行滑窗，以获得搜索特征图各个区域的相似度得分，这种线性操作，会导致跟踪器陷入局部最优的问题，跟踪偏移到其他假目标上
。
此外，在对目标边界框大小预测中，除采用需设置大量超参数的锚框形式外，还选择无锚网络进行预测，无锚网络会对特征图生成大量的建议边界框，通过同尺寸的分类得分图选择分类分数最高的边界框，但还需使用很多后处理操作来使边界框更加精确，如：汉宁窗
、
长宽比惩罚
、
边界框平滑操作等，后操作的处理会导致跟踪器要
设置超参数以获得更好的结果，但在更换跟踪场景后，超参数需要重新进行设置
。
根据以上两种方法的特征，本专利技术采用速度和精度平衡的孪生网络结构，并对其进行修改，使其适应目标形变
、
背景变化和相机抖动等场景
。
本专利技术基于可提取全局信息的
Transformer
网络，以多帧级联的形式对红外小目标进行准确跟踪
。

技术实现思路

[0004]本专利技术针对现有跟踪方法在目标形变
、
明暗变化和快速运动等情况下跟踪精确性较低的问题，提供了一种高精度回归的红外小目标跟踪方法
。
对于目标形变
、
背景变化和相机抖动等问题，本专利技术使用边界框的形式精确定位目标所在位置
。
[0005]本专利技术是采用如下的技术方案实现的：一种高精度回归的红外小目标跟踪方法，该方法包括以下步骤：
[0006]步骤1：输入一个红外图像序列
F
；
[0007]步骤2：在红外图像序列
F
中第一帧图像上框选目标边界框，以目标边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪第一帧图像局部区域，使其作为初始区域
T
和更新区域
U
；
[0008]步骤3：输入后一帧图像，并按前一帧目标边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪输入帧图像局部区域，使其作为搜索区域
S
；
[0009]步骤4：将
T、U、S
输入到特征提取网络中，分别获得高
、
低分辨率特征图；
[0010]步骤5：将
T、U、S
获得的高分辨率特征图输入到特征融合网络，获得回归特征图
F
box
；低分辨率特征图输入后获得分类特征图
F
cls
；
[0011]步骤6：将回归
、
分类特征图分别传入相似网络中，获得回归查询向量
、
回归增强特征图
、
分类查询向量和分类增强特征图
。
[0012]步骤7：以上输出传入输出网络中得到回归得分图和分类得分图，计算获得最终跟踪结果；
[0013]步骤8：如果分类得分图最大值高于预定义阈值
T
cls
，则以最终跟踪结果边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪当前输入帧图像局部区域，利用该局部区域更换更新区域
U
；
[0014]步骤9：重复步骤3～8进行下一帧图像的跟踪，直至序列
F
结束，从第三帧图像跟踪开始，前一帧目标边界框即为前一帧最终跟踪结果
。
[0015]上述方法中，特征提取网络是以
Swin
‑
Tiny
网络为核心网络，并删除最后一个注意力块，减少参数量；其
Swin
‑
Tiny
中
Transformer
的多头注意力机制从全局范围中提取目标特征，摆脱
CNN
感受野的限制；并在
ImageNet<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种高精度回归的红外小目标跟踪方法，其特征在于：包括以下步骤：步骤1：输入一个红外图像序列
F
；步骤2：在红外图像序列
F
中第一帧图像上框选目标边界框，以目标边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪第一帧图像局部区域，使其作为初始区域
T
和更新区域
U
；步骤3：输入后一帧图像，并按前一帧目标边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪输入帧图像局部区域，使其作为搜索区域
S
；步骤4：将
T、U、S
输入到特征提取网络中，分别获得高
、
低分辨率特征图；步骤5：将
T、U、S
获得的高分辨率特征图输入到特征融合网络，获得回归特征图
F
box
；低分辨率特征图输入后获得分类特征图
F
cls
；步骤6：将回归
、
分类特征图分别传入相似网络中，获得回归查询向量
、
回归增强特征图
、
分类查询向量和分类增强特征图；步骤7：以上输出传入输出网络中得到回归得分图和分类得分图，计算获得最终跟踪结果；步骤8：如果分类得分图最大值高于预定义阈值
T
cls
，则以最终跟踪结果边界框中心点坐标为原点
、
数倍边界框对角线长度裁剪当前输入帧图像局部区域，利用该局部区域更换更新区域
U
；步骤9：重复步骤3～8进行下一帧图像的跟踪，直至红外图像序列
F
结束
。2.
根据权利要求1所述的一种高精度回归的红外小目标跟踪方法，其特征在于，所述通过特征提取网络，分别获得高
、
低分辨率特征图，具体为：以
Swin
‑
Tiny
网络为核心网络，并删除最后一个注意力块，减少参数量；其
Swin
‑
Tiny
中
Transformer
的多头注意力机制从全局范围中提取目标特征，摆脱
CNN
感受野的限制；特征提取网络在
ImageNet
数据上进行预训练，训练时加载已训练后的参数，其网络共包含3个模块，每个模块都对输入图像进行2倍下采样的操作，最终特征提取网络输出为第2个模块得到的高分辨率特征图和第3个模块得到的低分辨率特征图
。3.
根据权利要求2所述的一种高精度回归的红外小目标跟踪方法，其特征在于，所述将回归
、
分类特征图分别传入相似网络中，具体为：相似网络使用基于
Transformer
的两个编码器层和两个解码器层，回归和分类特征图输入到相似网络后，两个编码器层通过信息交互的方式，增强回归特征图搜索区域中目标的信息，减弱背景信息，具体结构为多头注意力机制和前馈神经网...

【专利技术属性】
技术研发人员：李大威，崔晨辉，蔺素珍，禄晓飞，王彦博，张瑞芳，
申请(专利权)人：中北大学，
类型：发明
国别省市：