一种基于互相关匹配增强孪生网络的目标跟踪方法及系统技术方案

本发明专利技术公开了一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，包括：对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。本发明专利技术对复杂场景变化跟踪的适应能力强且精度高。能力强且精度高。能力强且精度高。

【技术实现步骤摘要】
一种基于互相关匹配增强孪生网络的目标跟踪方法及系统


[0001]本专利技术涉及计算机视觉和目标跟踪
，特别涉及一种基于互相关匹配增强孪生网络的目标跟踪方法及系统。

技术介绍

[0002]目标跟踪是计算机视觉领域中一个基础而又具有挑战性的任务，是近几十年来计算机视觉领域最活跃的研究课题之一；目标跟踪的任务定义为：一个视频序列在只给定跟踪目标初始帧位置的情况下，能够在后续每一帧中保持对目标准确地跟踪。目标跟踪在自动驾驶、视频监控、海洋勘探、医学影像等领域都有着广泛的应用，因此备受学术界和工业界的关注。目前传统的基于相关滤波的目标跟踪方法其鲁棒性不高；而基于孪生网络的离线训练和在线跟踪方式使其在跟踪精度和推理速度之间取得了很好的平衡，孪生网络进行了一种相似性的学习，来估计目标在下一帧中最有可能的位置，弥补了传统方法上的不足。
[0003]作为基于孪生网络目标跟踪方法的代表，SiamFC引入了互相关结构，真正实现了速度与精度的平衡；SiamRPN在SiamFC的基础上改进了SiamFC的互相关方式并引入了区域生成网络，使得回归更加精准；但SiamRPN采用的互相关方式会产生非常大的参数量，导致网络整体上难以训练和优化；SiamRPN++将深层神经网络引入到孪生跟踪网络中，大幅度提高了跟踪性能，同时采用了深度可分离互相关的方式，减少了大量参数，稳定了整个训练过程；然而，无论哪一种现有的互相关方式，其本质依然都是两特征图之间固定大小的滑窗卷积操作，所以当物体发生较大形变或者目标区域相对较小时，互相关会引入大量的背景信息进而干扰目标物的跟踪；SiamBAN解决了SiamRPN系列网络的锚框所带来的问题，通过直接预测输出特征图上前景背景的分类得分和四个中心距离偏移量来得到最大响应位置的预测框，减少了参数调整的负担；但由于失去了一定的先验信息，跟踪器并不具有能够很好地学习和应对目标尺度变化的能力。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种基于互相关匹配增强孪生网络的目标跟踪方法及系统，解决现有技术中基于孪生网络的主流目标跟踪方法没有充分利用到先验信息以及简单的互相关匹配方式所带来的特征模糊等技术问题；本专利技术能够减少无关的背景信息和干扰信息，提高跟踪网络的判别能力，从而使得目标的位置更加准确。
[0005]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0006]第一方面，本专利技术提供一种基于互相关匹配增强孪生网络的目标跟踪方法，所述方法包括：
[0007]对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；
[0008]将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，通过所述互相关匹配增强孪生网络提取模板图像和搜索图像的模板特征和搜索特征；对模
板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；
[0009]根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。
[0010]结合第一方面，优选地，所述互相关匹配增强孪生网络的构建和训练过程包括：
[0011]获取目标视频序列帧数据集，根据图像的目标位置和尺寸，对数据集中的每一帧图像进行裁剪，获得所有帧图像的模板图像和搜索图像，将其作为训练样本集；
[0012]构建互相关匹配增强孪生网络，所述互相关匹配增强孪生网络包括特征提取网络、互相关匹配网络、分类回归网络及边界框编码模块；所述特征提取网络为改进的ResNet50深度残差网络，所述ResNet50深度残差网络的改进包括：去除原ResNet50深度残差网络的第五层卷积层，将第三层和第四层的卷积步长均设置为1，第三层和第四层的扩张卷积的大小均设置为4；
[0013]基于所述训练样本集对所构建的互相关匹配增强孪生网络进行训练，获得训练好的互相关匹配增强孪生网络。
[0014]结合第一方面，优选地，所述对数据集中的每一帧图像进行裁剪的方法包括：
[0015]将目标视频序列的首帧图像以目标为中心裁剪为127*127*3大小的模板图像，从第二帧开始，将目标视频序列的后续帧的图像以目标为中心裁剪为255*255*3大小。
[0016]结合第一方面，优选地，所述互相关匹配网络包括横向尺度提取模块、纵向尺度提取模块和级联双重互相模块；
[0017]所述级联双重互相关模块用于将模板特征和搜索特征进行像素匹配互相关操作后，与模板特征进行深度可分离互相关操作，得到级联双重互相关特征，其计算公式为：
[0018]f
pm
＝PM(f
z
,f
x
)
[0019]F
Dw
＝DW(f
pm
,f
z
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0020]式中，f
pm
表示模板特征f
z
和搜索特征f
x
的像素匹配互相关特征，PM表示像素匹配互相关；F
Dw
表示级联双重互相关特征，DW表示深度可分离互相关；
[0021]所述横向尺度提取模块用于提取模板特征与搜索特征的横向尺度分支特征，其计算公式为：
[0022]H
k
＝HD
3:1
(N
k
)
[0023]F
H
＝DW(f
z
*H
k
,f
x
*H
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0024]式中：N
k
表示常规的N*N卷积核，H
k
表示卷积核N
k
经HD
3:1
横向3:1的卷积扩张为7*3大小的横向卷积核；F
H
表示横向尺度分支特征；*表示卷积操作；
[0025]所述纵向尺度提取模块用于提取模板特征与搜索特征的纵向尺度分支特征，其计算公式为：
[0026]V
k
＝VD
1:3
(N
k
)
[0027]F
V
＝DW(f
z
*V
k
,f
x
*V
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0028]式中，V
k
表示卷积核N
k
经VD
1:3
纵向进行1:3的卷积扩张为3*7大小的纵向卷积核；F
V
表示纵向尺度分支特征。
[0029]结合第一方面，优选地，基于所述级联双重互相关特征F...

【技术保护点】

【技术特征摘要】
1.一种基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述方法包括：对所采集的待跟踪目标的视频序列进行裁剪，获得所有帧图像的模板图像和搜索图像；将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中，通过所述互相关匹配增强孪生网络提取模板图像和搜索图像的模板特征和搜索特征；对模板特征和搜索特征进行互相关匹配得到互相关特征；对模板图像进行边界框信息编码得到边界框编码特征；对互相关特征与边界框编码特征的融合特征进行分类计算和回归计算，得到相应的分类得分图和回归预测图；根据分类得分图中响应值最大的位置，结合回归预测图的偏移量，获得目标在视频序列帧上的最终位置。2.根据权利要求1所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述互相关匹配增强孪生网络的构建和训练过程包括：获取目标视频序列帧数据集，根据图像的目标位置和尺寸，对数据集中的每一帧图像进行裁剪，获得所有帧图像的模板图像和搜索图像，将其作为训练样本集；构建互相关匹配增强孪生网络，所述互相关匹配增强孪生网络包括特征提取网络、互相关匹配网络、分类回归网络及边界框编码模块；所述特征提取网络为改进的ResNet50深度残差网络，所述ResNet50深度残差网络的改进包括：去除原ResNet50深度残差网络的第五层卷积层，将第三层和第四层的卷积步长均设置为1，第三层和第四层的扩张卷积的大小均设置为4；基于所述训练样本集对所构建的互相关匹配增强孪生网络进行训练，获得训练好的互相关匹配增强孪生网络。3.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述对数据集中的每一帧图像进行裁剪的方法包括：将目标视频序列的首帧图像以目标为中心裁剪为127*127*3大小的模板图像，从第二帧开始，将目标视频序列的后续帧的图像以目标为中心裁剪为255*255*3大小。4.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法，其特征在于，所述互相关匹配网络包括横向尺度提取模块、纵向尺度提取模块和级联双重互相模块；所述级联双重互相关模块用于将模板特征和搜索特征进行像素匹配互相关操作后，与模板特征进行深度可分离互相关操作，得到级联双重互相关特征，其计算公式为：f
pm
＝PM(f
z
,f
x
)F
Dw
＝DW(f
pm
,f
z
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中，f
pm
表示模板特征f
z
和搜索特征f
x
的像素匹配互相关特征，PM表示像素匹配互相关；F
Dw
表示级联双重互相关特征，DW表示深度可分离互相关；所述横向尺度提取模块用于提取模板特征与搜索特征的横向尺度分支特征，其计算公式为：H
k
＝HD
3:1
(N
k
)F
H
＝DW(f
z
*H
k
,f
x
*H
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式中：N
k
表示常规的N*N卷积核，H
k
表示卷积核N
k
经HD
3:1
横向3:1的卷积扩张为7*3大小的横向卷积核；F
H
表示横向尺度分支特征；*表示卷积操作；
所述纵向尺度提取模块用于提取模板特征与搜索特征的纵向尺度分支特征，其计算公式为：V
k
＝VD
1:3
(N
k
)F
V
＝DW(f
z
*V
k
,f
x
*V
k
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，V
k
表示卷积核N
k
经VD
1:3
纵向进行1:3的卷积扩张为3*7大小的纵向卷积核；F
...

【专利技术属性】
技术研发人员：胡昭华，刘浩男，林潇，王莹，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：