一种相关滤波目标跟踪深度特征的提取方法技术

本发明专利技术提供了一种相关滤波目标跟踪深度特征的提取方法，包括S1：获取输入视频序列，设定目标跟踪的搜索区域；S2：构建深度特征提取网络模型，在残差网络模型卷积块输出后进行裁剪操作提取当前帧图像的深度特征，将深度特征和高斯标签作为输入训练滤波器；S3：获取下一帧图像数据根据对应搜索区域提取的特征；S4：下一帧图像数据对应提取的图像特征与相关滤波器进行相关操作获得目标预测位置。本发明专利技术通过构建模型中的裁剪修正操作，去除了深度特征提取过程中填充补零操作对特征质量的影响，提高了目标预测位置的准确性。高了目标预测位置的准确性。高了目标预测位置的准确性。

【技术实现步骤摘要】
一种相关滤波目标跟踪深度特征的提取方法


[0001]本专利技术涉及图像处理
，特别涉及一种相关滤波目标跟踪深度特征的提取方法。

技术介绍

[0002]视觉目标跟踪一直是计算机视觉领域的研究热点，在公共监控、自动驾驶等领域有着广泛的应用。跟踪的目的是在已知第一帧中目标的初始状态的情况下，预测目标在后续帧中的位置。当下，视觉跟踪的主流方法是判别方法，如基于相关滤波(DCF)的跟踪器，通常将其作为分类问题，然后进行精确的定位步骤。
[0003]在相关滤波跟踪过程中，为了得到鲁棒的目标描述，通常采用深度卷积神经网络进行特征提取。深度学习方法应用在计算机视觉许多不同的领域，特别是图像识别和分类方面具有突出的效果，例如AlexNet、google、VggNet、ResNet、DenseNet、SENet等。由于这些网络模型在图像的识别和分类中具有显著效果，因而其中一些网络模型也被引入到视觉目标跟踪任务中，进行特征的提取。
[0004]然而，深度卷积神经网络中大部分都涉及填充补零操作，由于在图像边缘进行填充操作与实际情况相矛盾，因此会降低其性能。

技术实现思路

[0005]本专利技术提供了一种相关滤波目标跟踪深度特征的提取方法，通过引入一个裁剪单元来裁减掉被填充补零操作影响的深度特征的最外层像素，提高模型的性能。
[0006]本专利技术提供了一种相关滤波目标跟踪深度特征的提取方法，方法具体步骤如下：
[0007]步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域。r/>[0008]步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；
[0009]通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；
[0010]步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；
[0011]步骤S4：将下一帧图像数据对应搜索搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置。
[0012]进一步的，所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，所述预处理层对最外层特征进行裁剪，将特征范围由0：N裁剪为1：N
‑
1，N表示特征范围。
[0013]进一步的，所述卷积块包括基本块basic block和瓶颈块和bottleneck block。
[0014]进一步的，所述卷积操作为对每个特征通道，求取输入特征和滤波模板的卷积，并将各个通道得到的结果相加，具体公式如下：
[0015][0016]其中，d表示特征通道的个数，x表示输入特征，f表示滤波模板。
[0017]进一步的，所述搜索区域设定为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
[0018]进一步的，步骤S2中，训练相关滤波器的模板如下：
[0019][0020]其中，ω为空间约束正则化项系数，α
i
为每个训练样本所占权重,S
f
(x
i
)为对样本x
i
的输出卷积响应，y
i
为样本高斯标签，f为的滤波器，l为滤波器通道数量。
[0021]本专利技术的有益效果如下：
[0022]1、通过对ResNet残差网络模型中的每个卷积层的block进行裁剪修正操作，去除了深度特征提取过程中填充补零操作对特征质量的影响，提高了提取深度特征的图像表征效果，提高模型训练效果。
[0023]2、将上一帧图像提取的对应深度特征与高斯标签训练滤波模板并通过下一帧图像提取的对应深度特征进行卷积操作得到目标预测位置，对模板进行更新，使得最终的滤波模型的输出更加准确。
附图说明
[0024]图1是本专利技术方法流程示意图；
[0025]图2是本专利技术的训练流程示意图；
[0026]图3是本专利技术的ResNet网络结构basic block对比结构示意图；
[0027]图4是本专利技术的ResNet网络结构bottleneck block对比结构示意图。
具体实施方式
[0028]在下面的描述中对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]实施例1
[0030]本专利技术的实施例提供了一种相关滤波目标跟踪深度特征的提取方法，如图1所示，方法包括如下步骤：
[0031]步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域为以跟踪目标为中心的面积为跟踪目标面积的16倍的正方形区域。
[0032]步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；
[0033]所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，本实施例中，神经网络模型中所述卷积块包括基本块basic block和瓶颈块bottleneck block；
[0034]如图2所示，为神经网络模型中基本块basic block的结构对比图，左侧图为原始网络模型中basic block的结构图，为两个conv3
×
3的卷积层通过批归一化层bn和激活函
数relu连接，右侧图为在卷积块的输出后增加的预处理操作。
[0035]如图3所示，为神经网络模型中瓶颈块bottleneck block的结构对比图，左侧图为原始网络模型中bottleneck block的结构图，包括两个conv1
×
1的卷积层和一个conv3
×
3的卷积层，卷积层之间通过批归一化层bn和激活函数relu连接，右侧图为在卷积块的输出后增加的预处理操作。
[0036]所述预处理操作即对特征范围进行裁剪，将最外层特征裁剪，特征范围由0：N裁剪为1：N
‑
1，N表示特征范围。
[0037]通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；
[0038]训练相关滤波器的模板如下：
[0039][0040]其中，ω为空间约束正则化项系数，α
i
为每个训练样本所占权重,S
f
(x
i
)为对样本x
i
的输出卷积响应，y
i
为样本高斯标签，f为滤波器，l为滤波器通道数量。
[0041]步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；
[0042]步骤S4：将下一帧图像数据对应搜索搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相关滤波目标跟踪深度特征的提取方法，其特征在于，包括如下步骤：步骤S1：获取输入视频的各帧图像数据，设定目标跟踪的搜索区域；步骤S2：构建深度特征提取网络模型，并根据该网络模型对当前帧图像数据的所述搜索区域进行特征提取，获得不受补零操作影响的特征；通过得到的当前帧图像对应的深度特征以及高斯标签训练滤波模板；步骤S3：获取下一帧图像数据根据所述深度特征提取网络模型，提取对应设定的搜索区域的图像特征；步骤S4：将下一帧图像数据对应搜索区域所提取的特征与训练得到的相关滤波器进行卷积操作得到目标预测位置。2.根据权利要求1所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所述深度特征提取网络模型采用残差网络结构，在卷积块的激活函数输出后设有预处理层，所述预处理层对最外层特征进行裁剪，将特征范围由0：N裁剪为1：N
‑
1，N表示特征范围。3.根据权利要求2所述的相关滤波目标跟踪深度特征的提取方法，其特征在于，所...

【专利技术属性】
技术研发人员：许廷发，张语珊，吴零越，吴凡，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：