基于多层深度特征的分块跟踪算法制造技术

本发明专利技术提供了一种基于多层深度特征的分块跟踪算法，采用深度卷积网络VGG‑19提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪；采用DPM进行目标状态的估计，对高层表观模型和低层表观模型进行加权组合，根据分块方案对两类表观模型采用不同的更新策略。本发明专利技术采用可变形分块模型实现抗遮挡的分块跟踪，具有很好的跟踪精度和鲁棒性，充分利用了深度卷积特征的表达能力，跟踪性能优异，可变形分块模型有效提高了算法的抗遮挡性能。

【技术实现步骤摘要】
基于多层深度特征的分块跟踪算法
本专利技术涉及视觉跟踪领域，特别涉及一种分块跟踪算法。
技术介绍
近年来，深度学习在图像分类、目标检测领域取得巨大的成功，研究者希望利用深度学习优秀的特征提取和目标表达能力提高目标跟踪算法的性能。WangNaiyan等人(AlexKrizhevsky,IlyaSutskever,GeoffreyE.Hinton.2012.AnnualConferenceonNeuralInformationProcessingSystems,LakeTahoe,Nevada,1106.)提出用大量的辅助数据采用无监督方式训练一个栈式去噪自编码器，在跟踪过程中用自编码器的编码部分提取特征。DeepTrack(H.Li,Y.Li,F.Porikli.2014.BritishMachineVisionConference,Nottingham,UK,1.)算法将目标跟踪看做前背景分类问题，采用三层卷积神经网络构建分类器，以完全在线的方式学习目标特征。利用预训练CNN得到目标显著图，通过在线学习支持向量机得到跟踪结果(LijunWang,WanliOuyang,XiaogangWang,HuchuanLu.2015.InternationalConferenceonComputerVision,Santiago,Chile,3119.)，此方法利用多层CNN提取目标特征，有效提高了跟踪的精度和鲁棒性，但均采用在线学习网络或支持向量机，需要大量的训练样本和运算时间。MaChao等人(MAC,HUANGJB,YANGXK.2015.InternationalConferenceonComputerVision,Santiago,Chile,3038.)指出已有基于深度学习的跟踪算法仅利用深度网络的最后一层表达目标，无法充分挖掘CNN对目标的多语义层次表达能力，提出提取预训练的多层CNN的卷积特征，结合核相关滤波框架进行跟踪。对深度网络的多层次语义表达能力进行挖掘，在多层CNN的后面增加了两个并行的浅层网络，通过在线更新浅层网络进行特征选择，有效避免噪声和过拟合问题。局部遮挡是跟踪算法面临的主要挑战性难点之一。在出现局部遮挡或者目标局部变形时，可能出现跟踪不准确的情况，极大地限制了该技术的广泛应用。
技术实现思路
为了克服现有技术的不足，本专利技术提供一种基于多层深度特征的跟踪算法，采用可变形分块模型实现抗遮挡的分块跟踪。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1，采用深度卷积网络VGG-19提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪；步骤2，采用DPM进行目标状态的估计，对高层表观模型和低层表观模型进行加权组合，根据分块方案对两类表观模型采用不同的更新策略。所述的核相关滤波跟踪框架包括目标位置估计和表观模型训练；第一帧中目标状态由人工给定，据此提取目标特征，训练目标的判别式表观模型(α1,x1)，α1为滤波器系数，x1为目标的特征表示；第二帧图像到来时，利用上一帧的表观模型计算滤波响应图，图中最大值处即为目标位置，然后对表观模型进行更新，开始下一帧的跟踪，如此迭代。所述的采用DPM进行目标状态的估计，利用VGG-19的conv3-4、conv4-4和conv5-4三个卷积层提取特征，建立多个尺度上的目标表观模型；将目标在行和列方向上规则地划分为n个矩形块，则DPM由n+1个元素{F,P1,...,Pn}组成，F＝{(αt,xt)c4,(αt,xt)c5}为根节点滤波器表观模型，包含了由conv4-4层、conv5-4层卷积特征训练的两个KCF表观模型；Pi＝{(αt,xt)c3_i,ri,di}为第i个分块的模型，(αt,xt)c3_i表示该分块的conv3-4层卷积特征训练的KCF表观模型，ri为2维向量，表示第i个分块的中心相对于目标中心的坐标，称为锚点位置，di为4维向量，定义了在检测阶段，第i个分块相对锚点位置产生偏移量时所引起的目标变形损失值；给定第t帧的某个候选目标状态Ot＝(ut,vt,ht,wt)，记为O＝(u,v,h,w)，其中四个参数分别为目标坐标与高宽，每个分块状态Oi＝(ui,vi,hi,wi)；DPM对该目标状态与各分块状态的组合进行评分的公式为其中，Croot和Cpart_i分别表示输入状态与根节点表观模型F和分块i表观模型Pi的相似度，即步骤1计算的滤波响应图；(dui,dvi)＝(ui,vi)-((u,v)+ri)，表示分块i的位置与锚点位置的距离；di＝(0,0,1,1)，则相当于利用分块的位置差度量其变形损失；第t帧跟踪的目标状态估计阶段，计算所有可能的候选状态的得分，选择其中得分最高的状态将该组合状态中的O*作为当前帧估计的目标状态。所述的加权组合将响应图的峰值旁瓣比作为分块的权重，某个组合状态的评分其中，p为响应图的最大值，将最大值周围c×r大小的区域定义为旁瓣，μ和σ分别为旁瓣区域的均值和标准差。所述的更新策略采用PSR判断根节点KCF跟踪的可靠程度，根节点的更新策略为其中，threshold为给定阈值，当PSR大于该阈值时，说明跟踪结果可靠，对表观模型进行更新；对分块的表观模型采用的更新策略为其中，threshold1为预设的阈值，如果PSRt大于阈值，说明分块跟踪结果结果可靠度，这个区域没有发生遮挡，对表观模型进行更新，丢弃之前的表观模型，直接用当前帧的分块内容训练表观模型；当小于阈值时，说明当前区域不可靠，则不更新该分块的表观模型。本专利技术的有益效果是：采用可变形分块模型实现抗遮挡的分块跟踪，具有很好的跟踪精度和鲁棒性，充分利用了深度卷积特征的表达能力，跟踪性能优异，可变形分块模型有效提高了算法的抗遮挡性能。附图说明图1是MPT算法流程图，其中，(a)是第t帧的表观模型训练阶段流程，(b)是第t帧的目标定位阶段流程。图2采用深度卷积网络VGG-19网络提取的卷积特征的可视化结果示意图。具体实施方式下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。本专利技术根据跟踪算法面临的主要挑战性难点之一的局部遮挡问题，提出一种基于多层深度特征的跟踪算法，采用可变形分块模型实现抗遮挡的分块跟踪。本专利技术的技术方案包括以下步骤：步骤1，采用深度卷积网络VGG-19网络提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪，充分利用了深度卷积特征的特征提取和目标表达能力，使得跟踪算法更具判别力；步骤2，采用DPM进行目标状态的估计，对高层表观模型和低层表观模型进行加权组合，根据实际的分块方案对两类表观模型采用不同的更新策略，提高跟踪算法的鲁棒性。本专利技术在每一帧的跟踪流程如图1所示，具体实施步骤如下：步骤1：采用深度卷积网络VGG-19网络提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪。图2为采用深度卷积网络VGG-19网络提取的卷积特征的可视化结果还意示意图。图中conv3-4层的特征具有较高的空间分本文档来自技高网...

【技术保护点】
1.一种基于多层深度特征的分块跟踪算法，其特征在于包括以下步骤：/n步骤1，采用深度卷积网络VGG-19提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪；/n步骤2，采用DPM进行目标状态的估计，对高层表观模型和低层表观模型进行加权组合，根据分块方案对两类表观模型采用不同的更新策略。/n

【技术特征摘要】
1.一种基于多层深度特征的分块跟踪算法，其特征在于包括以下步骤：
步骤1，采用深度卷积网络VGG-19提取目标的卷积特征，在核相关滤波跟踪框架进行跟踪；
步骤2，采用DPM进行目标状态的估计，对高层表观模型和低层表观模型进行加权组合，根据分块方案对两类表观模型采用不同的更新策略。


2.根据权利要求1所述的基于多层深度特征的分块跟踪算法，其特征在于：所述的核相关滤波跟踪框架包括目标位置估计和表观模型训练；第一帧中目标状态由人工给定，据此提取目标特征，训练目标的判别式表观模型(α1,x1)，α1为滤波器系数，x1为目标的特征表示；第二帧图像到来时，利用上一帧的表观模型计算滤波响应图，图中最大值处即为目标位置，然后对表观模型进行更新，开始下一帧的跟踪，如此迭代。


3.根据权利要求1所述的基于多层深度特征的分块跟踪算法，其特征在于：所述的采用DPM进行目标状态的估计，利用VGG-19的conv3-4、conv4-4和conv5-4三个卷积层提取特征，建立多个尺度上的目标表观模型；将目标在行和列方向上规则地划分为n个矩形块，则DPM由n+1个元素{F,P1,...,Pn}组成，F＝{(αt,xt)c4,(αt,xt)c5}为根节点滤波器表观模型，包含了由conv4-4层、conv5-4层卷积特征训练的两个KCF表观模型；Pi＝{(αt,xt)c3_i,ri,di}为第i个分块的模型，(αt,xt)c3_i表示该分块的conv3-4层卷积特征训练的KCF表观模型，ri为2维向量，表示第i个分块的中心相对于目标中心的坐标，称为锚点位置，di为4维向量，定义了在检测阶段，第i个分块相对锚点位置产生偏...

【专利技术属性】
技术研发人员：王暐，孔祥通，王维强，李嘉，陆永安，张波，刘传玲，周铁军，张华，付飞亚，张乐，计宇，
申请(专利权)人：中国人民解放军六三八七五部队，
类型：发明
国别省市：陕西;61