基于相关滤波和自适应特征融合的多尺度目标跟踪方法技术

本发明专利技术属于计算机视觉领域，为实现较复杂场景下的目标跟踪，充分利用目标的颜色特征和梯度特征来描述目标，提高在尺度变化和遮挡等情况下的鲁棒性，具有更高的精度。本发明专利技术，基于相关滤波和自适应特征融合的多尺度目标跟踪方法，步骤如下：步骤1：输入当前第t帧图像；步骤2：提取样本的梯度特征和颜色特征；步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积；步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重；步骤5：提取多尺度图像块的HOG特征；步骤6：用矩形框标记出当前帧的目标；步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，最终实现目标跟踪。本发明专利技术主要应用于目标跟踪场合。

Multiscale target tracking method based on correlation filtering and adaptive feature fusion

【技术实现步骤摘要】
基于相关滤波和自适应特征融合的多尺度目标跟踪方法
本专利技术属于计算机视觉领域，涉及一种基于相关滤波和自适应特征融合的多尺度目标跟踪算法。
技术介绍
目标跟踪，本质是鲁棒地估计运动目标在图像序列中每一帧的运动状态，是计算机视觉领域热门的研究课题之一，在计算机视觉领域有着广泛的应用，例如在人机交互、智能交通监控、军事制导、机器人等方面，目标跟踪技术发挥着关键作用。尽管目标跟踪问题已被研究了数十年，近年来也取得了许多进展，但目前仍然是一个非常具有挑战性的问题。许多因素影响着跟踪算法的性能，例如遮挡、光照变化、尺度变化、快速运动等，寻找合适的方法解决在这些复杂场景下的目标跟踪问题，成为研究的重点与难点。解决目标跟踪问题的方法可以分为两大类——生成类方法和判别类方法。生成类方法，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域即为预测位置。比较著名的有卡尔曼滤波，粒子滤波，均值漂移(Mean-Shift)等。判别类方法，即把跟踪问题看成是在每一帧图像上的目标与背景的二分类问题，以目标区域为正样本，背景区域为负样本，跟踪过程中通过不断地搜集更新正负样本，训练分类器，从当前待选目标中选取分类器响应最大的即为该帧的跟踪结果。判别类方法中，基于相关滤波的方法是近年来应用广泛的一类方法，其中又以核相关滤波跟踪算法(KernelizedCorrelationFilters,KCF)为代表。传统的相关滤波算法虽然计算量小，但在实际应用中存在着一些显著的缺陷：(1)仅采用单特征，不能很好地描述目标。(2)无法准确地估计目标的尺度，以应对尺度变化问题。(3)在遇到目标被遮挡的情况下，跟踪的精度明显下降。(4)学习率为固定值，在个别场景下无法进行有效的模型更新。
技术实现思路
为克服现有技术的不足，本专利技术旨在实现较复杂场景下的目标跟踪，充分利用目标的颜色特征和梯度特征来描述目标，并在平移滤波器的基础上引入尺度滤波器，可提高在尺度变化和遮挡等情况下的鲁棒性，使跟踪结果具有更高的精度。为此，本专利技术采用的技术方案是，基于相关滤波和自适应特征融合的多尺度目标跟踪方法，步骤如下：步骤1：输入当前第t帧图像；步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用方向梯度直方图HOG(HistogramofOrientedGridients)特征xHOG和颜色属性CN(ColorName)特征xCN表达；步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积，然后查找所有测试样本响应向量，最大响应位置为目标的预测位置。对于给定的单个目标图像块x，分类器的响应输出为将HOG特征表达的图像样本xHOG和CN特征表达的图像样本xCN分别代入上式，求取各自相关滤波响应图，并得到各自最大响应值为RHOG和RCN；步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重，计算如式(2)所示：根据各特征权重大小为CN特征和HOG特征分配的权重，对最终的目标跟踪结果进行加权融合，计算如式(3)所示：R＝δRCN+(1-δ)RHOG(3)其中δ∈[0,1]。若δ＝0，则代表该跟踪结果仅仅使用了HOG特征的跟踪结果；若δ＝1，则代表该跟踪结果仅仅使用了颜色特征的跟踪结果；步骤5：提取多尺度图像块的HOG特征，使用这些多尺度图像块的HOG特征来训练核函数的最小二乘法分类器，获得一个一维的尺度跟踪器，最后寻找这个滤波器的最大的输出响应RS，用式(4)完成尺度的预测：其中参数为学习参数，kS的元素xS是从第t-1帧学习的目标尺度模型，是从新一帧提取的样本；步骤6：将目标的预测位置R和预测尺度RS结合，用矩形框标记出当前帧的目标；步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，如下式(5)-(7)所示：其中参数为学习参数，kj的元素为γ为自适应学习速率，为目标的预测值，λ为正则项系数。步骤8：输入下一帧图像，按前述步骤处理，实现目标跟踪。更进一步的技术方案是所述步骤2和步骤5中，HOG特征的具体提取过程为：(1)首先将目标图像作灰度化处理。(2)使用Gamma校正的方法对输入的待检测图像进行颜色空间的归一化，从而达到调节图像的对比度以及降低局部阴影与光照变化带来的影响的目的，同时还可以抑制噪音带来的干扰。Gamma压缩公式：I(x,y)＝I(x,y)Gamma，在这里取Gamma＝1/2；(3)计算目标图像的每一个像素的梯度，图像中像素点的梯度为：Gx(x,y)＝H(x+1,y)-H(x-1,y)(8)Gy(x,y)＝H(x,y+1)-H(x,y-1)(9)式中Gx(x,y)、Gy(x,y)和H(x,y)分别表示输入图像中的像素点(x,y)处的水平方向和垂直方向梯度的像素值。像素点(x,y)处的梯度幅值和梯度方向分别为：(4)将图像划分成每个都含有4×4个像素点的小的细胞单元，并为每一个细胞单元构建它的梯度方向直方图；(5)将每3×3个细胞单元来组成一个块，那这个块内所包含的细胞单元的各自的特征向量连着串联起来，那么就可以得到这个块的梯度直方图；(6)将目标图像内所有块的梯度直方图特征向量串联在一起，就组成了该目标图像的方向梯度直方图，即最终得到的供判别分类器使用的特征向量；步骤7中，自适应学习速率γ选取的具体过程为：采用帧差法，也就是相邻两帧图片间的差值作为依据来分段确定学习速率的大小，对一帧大小是m×n的图像块x，每一个像素点用xij来表示，其中0≤i≤m-1，0≤j≤n-1。对于第t帧图像来说，当0<q<2.5时，相邻两帧目标图片变化较小，目标表观模型变化较小，设置较低的学习速率，以保持良好的跟踪；当2.5≤q<8时，目标表观模型变化正常，设置常规的学习速率；当q≥8时，目标表观模型变化十分明显，设置较大的学习速率，具体分段学习速率如式(13)所示：本专利技术的特点及有益效果是：本专利技术提供的目标跟踪方法中，颜色特征的引入使得目标模型的描述不再局限于单一的梯度特征，引入尺度滤波器对目标的尺度进行预测也很好地解决了尺度变化问题，同时自适应学习速率的应用使得模型的更新能更适应场景的不同变化。因此，本专利技术提供的目标跟踪方法在复杂场景下有着更强的鲁棒性和可靠性。附图说明图1是本专利技术提供跟踪算法的跟踪框架流程图；图2本专利技术与KCF跟踪算法在BlurBody数据集上部分跟踪结果对比图。图2(a)是KCF跟踪算法在BlurBody数据集上的部分跟踪结果；图2(b)是本专利技术提供的跟踪算法在BlurBody数据集上的部分跟踪结果；图3本专利技术与KCF跟踪算法在CarScale数据集上部分跟踪结果对比图。图3(a)是KCF跟踪算法在Ca本文档来自技高网...

【技术保护点】
1.一种基于相关滤波和自适应特征融合的多尺度目标跟踪方法，其特征是，步骤如下：/n步骤1：输入当前第t帧图像；/n步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用方向梯度直方图HOG(Histogram of Oriented Gridients)特征x

【技术特征摘要】
1.一种基于相关滤波和自适应特征融合的多尺度目标跟踪方法，其特征是，步骤如下：
步骤1：输入当前第t帧图像；
步骤2：采集图像样本块，提取样本的梯度特征和颜色特征，并采用方向梯度直方图HOG(HistogramofOrientedGridients)特征xHOG和颜色属性CN(ColorName)特征xCN表达；
步骤3：将上一帧得到的滤波器h和当前帧候选目标图像块x进行卷积，然后查找所有测试样本响应向量，最大响应位置为目标的预测位置，对于给定的单个目标图像块x，分类器的响应输出为



将HOG特征表达的图像样本xHOG和CN特征表达的图像样本xCN分别代入上式，求取各自相关滤波响应图，并得到各自最大响应值为RHOG和RCN；
步骤4：通过HOG和CN两种特征响应值的大小来对两种特征自适应分配权重，计算如式(2)所示：



根据各特征权重大小为CN特征和HOG特征分配的权重，对最终的目标跟踪结果进行加权融合，计算如式(3)所示：
R＝δRCN+(1-δ)RHOG(3)
其中δ∈[0,1]，若δ＝0，则代表该跟踪结果仅仅使用了HOG特征的跟踪结果；若δ＝1，则代表该跟踪结果仅仅使用了颜色特征的跟踪结果；
步骤5：提取多尺度图像块的HOG特征，使用这些多尺度图像块的HOG特征来训练核函数的最小二乘法分类器，获得一个一维的尺度跟踪器，最后寻找这个滤波器的最大的输出响应RS，用式(4)完成尺度的预测：



其中参数为学习参数，kS的元素xS是从第t-1帧学习的目标尺度模型，是从新一帧提取的样本；
步骤6：将目标的预测位置R和预测尺度RS结合，用矩形框标记出当前帧的目标；
步骤7：按照线性插值的方法更新平移滤波器和尺度滤波器，如下式(5)-(7)所示：









其中参数为学习参数，kj的元素为γ为自适应学习速率，为目标的预测值，λ为正则项系数；
步骤8：输入下一帧图像，按步骤1-7处理，最终实现目标跟踪。


2.如权利要...

【专利技术属性】
技术研发人员：唐晨，邱岳，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12