基于显著性感知和时空正则化的相关滤波跟踪方法技术

本发明专利技术提供了一种基于显著性感知和时空正则化的相关滤波跟踪方法，通过在目标函数中引入空间正则化和时间约束项，建立空间正则化和时间约束模型，然后转换到频域中，将转换后的模型分解为多个子问题，分别求解，获得优化后的模型，再获取目标区域的显著性图，将目标的显著性图融合到初始的空间正则化权重系数中，得到新的基于显著性感知的权重系数；根据优化后的模型学习到相关滤波器，利用相关滤波器对目标进行定位，并同时完成对目标的尺度估计；最后对模型参数进行更新，完成滤波跟踪，有助于增强模型的时间连续性和一致性，有效地减少边界效应，有效地提高跟踪性能和跟踪效率，使得跟踪器能够适应外观变化并抑制背景干扰。使得跟踪器能够适应外观变化并抑制背景干扰。使得跟踪器能够适应外观变化并抑制背景干扰。

【技术实现步骤摘要】
基于显著性感知和时空正则化的相关滤波跟踪方法


[0001]本专利技术涉及图像处理
，具体为一种基于显著性感知和时空正则化的相关滤波跟踪方法。

技术介绍

[0002]自Bolme等人提出的最小平方和滤波方法后，因为其速度快，方法性能优的特点，一系列的相应的改进方法被提出。Henriques等人利用循环矩阵性质，提出了一种基于核循环结构的目标跟踪方法(Circulant Structure Kernels,CSK)，紧接着又提出了一种核相关滤波器的跟踪方法(Kernel Correlation Filter,KCF)，使用循环移位矩阵增加训练样本，利用岭回归学习目标跟踪器，并将特征表示为多通道的形式。此后大部分基于相关滤波跟踪方法都以KCF为基本框架。传统的判别式相关滤波方法利用循环矩阵的性质获取训练样本，并通过快速傅里叶变换在频域中求解相关滤波模型。基于核相关滤波方法极大地提高了目标跟踪的速度，但由于基于核相关滤波方法的训练样本是通过对中心目标循环移位来获取，容易导致不期望的边界效应，产生一些非真实的样本，从而降低相关滤波器的判别性能。当目标出现快速移动或者背景干扰等因素时，跟踪器容易跟踪失败，大多数方法通过在处理特征图时加入余弦窗来弱化边界效应带来的影响，但余弦窗的作用有限，仅仅学习到部分前景信息而忽视了背景信息。现有技术中提出的SRDCF(Spatially Regularized Correlation Filters)在标准的DCF目标函数上提出了加入空间相关正则化组件的方法，通过利用正则化的稀疏特性，在频域中求解在最优化问题。尽管SRDCF能有效地抑制边界效应，但该方法主要问题是求解的计算量较大。由于空间正则项不能完美的利用传统的CF循环矩阵方法使得计算量变大，而且大型线性方程和高斯赛德尔求解十分耗时导致整体的计算量较大。BACF(Background
‑
Aware Correlation Filters)方法利用二值化的掩码矩阵作用于搜索样本，并利用密集采样可以得到真正的正负样本，减少循环移位带来的边界效应的影响，并且通过采用交替方向乘子法(ADMM，Alternating Direction Method of Multipliers)来交替优化求解目标函数，有效地解决了SRDCF方法的计算量过大的问题，但其未考虑时间的影响，性能一般。

技术实现思路

[0003]本专利技术目的在于提供一种基于显著性感知和时空正则化的相关滤波跟踪方法，以克服现有技术中相关滤波跟踪器存在边界效应的影响而导致在处理快速运动、较大形变时容易丢失目标的问题，有效地解决因目标区域变化过大导致当前帧和前一帧之间的滤波模板变化较大的问题，增强模型的时间连续性和一致性，有效地减少边界效应，提高跟踪性能，并且提高了跟踪效率，跟踪器能够适应外观变化并抑制背景干扰。
[0004]为实现上述目的，本专利技术提供如下技术方案：
[0005]基于显著性感知和时空正则化的相关滤波跟踪方法，包括以下步骤：
[0006]S1：构建空间正则化和时间约束模型；
[0007]S2：将空间正则化和时间约束模型转换到频域中，并对转换后的模型进行优化，将转换后的模型分解为多个子问题，分别对多个子问题求解，获得优化后的空间正则化和时间约束模型；
[0008]S3：获取目标的显著性图，根据目标的显著性图目标的原始权重系数，并将目标的显著性图融合到优化后的空间正则化和时间约束模型中，得到新的基于显著性感知的权重系数；
[0009]S4：根据优化后的空间正则化和时间约束模型预测目标位置，并同时完成对目标的尺度估计；
[0010]S5：根据优化后的空间正则化和时间约束模型、新的基于显著性感知的权重系数、目标定位和目标尺度估计对模型参数进行更新，从而对下一帧图像进行目标跟踪。
[0011]优选地，S1中构建的空间正则化和时间约束模型为：
[0012][0013]其中，为时间约束项，w为空间权重系数，x
k
表示在该区域提取的第k个通道的目标特征，k的取值为[1,K],K表示总的通道数，y表示高斯型的期望响应，y(j)表示y的第j个元素，h
k
表示第k个通道下的相关滤波器，表示前一帧中学习到的相关滤波器。是一个二值化掩码矩阵，表示从目标特征x
k
中裁剪大小为T
×
D的二值化矩阵，λ1分别为上式中的第二项空间正则化参数，β为时间约束项参数，[Δτ
j
]表示循环移位操作，x
k
[Δτ
j
]表示将第j步的离散循环移位操作于第k通道的特征x
k
，符号
T
为计算共轭转置。
[0014]优选地，S2中通过帕斯瓦尔理论将空间正则化和时间约束模型等价转换到频域中，并引入辅助变量进行求解。
[0015]优选地，S2中转换后的公式为：
[0016][0017][0018]其中，符号^表示某一信号离散傅里叶变换，w空间权重参数，h为向量，y表示高斯型的期望响应，X为大小为T
×
KT的矩阵，为一个二值化掩码矩阵F表示T
×
T的常数矩阵，为辅助变量。
[0019]优选地，S2中多个子问题为，向量h的求解问题，辅助向量的求解问题，拉格朗日乘子的更新问题。
[0020]优选地，向量h的求解公式为：
[0021][0022]其中，w空间权重参数，为拉格朗日乘子，F表示T
×
T的常数矩阵，为一个二值化掩码矩阵，为辅助变量，μ为正则化常数。
[0023]优选地，辅助向量的求解公式为：
[0024][0025]其中，X为大小为T
×
KT的矩阵，y表示高斯型的期望响应，β为时间约束项参数。
[0026]优选地，拉格朗日乘子的更新公式为：
[0027][0028]优选地，S3中目标权值系数获取具体为，首先采用显著性检测算法获得目标的显著性图，再将目标的显著性图融合到优化后的空间正则化和时间约束模型中，采用显著性图对原始权重系数进行正则化处理，得到新的目标权重系数。
[0029]优选地，S4中目标的定位方式为：
[0030][0031]其中，K表示特征图的通道数，表示频域中前一帧学习到的相关滤波器，x
k
表示在该区域提取的第k个通道的目标特征，F
‑1表示傅里叶逆变换。
[0032]与现有技术相比，本专利技术具有以下有益效果：本专利技术提供了一种基于显著性感知和时空正则化的相关滤波跟踪方法，通过引入时空正则化项，建立空间正则化和时间约束模型，然后将空间正则化和时间约束模型转换到频域中，将转换后的模型分解为多个子问题，分别对多个子问题求解，获得优化后的空间正则化和时间约束模型，再获取目标的显著性图，并将目标的显著性图融合到优化后的空间正则化和时间约束模型中，得到目标权重系数；根据优化后的空间正则化和时间约束模型，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于显著性感知和时空正则化的相关滤波跟踪方法，其特征在于，包括以下步骤：S1：构建空间正则化和时间约束模型；S2：将空间正则化和时间约束模型转换到频域中，并对转换后的模型进行优化，将转换后的模型分解为多个子问题，分别对多个子问题求解，获得优化后的空间正则化和时间约束模型；S3：获取目标的显著性图，根据目标的显著性图目标的原始权重系数，并将目标的显著性图融合到优化后的空间正则化和时间约束模型中，得到新的基于显著性感知的权重系数；S4：根据优化后的空间正则化和时间约束模型预测目标位置，并同时完成对目标的尺度估计；S5：根据优化后的空间正则化和时间约束模型、新的基于显著性感知的权重系数、目标定位和目标尺度估计对模型参数进行更新，从而对下一帧图像进行目标跟踪。2.根据权利要求1所述的基于显著性感知和时空正则化的相关滤波跟踪方法，其特征在于，S1中构建的空间正则化和时间约束模型为：其中，为时间约束项，w为空间权重系数，x
k
表示在该区域提取的第k个通道的目标特征，k的取值为[1,K],K表示总的通道数，y表示高斯型的期望响应，y(j)表示y的第j个元素，h
k
表示第k个通道下的相关滤波器，表示前一帧中学习到的相关滤波器，是一个二值化掩码矩阵，表示从目标特征x
k
中裁剪大小为T
×
D的二值化矩阵，λ1分别为上式中的第二项空间正则化参数，β为时间约束项参数，[Δτ
j
]表示循环移位操作，x
k
[Δτ
j
]表示将第j步的离散循环移位操作于第k通道的特征x
k
，符号
T
为计算共轭转置。3.根据权利要求1所述的基于显著性感知和时空正则化的相关滤波跟踪方法，其特征在于，S2中通过帕斯瓦尔理论将空间正则化和时间约束模型等价转换到频域中，并引入辅助...

【专利技术属性】
技术研发人员：刘利强，傅妍芳，冯恬恬，曹子建，沈超，秦茂源，胡智娟，叶昕，赵世峰，白小军，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：