视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法技术

本发明专利技术公开了一种视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法。其特征是在目标跟踪过程中，根据运动学原理和目标自身的运动规律建立运动模型对下一帧图像中的目标位置进行预测，以预测的结果作为对下一帧目标的搜索中心；同时考虑到实际目标在运动过程中具有一定的不确定或随机性，根据目标跟踪过程中所求取的目标运动状态估计出随机运动的方差参数，进而利用所提取出来的方差参数自适应地调整目标搜索范围，从而可以提高目标搜索的效率，得到更为可靠的跟踪结果。在目标匹配中，采用双重匹配融合的方法对目标进行匹配，以此来进一步提升对所跟踪目标的匹配精度和对不同视频情况的适应性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特指在视频目标跟踪中一种目标位置预测、搜索范围自适应调整及双重匹配融合的方法。
技术介绍
目标跟踪是计算机视觉领域的一个重要研究课题，是进一步分析运动行为的基础，例如，视频监控，智能交通，运动行为分析等。近年来已提出了许多卓有成效的目标跟踪算法，在该领域取得了很大进展。但在面对背景复杂、光照变化和目标运动变化快的视频序列时，经常出现跟踪精度下降、跟踪错误、甚至丢失目标的现象。因此，如何对现有的视频目标跟踪方法进行改进，实现精确可靠的视频目标跟踪仍然是一个富有挑战性和需要深入进行研究的课题。视频目标跟踪主要是监测视频序列中目标的位置变化(主要为目标中心位置的变化)和形状的变化，方法的关键是在新的一帧图像中搜寻到目标的位置与形态的变化。现有文献中的目标跟踪方法，多数是以前一帧目标的匹配位置为中心、以事前预定的常数为方差按高斯分布产生的随机位置在新的一帧中对目标进行搜索(以随机仿射变换的形状进行匹配)，这对于目标运动速度变化较大的视频序列，不得不通过选择一个较大的方差来扩大搜索范围以保证所要跟踪的目标不至于落在搜索范围之外，并且始终在这样大的范围内进行搜索。由此会使目标搜索的效率很低，使得跟踪精度受限。针对此问题，Lao等(Lao Y.,Zhu J.and Zheng Y.F.:Sequential particle generation for visual tracking.IEEE Trans.Circuits and Systems for Video Technology,19(9):1365-1378,Sep.2009)提出在粒子滤波过程中通过利用已获得的当前帧(第k-1帧)和前一帧(第k-2帧)目标的位置之差来作为运动速度的估值进一步利用对第k帧的目标位置进行预测其中uk为满足高斯分布的白噪声uk～N(0,∑k)，对角矩阵∑k中的主元素作为搜索区间的长轴，短轴取为λ2＝γρk，其中γ为(0,1)的常数用于调整长短轴之间的比例。该方法能够适应目标运动速度较快的情况，而且在搜索范围上对不同的视频序列都有较好的适应性。但该方法仍然需要根据经验(或先验知识)事先选定常数γ，该参数的选取对目标搜索效率和精度产生人为因素的影响；此外，该方法没有考虑加速度的影响，因而在运动速度变化比较显著的情况下，跟踪效果不够理想。Cheng等(Cheng X.,Shiina Y.,Zhuang X.and Ikenaga T.:Player tracking using prediction after intersection based particle filter for volleyball match video.2014Asia-Pacific Signal Processing Association Annual Summit and Conference,Feb.2014)提出按公式对目标位置进行预测和随机搜索，其中为对目标搜索区域中心位置的预测，预测公式为(其中a1,a2为预先选定的常数，x0为目标的初始位置，xk-i为在第k-i帧时所得到的最佳匹配目标的中心位置)，N(0,1)表示均值为0方差为1的高斯随机数，B为事先选定的常数。该方法应用在排球选手目标跟踪过程中取得了比较显著的改进效果。但该方法仍然需要根据经验(或先验知识)事先选定常数a1,a2来实现目标位置的预测，依靠先验知识选定常数B来确定目标搜索范围，因此同样存在对难以适合不同的视频应用场合的问题。Wang等(D.Wang,H.Lu,M.-H.Yang.Online object tracking with sparse prototypes.IEEE Transactions on Image Processing,2013,22(1):314-325)将目标模板的主成分分量(PCA:Principal Component Analysis)基向量作为字典中的原子，通过主成分特征提取能够较好描述全局性特征，在跟踪精度上有一定提高。现有文献中的目标跟踪方法，在对跟踪目标进行匹配时，仅采用一种匹配方法，使得对不同的视频条件的适应能力不强。针对上述这些不足之处，本专利技术提出相应的改进措施，以有效地提高视频跟踪方法对运动目标的定位精度和在不同视频情况下的适应能力。
技术实现思路
本专利技术以现有的典型高性能视频目标跟踪方法为基础，针对其存在的不足之处，提出相应的改进方法：在目标跟踪过程中，根据运动学原理和目标自身的运动规律建立运动模型对目标位置的变化进行预测，以预测的结果作为对下一帧目标的搜索中心，由此可以使搜索中心更加接近实际的目标位置；同时考虑到运动过程所具有的不确定或随机性，通过再对目标跟踪过程中所获得的运动状态估计出随机运动的方差参数，进而利用所提取出来的方差参数自适应地调整目标搜索范围，从而可以提高目标搜索的效率，得到更为可靠的跟踪结果。在目标匹配中，采用双重匹配融合的方法对目标进行匹配，以此来进一步提升对所跟踪目标的匹配精度和对不同视频情况的适应性。本专利技术的视频目标跟踪中一种目标位置预测、搜索范围自适应调整及双重匹配融合的方法，采用的技术方案，具体如下：1.视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法，其特征在于如下步骤：步骤1：建立目标位置的预测模型，在跟踪过程中以对目标位置的预测值为中心对下一帧目标进行搜索。设在第1帧由人工标定运动目标和已知其目标中心位置的坐标为(x1,y1)，并设现已得到了第k帧目标中心位置的坐标为(xk,yk),k≥1，其中xk和yk分别为目标中心位置的横、纵坐标值；下一时刻的目标位置的横坐标xk+1与当前时刻xk的关系表示为： x k + 1 = x k + v x , k + 1 2 a x , k + n x , k - - - ( 1 ) ]]>其中vx,k,ax,k分别为k时刻目标在x方向上的运动速度和加速度，nx,k为k时刻运动状态在x方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布；下一时刻的目标位置的纵坐标yk+1与当前时刻yk的关系表示为： y k + 1 = y k + v y , k + 1 2 a 本文档来自技高网...

【技术保护点】
视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法，其特征在于如下步骤：步骤1：建立目标位置的预测模型，在跟踪过程中以对目标位置的预测值为中心对下一帧目标进行搜索；设在第1帧由人工标定运动目标和已知其目标中心位置的坐标为(x1,y1)，并设现已得到了第k帧目标中心位置的坐标为(xk,yk),k≥1，其中xk和yk分别为目标中心位置的横、纵坐标值；下一时刻的目标位置的横坐标xk+1与当前时刻xk的关系表示为：xk+1=xk+vx,k+12ax,k+nx,k---(1)]]>其中vx,k,ax,k分别为k时刻目标在x方向上的运动速度和加速度，nx,k为k时刻运动状态在x方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布；下一时刻的目标位置的纵坐标yk+1与当前时刻yk的关系表示为：yk+1=yk+vy,k+12ay,k+ny,k---(2)]]>其中vy,k,ay,k分别为k时刻目标在y方向上的运动速度和加速度，ny,k为k时刻运动状态在y方向上的随机变化量，并且假设ny,k满足均值为0方差为的高斯分布；对于目标在k时刻的速度和加速度vx,k,ax,k，根据跟踪过程所获取的目标运动状态来求取：vx,k＝Δxk/Δtk＝xk‑xk‑1，    (3)ax,k＝Δvx,k/Δtk＝(vx,k‑vx,k‑1)＝xk‑2xk‑1+xk‑2    (4)得到对下一时刻目标中心位置横坐标xk+1的预测模型为：x‾k+1|k=52xk-2xk-1+12xk-2---(5)]]>对下一时刻目标中心位置纵坐标yk+1的预测模型为：y‾k+1|k=52yk-2yk-1+12yk-2---(6)]]>根据上面推导出来的预测模型(5)和(6)求出下一帧目标中心位置的预测值将预测值作为对下一帧目标的搜索中心；步骤2：求取模型(1)和(2)中随机噪声nx,k和ny,k的方差(和)的估值，据此自适应地调整目标的搜索范围；步骤2.1：估计模型(1)和(2)中随机噪声nx,k和ny,k的方差(和)：σ^x,k2=1LΣl=k+1-Lk(x‾l|l-1-xl)2,σ^y,k2=1LΣl=k+1-Lk(y‾l|l-1-yl)2---(7)]]>其中L为估计这两个方差参数时所取的帧数；和为在目标跟踪过程中分别利用式(5)和(6)求出的在l‑1时刻对l时刻的目标中心点位置的预测值，xl和yl分别为l时刻目标中心点的真实位置；步骤2.2:确定目标的搜索范围步骤2.2.1:以第一步中求得的预测值作为随机粒子分布的中心点位置；步骤2.2.2:以步骤2.1中求得的方差作为随机粒子分布的方差即：σp,x=σ^x,k,σp,y=σ^y,k---(8)]]>以(σp,x,σp,y)作为度量参数来确定目标的搜索范围：分别以正态分布N和产生一对随机数(x′k+1,i,y′k+1,i)作为下帧目标的一个候选搜索位置(i＝1,2,...,M)；目标搜索范围即是以(3σp,x,3σp,y)为长短轴的椭圆范围内；当σp,x≥σp,y，σp,x为长轴；反之，σp,x为短轴；步骤2.2.3：将目标位置预测和自适应调整搜索范围的方法与仿射变换相结合，应用到仿射变换中，确定出下一帧的候选目标的形状和所处区间；采用下式描述的仿射变换来确定该候选目标的形状和各点的坐标值：x^k+1,iy^k+1,i=cos(θ)-sin(θ)sin(θ)cos(θ)1sxy011+ax001+ayΔxkΔyk+xk+1,i′yk+1,i′,(i=1,..,M)---(9)]]>其中(Δxk,Δyk)为第k帧求出的最佳匹配目标上任意点的坐标值经过与第k帧预测中心坐标相减后的结果，(x′k+1,i,y′k+1,i)为在第(2.2.2)步中所产生的第i个随机粒子的坐标；ax,ay,sxy及θ均是按高斯分布N(0,ε2)产生的随机数，其中ε是在(0,0.05)区间选择的常数；重复该步骤产生M个的候选目标区，以备在步骤3中逐个与目标模板进行匹配，遴选出最优的候选目标作为对第k+1帧目标的跟踪结果；步骤3：采用双重匹配融合的方法对目标进行匹配，进一步提升对目标的匹配精度和对不同视频情况的适应性；步骤如下：步骤3.1：按照主成份分析(PCA)稀疏表示方法来确定匹配目标，求出该方法的最终匹配目标的坐标值包括下述步骤：步骤3.1.1：构造字典；将视频序列前N帧人工标注的运动目标区中的各个目标区归一化为32×32像素的矩形区域并将该区内的像素表达成列向量，构建出一...

【技术特征摘要】
1.视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法，其特征在于如下步骤：步骤1：建立目标位置的预测模型，在跟踪过程中以对目标位置的预测值为中心对下一帧目标进行搜索；设在第1帧由人工标定运动目标和已知其目标中心位置的坐标为(x1,y1)，并设现已得到了第k帧目标中心位置的坐标为(xk,yk),k≥1，其中xk和yk分别为目标中心位置的横、纵坐标值；下一时刻的目标位置的横坐标xk+1与当前时刻xk的关系表示为： x k + 1 = x k + v x , k + 1 2 a x , k + n x , k - - - ( 1 ) ]]>其中vx,k,ax,k分别为k时刻目标在x方向上的运动速度和加速度，nx,k为k时刻运动状态在x方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布；下一时刻的目标位置的纵坐标yk+1与当前时刻yk的关系表示为： y k + 1 = y k + v y , k + 1 2 a y , k + n y , k - - - ( 2 ) ]]>其中vy,k,ay,k分别为k时刻目标在y方向上的运动速度和加速度，ny,k为k时刻运动状态在y方向上的随机变化量，并且假设ny,k满足均值为0方差为的高斯分布；对于目标在k时刻的速度和加速度vx,k,ax,k，根据跟踪过程所获取的目标运动状态来求取：vx,k＝Δxk/Δtk＝xk-xk-1， (3)ax,k＝Δvx,k/Δtk＝(vx,k-vx,k-1)＝xk-2xk-1+xk-2 (4)得到对下一时刻目标中心位置横坐标xk+1的预测模型为： x ‾ k + 1 | k = 5 2 x k - 2 x k - 1 + 1 2 x k - 2 - - - ( 5 ) ]]>对下一时刻目标中心位置纵坐标yk+1的预测模型为： y ‾ k + 1 | k = 5 2 y k - 2 y k - 1 + 1 2 y k - 2 - - - ( 6 ) ]]>根据上面推导出来的预测模型(5)和(6)求出下一帧目标中心位置的预测值将预测值作为对下一帧目标的搜索中心；步骤2：求取模型(1)和(2)中随机噪声nx,k和ny,k的方差(和)的估值，据此自适应地调整目标的搜索范围；步骤2.1：估计模型(1)和(2)中随机噪声nx,k和ny,k的方差(和)： σ ^ x , k 2 = 1 L Σ l = k + 1 - L k ( x ‾ l | l - 1 - x l ) 2 , σ ^ y , k 2 = 1 L Σ l = k + 1 - L k ( y ‾ l | l - 1 - y l ) 2 - - - ( 7 ) ]]>其中L为估计这两个方差参数时所取的帧数；和为在目标跟踪过程中分别利用式(5)和(6)求出的在l-1时刻对l时刻的目标中心点位置的预测值，xl和yl分别为l时刻目标中心点的真实位置；步骤2.2:确定目标的搜索范围步骤2.2.1:以第一步中求得的预测值作为随机粒子分布的中心点位置；步骤2.2.2:以步骤2.1中求得的方差作为随机粒子分布的方差即： σ p , x = σ ^ x , k , σ p , y = σ ^ y , k - - - ( 8 ) ]]>以(σp,x,σp,y)作为度量参数来确定目标的搜索范围：分别以正态分布N和产生一对随机数(x′k+1,i,y′k+1,i)作为下帧目标的一个候选搜索位置(i＝1,2,...,M)；目标搜索范围即是以(3σp,x,3σp,y)为长短轴的椭圆范围内；当σp,x≥σp,y，σp,x为长轴；反之，σp,x为短轴；步骤2.2.3：将目标位置预测和自适应调整搜索范围的方法与仿射变换相结合，应用到仿射变换中，确定出下一帧的候选目标的形状和所处区间；采用下式描述的仿射变换来确定该候选目标的形状和各点的坐标值： x ^ k + 1 , i y ^ k + 1 , i = c o s ( θ ) - s i n ( θ ) s i n ( θ ) cos ( θ ) 1 s x y 0 1 1 + a x 0 0 1 + a y Δx k Δy k + x k +...

【专利技术属性】
技术研发人员：郭成安，梁志达，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21