一种复杂背景下的运动目标追踪方法技术

本发明专利技术公开了一种复杂背景下的运动目标追踪方法，针对传统的Meanshift等运动目标跟踪方法只通过追踪目标的颜色约束来实现对运动目标的跟踪，从而导致追踪精度较低这一问题，提出了一种复杂背景下的运动目标追踪方法。首先通过基于光流法获得Meanshift搜索窗口区域中的特征点信息；然后再根据Kalman滤波中的速度预估值剔除背景特征点信息，构建仅考虑待跟踪目标特征点的空间约束条件。最后将求得的空间约束结合传统Meanshift方法中的颜色约束，得到改进的反投影直方图，并将改进的反投影直方图作为Meanshift的概率密度图进行迭代，从而完成复杂背景下运动目标跟踪的过程。

【技术实现步骤摘要】

本专利技术涉及运动目标监控领域，具体涉及到一种复杂背景下的运动目标追踪方法。
技术介绍
目前，典型的运动目标跟踪定位方法有光流法、帧差法、粒子滤波法、Kalman滤波及Meanshift法等。其中，光流法与帧差法是基于物体的运动信息进行跟踪的，它们能同时跟踪所有前景目标，但无法实现目标选择性跟踪(只能跟踪全部的前景物体而无法针对具体运动目标)，且两种方法都极易受到背景变动的干扰；粒子滤波法则需要足够的粒子数目以保证方法的鲁棒性，这极大的增加了跟踪过程中的计算量；Kalman滤波法需要结合观测值得到最优更新，需要与其他方法联合使用，因此在自适应跟踪过程中通常作为辅助方法。Meanshift方法作为一种基于密度梯度的无参数估计跟踪方法，以其计算速度快、实时性好等特点得到了广泛的研究与应用，成为当前适用性最强的运动目标追踪方法。然而，传统的Meanshift方法是通过运动目标模型的色调特征这种单一约束条件来实现对运动目标的跟踪，当其应用于复杂背景下运动目标追踪过程中时，尤其当跟踪目标与背景的色调信息相近或者相同时，通常会由于背景区域与追踪目标区域具有过多相似的色调信息而造成跟踪目标丢失。
技术实现思路
本专利技术针对以上问题，提出了一种复杂背景下的运动目标追踪方法。首先通过基于光流法获得Meanshift搜索窗口区域中的特征点信息；然后再根据Kalman滤波中的速度预估值剔除背景特征点信息，构建仅考虑待跟踪目标特征点的空间约束条件。最后将求得的空间约束结合传统Meanshift方法中的颜色约束，得到改进的反投影直方图，并将改进的反投影直方图作为Meanshift的概率密度图进行迭代，从而完成复杂背景下运动目标跟踪的过程。为了解决上述技术问题，本专利技术提出以下技术方案：一种复杂背景下的运动目标追踪方法，包括以下步骤：步骤1：提取追踪目标的色调信息，包括：步骤1.1：在跟踪开始时，在初始帧中需通过机器或人工的方式辅助框选运动目标初始追踪窗口W1，并要求W1能将运动目标完全包含在窗内且窗口大小尽量与目标在初始帧图像中的大小相等；步骤1.2：在后续跟踪的过程中，应用前一帧(设为k-1帧)中的运动目标窗口Wk-1“覆盖”在第k帧图像中的同样位置，并在“覆盖”位置处统计窗口内的色调直方图；步骤1.3：基于统计出的色调直方图对第k帧图像反投影，生成反投影图以寻找第k帧图像中与Wk-1色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0；步骤2：追踪目标的特征点信息提取，包括：步骤2.1：通过Kalman滤波预估第k帧目标追踪窗口的位置，并根据与Wk-1的相对位置以计算并预估追踪目标的位移、速度等参数；再根据预估参数扩展第k帧中的目标追踪窗口Wk-1，获得第k帧中被扩展目标的追踪窗口步骤2.2：进一步提取中目标角点、边缘点等强特征点，标记为1，并将剩余的追踪目标特征点通过二值化、膨胀处理等方式以生成追踪目标特征点信息图步骤3：复杂背景下的运动目标追踪，包括：步骤3.1：将步骤1中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，结果使两图中同标记为1的像素点标记值仍为1，其余像素点标记为0，则生成了新的反投影图；步骤3.2：根据新的反投影图对目标追踪窗口Wk-1进行Meanshift迭代，直至目标追踪窗口Wk-1运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口即为第k帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，即第k帧中的目标追踪窗口Wk；步骤3.3：将第k帧目标追踪窗口Wk应用于第k+1帧的目标追踪过程中，重复步骤1至步骤3，依此类推，直至追踪视频结束。步骤1具体还包括以下步骤：1)在计算目标追踪窗口内的色调直方图的过程中，为防止变化光照的干扰，只统计窗口内饱和度值大于65且亮度值处于[50255]区间的像素点的色调值；2)为了使色调直方图的面积和为1，需对色调直方图进行归一化处理。步骤2具体还包括以下步骤：1)选取追踪目标的位移、速度参数作为Kalman滤波的输出参数，而由于当前帧的目标追踪窗口W完全包含追踪目标做整体平动，故可以以追踪窗口W中心点P的位移、速度表示追踪目标的位移、速度；2)Kalman滤波通过预估的第k帧(目标追踪窗口Wk)中心点Pk′的位移、速度参数以及观测的第k帧(目标追踪窗口)中心点P″的位移、速度参数相融合以求取最终第k帧(目标追踪窗口Wk)中心点Pk的位移、速度参数Xk＝(xk,yk,υkx,υky)，其中xk,yk,υkx,υky分别表示Pk横、纵坐标方向的位移及速度；3)Kalman滤波通过第k-1帧中心点Pk-1的位移、速度参数以修正Kalman滤波内部的运动模型，再通过此修正过的运动模型以预估第k帧预估的中心点Pk′的位移、速度参数。其中，令匀速直线运动模型为Kalman滤波初始帧中的运动模型；初始帧中Kalman滤波的位移、速度参数为X1＝(0,0,υx1,υy1)，υx1与υy1由人工选定；4)由于第k帧中追踪目标的位置发生了变化，故第k-1帧中的目标追踪窗口Wk-1应用在第k帧中时，很可能无法完全包含整个追踪目标。故为了使目标追踪窗口Wk-1能够完全包含追踪目标，就需要根据公式(1)对其进行扩展：Wk-1Gx=Wk-1x-2|υkx|Wk-1Gy=Wk-1y-2|υky|Wk-1GM=Wk-1M+2|υkx|Wk-1GN=Wk-1N+2|υky|---(1)]]>其中，为Wk-1的扩展窗口，分别为第k帧中扩展窗口左上角的坐标以及其宽度、高度，(Wk-1x,Wk-1y)、Wk-1M、Wk-1N分别为Wk-1左上角的坐标以及其宽度、高度；5)求取在第k-1帧中检测窗口所得到的特征点以及在第k帧中检测窗口所得到的特征点，通过光流法对这两帧中的特征点进行匹配，以找出相匹配的特征点；6)由于背景特征点与追踪目标特征点的速度不同，又已知Kalman滤波预估的追踪目标速度参数，故可根据公式(2)排除第k帧中窗口的背景特征点：2|υkx|>p[k,i,x]-p[k-1,i,x]>υkx/22|υky|>p[k,i,y]-p[k-1,i,y]>υky/2---(2)]]>其中，p[k-1,i,x]与p[k-1,i,y]分别表示第k-1帧中第i个目标特征点的横、纵坐标值，p[k,i,x]与p[k,i,y]分别表示第k帧中第i个目标特征点的横、纵坐标值。公式(2)在初始帧之后才开始运行。步骤3具体还包括以下步骤：在对目标追踪窗口Wk-1进行Meanshift迭代以生成第k帧中Kalman滤波的观测窗口的过程中，为了防止Meanshift方法出现较大误差导致生成的观测窗口最终跟丢追踪目标，需使窗口满足公式(3)：if(W^kx-Wk-1x)2+(W^ky-Wk-1y)2≥10(υkx+υky)W^kx=Wk-1x+υkx,W^ky=Wk-1y+υkxe本文档来自技高网...

【技术保护点】
一种复杂背景下的运动目标追踪方法，其特征在于，包括以下步骤：步骤1：提取追踪目标的色调信息，包括：步骤1.1：在跟踪开始时，在初始帧中需要通过机器或人工的方式辅助框选运动目标初始追踪窗口W1，并要求W1能将运动目标完全包含在窗内且窗口大小尽量与目标在初始帧图像中的大小相等；步骤1.2：在后续跟踪的过程中，应用前一帧(设为k‑1帧)中的运动目标窗口Wk‑1“覆盖”在第k帧图像中的同样位置，并在“覆盖”位置处统计窗口内的色调直方图；步骤1.3：基于统计出的色调直方图对第k帧图像反投影，生成反投影图以寻找第k帧图像中与Wk‑1色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0；步骤2：追踪目标的特征点信息提取，包括：步骤2.1：通过Kalman滤波预估第k帧目标追踪窗口的位置，并根据与Wk‑1的相对位置以计算并预估追踪目标的位移、速度等参数；再根据预估参数扩展第k帧中的目标追踪窗口Wk‑1，获得第k帧中被扩展目标的追踪窗口步骤2.2：进一步提取中目标角点、边缘点等强特征点，标记为1，并将剩余的追踪目标特征点通过二值化、膨胀处理等方式以生成追踪目标特征点信息图步骤3：复杂背景下的运动目标追踪，包括：步骤3.1：将步骤1中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，结果使两图中同标记为1的像素点标记值仍为1，其余像素点标记为0，则生成了新的反投影图；步骤3.2：根据新的反投影图对目标追踪窗口Wk‑1进行Meanshift迭代，直至目标追踪窗口Wk‑1运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口即为第k帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，即第k帧中的目标追踪窗口Wk；步骤3.3：将第k帧目标追踪窗口Wk应用于第k+1帧的目标追踪过程中，重复步骤1至步骤3，依此类推，直至追踪视频结束。...

【技术特征摘要】
1.一种复杂背景下的运动目标追踪方法，其特征在于，包括以下步骤：步骤1：提取追踪目标的色调信息，包括：步骤1.1：在跟踪开始时，在初始帧中需要通过机器或人工的方式辅助框选运动目标初始追踪窗口W1，并要求W1能将运动目标完全包含在窗内且窗口大小尽量与目标在初始帧图像中的大小相等；步骤1.2：在后续跟踪的过程中，应用前一帧(设为k-1帧)中的运动目标窗口Wk-1“覆盖”在第k帧图像中的同样位置，并在“覆盖”位置处统计窗口内的色调直方图；步骤1.3：基于统计出的色调直方图对第k帧图像反投影，生成反投影图以寻找第k帧图像中与Wk-1色调信息相似的物体，将这些色调信息相似的物体标记为1，色调信息不相似的物体标记为0；步骤2：追踪目标的特征点信息提取，包括：步骤2.1：通过Kalman滤波预估第k帧目标追踪窗口的位置，并根据与Wk-1的相对位置以计算并预估追踪目标的位移、速度等参数；再根据预估参数扩展第k帧中的目标追踪窗口Wk-1，获得第k帧中被扩展目标的追踪窗口步骤2.2：进一步提取中目标角点、边缘点等强特征点，标记为1，并将剩余的追踪目标特征点通过二值化、膨胀处理等方式以生成追踪目标特征点信息图步骤3：复杂背景下的运动目标追踪，包括：步骤3.1：将步骤1中的色调反投影图与步骤2中的特征点信息图做逻辑与运算，结果使两图中同标记为1的像素点标记值仍为1，其余像素点标记为0，则生成了新的反投影图；步骤3.2：根据新的反投影图对目标追踪窗口Wk-1进行Meanshift迭代，直至目标追踪窗口Wk-1运动至完全捕捉到追踪目标的位置，此时的目标追踪窗口即为第k帧中Kalman滤波的观测窗口将预估窗口与观测窗口根据一定的权重进行融合，即可得到Kalman滤波的状态窗口，即第k帧中的目标追踪窗口Wk；步骤3.3：将第k帧目标追踪窗口Wk应用于第k+1帧的目标追踪过程中，重复步骤1至步骤3，依此类推，直至追踪视频结束。2.根据权利要求1所述的一种复杂背景下的运动目标追踪方法，其特征在于，步骤1具体还包括以下步骤：1)在计算目标追踪窗口内的色调直方图的过程中，为防止变化光照的干扰，只统计窗口内饱和度值大于65且亮度值处于[50255]区间的像素点的色调值；2)为了使色调直方图的面积和为1，需对色调直方图进行归一化处理。3.根据权利要求1所述的一种复杂背景下的运动目标追踪方法，其特征在于，步骤2具体还包括以下步骤：1)选取追踪目标的位移、速度参数作为Kalman滤波的输出参数，而由于当前帧的目标追踪窗口W完全包含追踪目标做整体平动，故可以以追踪窗口W中心点P的位移、速度表示追踪目标的位移、速度；2)Kalman滤波通过预估的第k帧(目标追踪窗口Wk)中心点P′k的位移、速度参数以及观测的第k帧(目标追踪窗口)中心点P″的位移、速度参数相融合以求取最终第k帧(目标追踪窗口Wk)中心点Pk的位移、速度参...

【专利技术属性】
技术研发人员：陈从平，黄正，李波，吴喆，陈法法，李林波，聂葳，
申请(专利权)人：三峡大学，
类型：发明
国别省市：湖北;42