一种抗遮挡红外目标跟踪方法技术

本发明专利技术公开了一种抗遮挡红外目标跟踪方法，解决姿态变化，遮挡等复杂环境下目标长时跟踪的问题，属于目标跟踪技术及计算机视觉领域。本发明专利技术读取红外图像序列，在初始帧图像中框选目标，得到目标的中心位置和大小，将初始帧图像中的目标作为模板，获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板，根据模板的大小和细胞单元尺寸得到二维余弦窗；基于方向梯度直方图和哈尔提取模板的特征并线性融合，初始化或更新目标模型与目标回归系数，再基于各帧图像中的搜索框得到多层核相关滤波响应图集合进行后续目标跟踪。本发明专利技术用于红外图像目标跟踪。

An Anti-occlusion Infrared Target Tracking Method

【技术实现步骤摘要】
一种抗遮挡红外目标跟踪方法
一种抗遮挡红外目标跟踪方法，用于红外图像目标跟踪，属于目标跟踪技术及计算机视觉领域。
技术介绍
一直以来，目标跟踪在军事民用都得到很大应用，如今，以摄像头为主的各种监控设备已经遍布许多重要场所，如机场，商场，工厂，学校等，为预防和解决安全问题提供重要作用，但传统的监控系统仍有一定缺陷，如受姿态变化、目标遮挡、运动模糊、尺度变换，脱离视野等影响大，在以上复杂环境中，由于目标的剧烈形变或被遮挡，目前仍没有很好的算法可以自动完成感兴趣人物的跟踪，必须借助人工的力量。目前目标跟踪方法主要有基于区域信息，如模板匹配方法，简单准确速度快但不能适应目标剧烈形变等复杂环境，此种情况下易造成目标丢失；基于模型信息，通过建立目标的几何模型，再对模型进行搜索，这种方法也很难解决遮挡问题，且在红外环境中缺乏颜色信息抗遮挡能力更弱；基于贝叶斯框架，即在捕捉到目标初始状态和通过特征提取的目标特征基础上，进行一种时空结合的目标状态估计，可用于被遮挡情况下的目标位置估计，但算法复杂度较高；基于深度学习类方法具有良好鲁棒性但容易出现数据缺失问题，且网络训练速度难以达到实时性要求；基于相关滤波，这类方法速度快，其中，KCF滤波具有快速、精确度高的特点，相比较Struck和TLD等跟踪算法，其跟踪速度提高近10倍，相比较OBT50精确度为43.1％的MOSSE算法，又具有极高的精确度，在使用HOG特征的情况下精确度可达73.2％。针对复杂情况下的红外成像目标跟踪受目标变化以及外界环境影响很难保证跟踪准确度，找到一种抗遮挡的长时跟踪算法是目前急需解决的问题。而现有的一些基于核相关滤波的改进算法在一定程度上解决了跟踪过程中目标被遮挡导致跟踪失败的问题。不考虑目标尺度发生很大变化时，即在受遮挡情况下，该类算法仍可在很大程度上准确完成搜索区域与目标的匹配，实现目标跟踪，但如果考虑目标尺度发生很大变化时，在受遮挡情况下，就容易造成跟踪失败的问题。
技术实现思路
针对上述研究的问题，本专利技术的目的在于提供一种抗遮挡红外目标跟踪方法，解决现有技术中的采用的目标跟踪方法，受遮挡影响，容易造成跟踪失败的问题。为了达到上述目的，本专利技术采用如下技术方案：一种抗遮挡红外目标跟踪方法，包括如下步骤：S1：读取红外图像序列，在初始帧图像中框选目标，得到目标的中心位置和大小，将初始帧图像中的目标作为模板，获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板；S2：根据模板的大小和细胞单元尺寸得到二维余弦窗；S3：基于方向梯度直方图和哈尔提取模板的特征并线性融合，对线性融合后的特征加二维余弦窗获得融合特征，再基于融合特征计算得到目标回归系数，若目标回归系数为第二帧图像计算所得，用目标回归系数初始化目标模型与目标回归系数，若目标回归系数为最后一帧图像计算所得，不作处理，否则更新目标模型和目标回归系数；S4：以当前帧图像的模板中心为搜索框中心位置确定当前帧图像的搜索框；S5：基于模板大小，在当前帧图像中的搜索框中进行遍历，得到待匹配区域集合，再基于待匹配区域集合得到多个待匹配区域对应的融合特征，基于融合特征及对应的目标模型和目标回归系数，计算各待匹配区域对应的多层核相关滤波响应图，即得到多层核相关滤波响应图集合；S6：判断多层核相关滤波响应图集合中的最大响应值是否大于等于给定的第一阈值，若大于，转到步骤S7，否则转到S8；S7：以最大响应值的横纵坐标计算当前帧图像的目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧图像的目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；S8：模板不更新，用Kalman滤波预测当前帧图像中的目标状态，得到预测坐标，以预测坐标为中心，取大小与模板大小一致的区域与当前帧图像实际匹配得到的目标区域加权作为当前帧图像的匹配结果，其中，目标区域为以上一帧目标的中心位置或以最大响应值的横纵坐标为中心，大小与模板大小一致的区域，以匹配结果的中心位置为中心，取匹配结果3倍大小作为搜索框遍历得到待匹配区域集合，提取待匹配区域集合中各待匹配区域的方向梯度直方图和哈尔特征，得到对应融合特征，再基于各融合特征得到多层核相关滤波响应图集合：若多层核相关滤波响应图集合中最大响应值大于等于给定的第二阈值，以最大值的横纵坐标更新目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；若多层核相关滤波响应图集合中最大响应值低于给定的第二阈值，若当前帧图像为最后一帧则结束跟踪，否则，读取下一帧图像作为当前帧，转到步骤S8。进一步，所述步骤S1的具体步骤如下：读取红外图像序列，在初始帧图像中框选目标，记录目标的中心位置和大小，利用初始帧图像中框选的目标作为模板，其中，模板的中心位置和大小即为目标的中心位置和大小；获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板。进一步，所述步骤S2的具体步骤如下：S2.1：根据模板的大小target_sz，确定搜索框，搜索框的大小为window_sz＝target_sz*(1+padding)，其中，padding为确定搜索框大小与目标大小的比例；S2.2：根据给定的细胞单元尺寸cell_size、模板的大小target_sz和搜索框的大小window_sz确定特征回归标签yf，再基于特征回归标签yf得到二维余弦窗cos_window；具体步骤如下：S2.2.1：根据模板的大小target_sz和细胞单元cell_size大小计算高斯回归标签的带宽σ，公式如下：式中，w和h为模板的宽和高，a为空间带宽，与目标大小成比例；S2.2.2：根据高斯回归标签的带宽σ和搜索框的大小window_sz，计算回归标签yf，计算公式如下：其中，m、n分别为的第一项和第二项，计算得到y′后，循环移位使回归标签峰值移到左上角得到y，然后进行傅里叶变换，得到回归标签yf；S2.2.3：根据回归标签yf的大小利用hann函数计算，得到二维余弦窗cos_window；进一步，所述步骤S3的具体步骤如下：S3.1：基于HOG和Haar提取模板mt的特征并线性融合，对线性融合后的特征加二维余弦窗cos_window，获得融合特征，其中，Haar为哈尔，HOG为方向梯度直方图；S3.2：根据融合特征g得到目标回归系数；S3.3：若当前帧图像为第二帧图像，转到步骤S3.4，若为最后一帧图像，不做处理，否则转到步骤S3.6；S3.4：目标跟踪第二帧图像时，利用当前帧图像的频域的融合特征xf，初始化目标模型modle_xf，即其中，t表示第二帧图像，表示频域的融合特征xf，表示目标模型modle_xf；S3.5：目标跟踪第二帧图像时，利用当前帧图像的目标回归系数α，初始化目标回归系数modle_α，即其中，t表示第二帧图像，表示目标回归系数α，表示目标回归系数modle_α；S3.6：目标跟踪第三帧或第三帧之后的图像时，通过线性插值更新目标模型modle_xf，即其中，η为给定的学习率，为当前帧图像的目标模型，为前一帧图像的目标模型，得到更新后的即为更新后本文档来自技高网...

【技术保护点】
1.一种抗遮挡红外目标跟踪方法，其特征在于，包括如下步骤：S1：读取红外图像序列，在初始帧图像中框选目标，得到目标的中心位置和大小，将初始帧图像中的目标作为模板，获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板；S2：根据模板的大小和细胞单元尺寸得到二维余弦窗；S3：基于方向梯度直方图和哈尔提取模板的特征并线性融合，对线性融合后的特征加二维余弦窗获得融合特征，再基于融合特征计算得到目标回归系数，若目标回归系数为第二帧图像计算所得，用目标回归系数初始化目标模型与目标回归系数，若目标回归系数为最后一帧图像计算所得，不作处理，否则更新目标模型和目标回归系数；S4：以当前帧图像的模板中心为搜索框中心位置确定当前帧图像的搜索框；S5：基于模板大小，在当前帧图像中的搜索框中进行遍历，得到待匹配区域集合，再基于待匹配区域集合得到多个待匹配区域对应的融合特征，基于融合特征及对应的目标模型和目标回归系数，计算各待匹配区域对应的多层核相关滤波响应图，即得到多层核相关滤波响应图集合；S6：判断多层核相关滤波响应图集合中的最大响应值是否大于等于给定的第一阈值，若大于，转到步骤S7，否则转到S8；S7：以最大响应值的横纵坐标计算当前帧图像的目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧图像的目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；S8：模板不更新，用Kalman滤波预测当前帧图像中的目标状态，得到预测坐标，以预测坐标为中心，取大小与模板大小一致的区域与当前帧图像实际匹配得到的目标区域加权作为当前帧图像的匹配结果，其中，目标区域为以上一帧目标的中心位置或以最大响应值的横纵坐标为中心，大小与模板大小一致的区域，以匹配结果的中心位置为中心，取匹配结果3倍大小作为搜索框遍历得到待匹配区域集合，提取待匹配区域集合中各待匹配区域的方向梯度直方图和哈尔特征，得到对应融合特征，再基于各融合特征得到多层核相关滤波响应图集合；若多层核相关滤波响应图集合中最大响应值大于等于给定的第二阈值，以最大值的横纵坐标更新目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；若多层核相关滤波响应图集合中最大响应值低于给定的第二阈值，若当前帧图像为最后一帧则结束跟踪，否则，读取下一帧图像作为当前帧，转到步骤S8。...

【技术特征摘要】
1.一种抗遮挡红外目标跟踪方法，其特征在于，包括如下步骤：S1：读取红外图像序列，在初始帧图像中框选目标，得到目标的中心位置和大小，将初始帧图像中的目标作为模板，获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板；S2：根据模板的大小和细胞单元尺寸得到二维余弦窗；S3：基于方向梯度直方图和哈尔提取模板的特征并线性融合，对线性融合后的特征加二维余弦窗获得融合特征，再基于融合特征计算得到目标回归系数，若目标回归系数为第二帧图像计算所得，用目标回归系数初始化目标模型与目标回归系数，若目标回归系数为最后一帧图像计算所得，不作处理，否则更新目标模型和目标回归系数；S4：以当前帧图像的模板中心为搜索框中心位置确定当前帧图像的搜索框；S5：基于模板大小，在当前帧图像中的搜索框中进行遍历，得到待匹配区域集合，再基于待匹配区域集合得到多个待匹配区域对应的融合特征，基于融合特征及对应的目标模型和目标回归系数，计算各待匹配区域对应的多层核相关滤波响应图，即得到多层核相关滤波响应图集合；S6：判断多层核相关滤波响应图集合中的最大响应值是否大于等于给定的第一阈值，若大于，转到步骤S7，否则转到S8；S7：以最大响应值的横纵坐标计算当前帧图像的目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧图像的目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；S8：模板不更新，用Kalman滤波预测当前帧图像中的目标状态，得到预测坐标，以预测坐标为中心，取大小与模板大小一致的区域与当前帧图像实际匹配得到的目标区域加权作为当前帧图像的匹配结果，其中，目标区域为以上一帧目标的中心位置或以最大响应值的横纵坐标为中心，大小与模板大小一致的区域，以匹配结果的中心位置为中心，取匹配结果3倍大小作为搜索框遍历得到待匹配区域集合，提取待匹配区域集合中各待匹配区域的方向梯度直方图和哈尔特征，得到对应融合特征，再基于各融合特征得到多层核相关滤波响应图集合；若多层核相关滤波响应图集合中最大响应值大于等于给定的第二阈值，以最大值的横纵坐标更新目标的中心位置，若当前帧图像不是最后一帧，更新步骤S3中的模板为当前帧图像的模板与当前帧目标的中心位置的加权，更新后转到步骤S3进行下一帧处理，否则结束跟踪；若多层核相关滤波响应图集合中最大响应值低于给定的第二阈值，若当前帧图像为最后一帧则结束跟踪，否则，读取下一帧图像作为当前帧，转到步骤S8。2.根据权利要求1所述的一种抗遮挡红外目标跟踪方法，其特征在于，所述步骤S1的具体步骤如下：读取红外图像序列，在初始帧图像中框选目标，记录目标的中心位置和大小，利用初始帧图像中框选的目标作为模板，其中，模板的中心位置和大小即为目标的中心位置和大小；获取第二帧图像作为当前帧图像，将初始帧图像的模板作为当前帧图像的模板。3.根据权利要求1所述的一种抗遮挡红外目标跟踪方法，其特征在于，所述步骤S2的具体步骤如下：S2.1：根据模板的大小target_sz，确定搜索框，搜索框的大小为window_sz＝target_sz*(1+padding)，其中，padding为确定搜索框大小与目标大小的比例；S2.2：根据给定的细胞单元尺寸cell_size、模板的大小target_sz和搜索框的大小window_sz确定特征回归标签yf，再基于特征回归标签yf得到二维余弦窗cos_window；具体步骤如下：S2.2.1：根据模板的大小target_sz和细胞单元cell_size大小计算高斯回归标签的带宽σ，公式如下：式中，w和h为模板的宽和高，a为空间带宽，与目标大小成比例；S2.2.2：根据高斯回归标签的带宽σ和搜索框的大小window_sz，计算回归标签yf，计算公式如下：其中，m、n分别为的第一项和第二项，计算得到y′后，循环移位使回归标签峰值移到左上角得到y，然后进行傅里叶变换，得到回归标签yf；S2.2.3：根据回归标签yf的大小利用hann函数计算，得到二维余弦窗cos_window。4.根据权利要求1所述的一种抗遮挡红外目标跟踪方法，其特征在于，所述步骤S3的具体步骤如下：S3.1：基于HOG和Haar提取模板mt的特征并线性融合，对线性融合后的特征加二维余弦窗cos_window，获得融合特征，其中，Haar为哈尔，HOG为方向梯度直方图；S3.2：根据融合特征9得到目标回归系数；S3.3：若当前帧图像为第二帧图像，转到步骤S3.4，若为最后一帧图像，不做处理，否则转到步骤S3.6；S3.4：目标跟踪第二帧图像时，利用当前帧图像的频域的融合特征xf，初始化目标模型modle_xf，即其中，t表示第二帧图像，表示频域的融合特征xf，表示目标模型modle_xf；S3.5：目标跟踪第二帧图像时，利用当前帧图像的目标回归系数α，初始化目标回归系数modle_α，即其中，t表示第二帧图像，表示目标回归系数α，表示目标回归系数modle_α；S3.6：目标跟踪第三帧或第三帧之后的图像时，通过线性插值更新目标模型modle_xf.即其中，η为给定的学习率，为当前帧图像的目标模型，为前一帧图像的目标模型，得到更新后的即为更新后的modle_xf；S3.7：目标跟踪第三帧或第三帧之后的图像时，通过线性插值更新的目标回归系数modle_α，即其中，η为给定的学习率，为前一帧图像的目标回归系数，为当前帧图像的目标回归系数modle_α。5.根据权利要求4任意所述的一种抗遮挡红外目标跟踪方法，其特征在于，所述步骤3.1的具体步骤为：S3.1.1：基于给定的细胞单元尺寸cell_size，利用MATLAB相应的piotr_toolbox工具包提取模板mt的FHOG特征，得到31维的FHOG特征g0，即方向梯度直方图特征；S3.1.2：当前帧图像为第t帧图像，计算第t帧图像的模板mt(x,y)的积分图SAT，积分图SAT中的每个像素值的计算公式为：SAT(x,y)＝SAT(x,y-1)+SAT(x-1,y)-SAT(x-1,y-1)+mt(x,y)其中，SAT(x,y-1)表示当前像素位置x,y上边的积分图像素值，SAT(x-1,y)表示当前像素位置x,y左边的积分图像素值，SAT(x-1,y-1)表示当前像素位置x,y左上角的积分图像素值，积分图SAT的初始边界为SAT(-1,y)＝SAT(x，-1)＝SAT(-1，-1)＝0；SAT(-1,y)为左边界像素值，SAT(x，-1)为上边界像素值，SAT(-1，-1)为左上顶角像素值；初始边界SAT(-1,y)、SAT(x，-1)和SAT(-1，-1)用于计算SAT(0，y)和SAT(x,0)；S3.1.3：根据细胞单元尺寸cell_size划分积分图SAT，即将任一细胞单元上半部分像素积分图之和为SATA，细胞单元下半部分像素积分图之和为SATB，细胞单元左半部分像素积分图之和为SATC，细胞单元右半部分像素积分图之和为SATD，每个细胞单元对应的1维垂直方向Haar特征g1为SATA与SATB的差值，1维水平方向Haar特征g2为SATC与SATD的差值，所有细胞单元的1维垂直方向Haar特征g1和1维水平方向Haar特征g2即为哈尔特征；S3.1.4：将31维FHOG特征g0、所有的1维垂直方向Haar特征g1、所有的1维水平方向Haar特征g2进行线性融合后，与二维余弦窗cos_window点乘，得到一个33维融合特征g。6.根据权利要求4任意所述的一种抗遮挡红外目标跟踪方法，其特征在于，所述步骤3.2的具体步骤为：S3.2.1：将融合特征g进行快速傅里叶变换，得到模板mt在频域的融合特征xf，计算模板mt在频域的融合特征xf的公式为：式中，g表示对模板mt提取的33维融合特征，表示傅里叶变换，表示得到的频域的融合特征xf；S3.2.2：根据高斯核相关函数，基于频域的融合特征xf，计算频域上的高斯自相关核矩阵kf；高斯核相关函数的公式：其中，Kxx′代表x和x′的高斯核相关矩阵，x、x′分别代表计算高斯核相关矩阵所使用的不同特征符号，在实际计算过...

【专利技术属性】
技术研发人员：田瑛，钟妤，胡宏博，彭真明，李美惠，张天放，龙鸿峰，彭凌冰，蒲恬，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51