基于TLD跟踪系统的视频目标跟踪方法技术方案

本发明专利技术属于目标检测和目标跟踪领域，公开了一种基于TLD跟踪系统的视频目标跟踪方法，包括：在跟踪目标的起始帧，根据给出所需要跟踪目标的位置和大小信息，生成子图像窗口，并对CSK跟踪器和检测器进行初始化；跟踪器根据上一帧跟踪到的目标以及当前帧跟踪到的目标估计出本帧图像中目标的位置；用检测器找到在当前帧中所有可能出现的目标区域；对跟踪器和检测器的结果进行综合，判断出当前帧是否存在目标，如果不存在目标，则对下一帧进行处理；如果存在目标，就判断目标是否有效；如果有效，则进入学习模块，完成检测器和跟踪器的在线更新，并开始对下一帧进行处理；能够解决目标出现遮挡时对目标进行有效检测的问题。

Video target tracking method based on TLD tracking system

The invention belongs to the field of target detection and target tracking, a tracking method, video target tracking system based on TLD including: start frame in target tracking, target tracking are given according to the required position and size information, generating the image window, and the CSK tracking device and detector to initialize the tracker based on the estimated; the target image frame position on a frame to the target tracking and target tracking to the current frame; found in the current frame in all possible target region of the tracker and detector detector; the results were integrated, determine whether the current frame exists, if there is no goal for the next frame for processing; if an object exists, will determine whether the target is effective; if effective, then enter the learning module, complete the online detector and tracker updates And it begins to process the next frame, and can solve the problem that the target can be detected effectively when the target appears in the occlusion.

【技术实现步骤摘要】
基于TLD跟踪系统的视频目标跟踪方法
本专利技术属于目标检测和目标跟踪
，尤其涉及一种基于TLD(Tracking-Learning-Detection，跟踪学习检测)跟踪系统的视频目标跟踪方法。
技术介绍
运动目标的检测和跟踪是计算机视觉领域重要的研究内容之一。通过人眼将运动的目标从视频序列中分析识别出来是非常容易的，但是对于计算机来说却是很困难的，因为跟踪目标的形态变化、背景混杂以及光照变化都会对跟踪带来巨大的干扰。运动的目标跟踪与检测是利用数字图像处理以及视频分析等相关技术对视频序列图像进行处理分析，最终使计算机理解视频序列中的客观背景和目标。实时跟踪已经在监控安防、智能机器人、遥感探测和航天航空等领域发挥着重要作用，研究此问题具有重要的应用价值。运动目标检测与跟踪在工业上安防、航天航空、遥感探测、智能机器人等领域发挥着重要作用。未来基于计算机视觉的目标跟踪系统不仅在电子技术、工业检测等传统行业具有巨大的市场，在基础设施的配套工程，如：城市道路监控，以及自动驾驶汽车、无人飞机等新型产业将迎来广阔的应用前景。因此，研究具有稳定性、实时性、精确性的目标跟踪算法有着十分重要的应用价值，同时也会面临着严峻的挑战。在对TLD研究和测试的过程中，TLD算法对于遮挡的目标跟踪效果并不理想。
技术实现思路
针对上述现有技术的缺点，本专利技术的目的在于提供一种基于TLD跟踪系统的视频目标跟踪方法，在原有TLD框架中的引入CSK(Circulant-Structure-Kernel循环矩阵结构)跟踪器并对原有的检测框架进行修改，能够解决目标出现遮挡时对目标进行有效检测的问题。为达到上述目的，本专利技术采用如下技术方案予以实现。一种基于TLD跟踪系统的视频目标跟踪方法，所述视频目标跟踪方法基于视频目标跟踪系统实现，所述视频目标跟踪系统包含：跟踪滤波器，重合度检测器，随机森林分类器，以及最近邻分类器；所述视频目标跟踪方法包括如下步骤：步骤1，获取视频中的第一帧图像，人为标定目标区域，在所述第一帧图像中获取以所述目标区域为中心，所述目标区域N倍大小的图像片；所述人为标定的目标区域为矩形区域；步骤2，根据所述图像片的大小构造二维高斯分布函数以及汉明窗，进而根据所述图像片、所述二维高斯分布函数以及所述汉明窗，分别对跟踪滤波器的第一参数、第二参数进行初始化；步骤3，以所述目标区域的大小为基准，构造多个不同尺度的矩形框；第一尺度矩形框从所述第一帧图像的左上角开始，每次移动一个像素位置，从左往右，从上往下，依次遍历整个第一帧图像；在所述第一尺度矩形框遍历整个第一帧图像的过程中，记录该第一尺度矩形框的所有位置以及第一尺度矩形框在每个位置时与目标区域的重合度；所述第一尺度矩形框为多个不同尺度的矩形框中的任意一个矩形框；重合度的值大于0且小于1；采用集合grid记录多个不同尺度的矩形框遍历所述第一帧图像过程中的所有位置以及每个尺度矩形框在每个位置时与目标区域的重合度，完成对重合度检测器的初始化；步骤4，设置第一重合度阈值，第二重合度阈值，且第一重合度阈值大于第二重合度阈值；对于集合grid，将其中重合度大于所述第一重合度阈值的矩形框对应的信息记录在集合good-boxes中，将其中重合度小于所述第二重合度阈值的矩形框对应的信息记录在集合bad-boxes中，将其中重合度最大的一个矩形框对应的信息记录在集合best-box中；矩形框对应的信息至少包含该矩形框的变换尺度，该矩形框的位置以及该矩形框与目标区域的重合度；步骤5，将集合best-box中的矩形框对应的图像片进行归一化并缩小得到正样本图像片，将所述正样本图像片存储在集合pEx中作为一个正样本；矩形框对应的图像片是指该矩形框在第一帧图像中框定的图像区域；将集合bad-boxes中的每个矩形框对应的图像片进行归一化并缩小得到负样本图像片，将得到的所有负样本图像片存储在集合nEx中作为负样本；选取集合good-boxes中重合度较大的前t个矩形框，并将所述前t个矩形框对应的图像片分别进行f次仿射变换，得到f*t个正样本图像片；分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，将每个正样本图像片的特征值的标记符记为1，标记符记为1表示该标记符对应的特征值为正样本的特征值；分别提取集合bad-boxes中的每个矩形框对应的图像片的特征值并存储于集合nX中，并将每个矩形框对应的图像片的特征值的标记符记为0，标记符记为0表示该标记符对应的特征值为负样本的特征值；将集合pX中的所有特征值与集合nX中的一半特征值组成一个含有正负样本特征值的集合fern-data；将集合pEx中的一个正样本图像片与集合nEx中的一半负样本图像片组成一个含有正负样本图像片的集合nn-data，且集合pEx中的一个正样本图像片为集合nn-data中的第一个元素；步骤6，初始化随机森林分类器：遍历集合fern-data中的所有样本特征值，若特征值的标记符为1，则确定该特征值为正样本特征值的后验概率；若特征值的标记符为0，则确定该特征值为负样本特征值的后验概率；步骤7，初始化最近邻分类器：构造集合pxx和集合nxx，集合pxx用于存储训练好的正样本，集合nxx用于存储训练好的负样本；设置相关相似度分类阈值，将集合nn-data中的第一个元素存放在集合pxx中，将集合nn-data中的第二个元素存放在集合nxx中，从集合nn-data中的第三个元素开始遍历，计算集合nn-data中从三个元素开始的每个元素的相关相似度；若集合nn-data中从三个元素开始的每个元素的相关相似度大于所述相关相似度分类阈值，则将该元素存储于集合nxx中，否则，不做处理；步骤8，获取需要进行目标跟踪的图像帧，采用跟踪滤波器对所述需要进行目标跟踪的图像帧进行跟踪，得到跟踪到的目标中心位置，从而确定跟踪到的目标区域；采用跟踪到的目标区域对所述跟踪滤波器的第一参数、第二参数进行更新；步骤9，采用重合度检测器对所述需要进行目标跟踪的图像帧进行检测，得到需要进行目标跟踪的图像帧中所有可能的目标区域；步骤10，采用随机森林分类器对所有可能的目标区域分别进行检测，确定每个可能的目标区域中是否存在目标，从而得到可能存在目标的图像区域；步骤11，采用最近邻分类器计算每个可能存在目标的图像区域的相关相似度，从而确定存在潜在目标的图像区域；步骤12，对跟踪器跟踪到的目标区域和所述最近邻分类器确定的存在潜在目标的图像区域进行综合处理，得到目标跟踪结果图像块；步骤13，根据所述目标跟踪结果图像块，对所述重合度检测器、所述随机森林分类器以及所述最近邻分类器进行更新学习；步骤14，重复执行步骤8值步骤13，直到处理完视频中所有需要进行目标跟踪的图像帧，完成视频目标跟踪过程。本方案增强了跟踪目标的准确性，减少了目标在复杂背景下运动和在发生遮挡时跟踪丢失的概率，实现了对TLD跟踪算法中检测模块的优化，检测模块耗时更少。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他本文档来自技高网...

【技术保护点】
一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，所述TLD跟踪系统包含：跟踪滤波器，重合度检测器，随机森林分类器，以及最近邻分类器；所述视频目标跟踪方法包括如下步骤：步骤1，获取视频中的第一帧图像，在所述第一帧图像中人为标定目标区域，在所述第一帧图像中获取以所述目标区域为中心，且大小为所述目标区域N倍的图像片；所述人为标定的目标区域为矩形区域；步骤2，根据所述图像片的大小构造二维高斯分布函数以及汉明窗，进而根据所述图像片、所述二维高斯分布函数以及所述汉明窗，分别对跟踪滤波器的第一参数、第二参数进行初始化；步骤3，以所述目标区域的大小为基准，构造多个不同尺度的矩形框；第一尺度矩形框从所述第一帧图像的左上角开始，每次移动一个像素位置，从左往右，从上往下，依次遍历整个第一帧图像；在所述第一尺度矩形框遍历整个第一帧图像的过程中，记录该第一尺度矩形框的所有位置以及第一尺度矩形框在每个位置时与目标区域的重合度；所述第一尺度矩形框为多个不同尺度的矩形框中的任意一个矩形框；重合度的值大于0且小于1；采用集合grid记录多个不同尺度的矩形框遍历所述第一帧图像过程中的所有位置以及每个尺度矩形框在每个位置时与目标区域的重合度，完成对重合度检测器的初始化；步骤4，设置第一重合度阈值、第二重合度阈值，且第一重合度阈值大于第二重合度阈值；对于集合grid，将其中重合度大于所述第一重合度阈值的矩形框对应的信息记录在集合good‑boxes中，将其中重合度小于所述第二重合度阈值的矩形框对应的信息记录在集合bad‑boxes中，将其中重合度最大的一个矩形框对应的信息记录在集合best‑box中；矩形框对应的信息至少包含该矩形框的变换尺度、该矩形框的位置以及该矩形框与目标区域的重合度；步骤5，将集合best‑box中的矩形框对应的图像片进行归一化并缩小得到正样本图像片，将所述正样本图像片存储在集合pEx中作为一个正样本；矩形框对应的图像片是指该矩形框在第一帧图像中框定的图像区域；将集合bad‑boxes中的每个矩形框对应的图像片进行归一化并缩小得到负样本图像片，将得到的所有负样本图像片存储在集合nEx中作为负样本；选取集合good‑boxes中重合度较大的前t个矩形框，并将所述前t个矩形框对应的图像片分别进行f次仿射变换，得到f*t个正样本图像片；分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，将每个正样本图像片的特征值的标记符记为1，标记符记为1表示该标记符对应的特征值为正样本的特征值；分别提取集合bad‑boxes中的每个矩形框对应的图像片的特征值并存储于集合nX中，并将每个矩形框对应的图像片的特征值的标记符记为0，标记符记为0表示该标记符对应的特征值为负样本的特征值；将集合pX中的所有特征值与集合nX中的一半特征值组成一个含有正负样本特征值的集合fern‑data；将集合pEx中的一个正样本图像片与集合nEx中的一半负样本图像片组成一个含有正负样本图像片的集合nn‑data，且集合pEx中的一个正样本图像片为集合nn‑data中的第一个元素；步骤6，初始化随机森林分类器：遍历集合fern‑data中的所有样本特征值，若特征值的标记符为1，则确定该特征值为正样本特征值的后验概率；若特征值的标记符为0，则确定该特征值为负样本特征值的后验概率；步骤7，初始化最近邻分类器：构造集合pxx和集合nxx，集合pxx用于存储训练好的正样本，集合nxx用于存储训练好的负样本；设置相关相似度分类阈值，将集合nn‑data中的第一个元素存放在集合pxx中，将集合nn‑data中的第二个元素存放在集合nxx中，从集合nn‑data中的第三个元素开始遍历，计算集合nn‑data中从三个元素开始的每个元素的相关相似度；若集合nn‑data中从三个元素开始的每个元素的相关相似度大于所述相关相似度分类阈值，则将该元素存储于集合nxx中，否则，不做处理；步骤8，获取需要进行目标跟踪的图像帧，采用跟踪滤波器对所述需要进行目标跟踪的图像帧进行跟踪，得到跟踪到的目标中心位置，从而确定跟踪滤波器跟踪到的目标区域；采用跟踪到的目标区域对所述跟踪滤波器的第一参数、第二参数进行更新；步骤9，采用重合度检测器对所述需要进行目标跟踪的图像帧进行检测，得到需要进行目标跟踪的图像帧中所有可能的目标区域；步骤10，采用随机森林分类器对所有可能的目标区域分别进行检测，确定每个可能的目标区域中是否存在目标，从而得到可能存在目标的图像区域；步骤11，采用最近邻分类器计算每个可能存在目标的图像区域的相关相似度，从而确定存在潜在目标的图像区域；步骤12，对跟踪滤波器跟踪到的目标区域和所述最近邻分类器确定的存在潜在目标的图像区域进行综合处理，得到目标跟踪结果图像块；步骤13，根据所述目标跟踪结果图像块，对...

【技术特征摘要】
1.一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，所述TLD跟踪系统包含：跟踪滤波器，重合度检测器，随机森林分类器，以及最近邻分类器；所述视频目标跟踪方法包括如下步骤：步骤1，获取视频中的第一帧图像，在所述第一帧图像中人为标定目标区域，在所述第一帧图像中获取以所述目标区域为中心，且大小为所述目标区域N倍的图像片；所述人为标定的目标区域为矩形区域；步骤2，根据所述图像片的大小构造二维高斯分布函数以及汉明窗，进而根据所述图像片、所述二维高斯分布函数以及所述汉明窗，分别对跟踪滤波器的第一参数、第二参数进行初始化；步骤3，以所述目标区域的大小为基准，构造多个不同尺度的矩形框；第一尺度矩形框从所述第一帧图像的左上角开始，每次移动一个像素位置，从左往右，从上往下，依次遍历整个第一帧图像；在所述第一尺度矩形框遍历整个第一帧图像的过程中，记录该第一尺度矩形框的所有位置以及第一尺度矩形框在每个位置时与目标区域的重合度；所述第一尺度矩形框为多个不同尺度的矩形框中的任意一个矩形框；重合度的值大于0且小于1；采用集合grid记录多个不同尺度的矩形框遍历所述第一帧图像过程中的所有位置以及每个尺度矩形框在每个位置时与目标区域的重合度，完成对重合度检测器的初始化；步骤4，设置第一重合度阈值、第二重合度阈值，且第一重合度阈值大于第二重合度阈值；对于集合grid，将其中重合度大于所述第一重合度阈值的矩形框对应的信息记录在集合good-boxes中，将其中重合度小于所述第二重合度阈值的矩形框对应的信息记录在集合bad-boxes中，将其中重合度最大的一个矩形框对应的信息记录在集合best-box中；矩形框对应的信息至少包含该矩形框的变换尺度、该矩形框的位置以及该矩形框与目标区域的重合度；步骤5，将集合best-box中的矩形框对应的图像片进行归一化并缩小得到正样本图像片，将所述正样本图像片存储在集合pEx中作为一个正样本；矩形框对应的图像片是指该矩形框在第一帧图像中框定的图像区域；将集合bad-boxes中的每个矩形框对应的图像片进行归一化并缩小得到负样本图像片，将得到的所有负样本图像片存储在集合nEx中作为负样本；选取集合good-boxes中重合度较大的前t个矩形框，并将所述前t个矩形框对应的图像片分别进行f次仿射变换，得到f*t个正样本图像片；分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，将每个正样本图像片的特征值的标记符记为1，标记符记为1表示该标记符对应的特征值为正样本的特征值；分别提取集合bad-boxes中的每个矩形框对应的图像片的特征值并存储于集合nX中，并将每个矩形框对应的图像片的特征值的标记符记为0，标记符记为0表示该标记符对应的特征值为负样本的特征值；将集合pX中的所有特征值与集合nX中的一半特征值组成一个含有正负样本特征值的集合fern-data；将集合pEx中的一个正样本图像片与集合nEx中的一半负样本图像片组成一个含有正负样本图像片的集合nn-data，且集合pEx中的一个正样本图像片为集合nn-data中的第一个元素；步骤6，初始化随机森林分类器：遍历集合fern-data中的所有样本特征值，若特征值的标记符为1，则确定该特征值为正样本特征值的后验概率；若特征值的标记符为0，则确定该特征值为负样本特征值的后验概率；步骤7，初始化最近邻分类器：构造集合pxx和集合nxx，集合pxx用于存储训练好的正样本，集合nxx用于存储训练好的负样本；设置相关相似度分类阈值，将集合nn-data中的第一个元素存放在集合pxx中，将集合nn-data中的第二个元素存放在集合nxx中，从集合nn-data中的第三个元素开始遍历，计算集合nn-data中从三个元素开始的每个元素的相关相似度；若集合nn-data中从三个元素开始的每个元素的相关相似度大于所述相关相似度分类阈值，则将该元素存储于集合nxx中，否则，不做处理；步骤8，获取需要进行目标跟踪的图像帧，采用跟踪滤波器对所述需要进行目标跟踪的图像帧进行跟踪，得到跟踪到的目标中心位置，从而确定跟踪滤波器跟踪到的目标区域；采用跟踪到的目标区域对所述跟踪滤波器的第一参数、第二参数进行更新；步骤9，采用重合度检测器对所述需要进行目标跟踪的图像帧进行检测，得到需要进行目标跟踪的图像帧中所有可能的目标区域；步骤10，采用随机森林分类器对所有可能的目标区域分别进行检测，确定每个可能的目标区域中是否存在目标，从而得到可能存在目标的图像区域；步骤11，采用最近邻分类器计算每个可能存在目标的图像区域的相关相似度，从而确定存在潜在目标的图像区域；步骤12，对跟踪滤波器跟踪到的目标区域和所述最近邻分类器确定的存在潜在目标的图像区域进行综合处理，得到目标跟踪结果图像块；步骤13，根据所述目标跟踪结果图像块，对所述重合度检测器、所述随机森林分类器以及所述最近邻分类器进行更新学习；步骤14，重复执行步骤8至步骤13，直到得到视频中所有需要进行目标跟踪的图像帧的目标跟踪结果图像块，完成视频目标跟踪过程。2.根据权利要求1所述的一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，步骤2具体包括如下子步骤：(2a)构造与所述图像片小大相同的矩形框sz，以及与所述图像片小大相同的汉明窗cos_win，所述汉明窗cos_win中位于(ic,jc)处的函数值cos_win(ic,jc)为：其中，ic∈(1,heightsz)，jc∈(1,widthsz)，heightsz表示所述矩形框sz的高，widthsz表示所述矩形框sz的宽；(2b)构造与所述矩形框sz大小相同的第一矩阵yr和第二矩阵yc，所述第一矩阵yr中位于(rh,rl)处的元素的值为：所述第二矩阵yc中位于(ch,cl)处的元素的值为：其中，rh∈(1,heightry)，rl∈(1,widthry)，heightry表示所述第一矩阵yr的高，widthry表示所述第一矩阵yr的宽；ch∈(1,heightcy)，cl∈(1,widthcy)，heightcy表示所述第二矩阵yc的高，widthcy表示所述第二矩阵yc的宽；(2c)根据所述第一矩阵yr和第二矩阵yc，得到二维高斯分布函数y，其中所述二维高斯分布函数y中位于(my,ny)处的函数值其中，my∈(1,heightsz)，ny∈(1,widthsz)，heightsz表示所述矩形框sz的高，widthsz表示所述矩形框sz的宽；output_sigma为预设参数，(2d)将所述图像片转换为灰度图像，并将所述灰度图像的像素值与所述汉明窗对应位置处的函数值分别相乘，得到临时矩阵，对所述临时矩阵进行归一化后得到矩阵xinit，将矩阵xinit作为跟踪滤波器的第一参数zinit；(2e)分别求得矩阵xinit的DFT变换矩阵xfinit，以及矩阵zinit的DFT变换矩阵zfinit，将矩阵xinit的DFT变换矩阵xfinit与矩阵zinit的DFT变换矩阵zfinit对应位置元素点乘得到矩阵xzfinit，然后对xzfinit进行逆傅里叶变换得到矩阵xzinit；从而求得核函数kinit：所述核函数kinit为heightinitk行widthinitk列的矩阵；其中，kinit(minitk,ninitk)表示核函数kinit中第(minitk,ninitk)位置处的函数值，minitk∈(1,heightinitk)，ninitk∈(1,widthinitk)，heightinitk表示核函数kinit的行数，widthinitk表示核函数kinit的列数，sigma表示指数系数，取值为0.2，xx表示矩阵xinit的二范数，zz表示矩阵zinit的二范数，xzcul表示矩阵xzinit的循环移位；(2f)确定跟踪滤波器的第二参数其中，F(y)表示二维高斯分布函数y的DFT变换，F(k)表示核函数kinit的DFT变换。3.根据权利要求1所述的一种基于TLD跟踪系统的视频目标跟踪方法，其特征在于，步骤5中，分别提取所述f*t个正样本图像片的特征值并存储于集合pX中，具体包括：(5a)对于每个尺度的矩形框，在每个尺度的矩形框中随机选择S个坐标对，根据所述S个坐标对从每个矩形框对应的图像片中获取S个像素对，将S个像素对分为D组，每组d个像素对，且S＝D*d；(5b)提取f*t个正样本图像片的特征值：根据每个正样本图像片对应的矩形框从每个正样本图像片中获取S个像素对，且所述S个像素对包含D组像素对，每组像素对包含d个像素对，若d个像素对中每个像素对的第一个像素大于第二个像素，则产生二进制数1，否则产生二进制数0，从而d个像素对产生d位二进制数，从而每个正样...

【专利技术属性】
技术研发人员：赵亦工，宗家辉，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61