目标跟踪硬件实现系统和方法技术方案

本公开提供一种目标跟踪硬件实现系统和方法。根据本发明专利技术的目标跟踪硬件实现系统（200）包括：截取缩放模块（210），用于从外部存储模块（300）中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块（220），用于对归一化图像提取特征；特征管理模块（230），用于基于所提取的图像特征，对匹配模板进行存取与更新；KCF计算模块（240），用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。本发明专利技术综合现有KCF算法的优势，在并行硬件平台上实现，具有小体积、低功耗和高实时性的优点。

A Hardware Implementation System for Target Tracking

【技术实现步骤摘要】
目标跟踪硬件实现系统和方法
本专利技术涉及计算机机器视觉，更具体涉及实时高分辨率的多目标跟踪的方法与系统。
技术介绍
目标跟踪是计算机机器视觉领域的重要课题。课题的主要任务是设计一个具有鉴别力的分类器，能够将目标从环境中区分出来。其中，基于核化相关滤波器（KernelizedCorrelationFilters，KCF）的高速跟踪器是近年来的新进展。KCF算法利用循环矩阵来构建训练样本对分类器进行训练（岭回归问题），并通过在离散傅里叶域中进行计算来避免复杂的矩阵求逆过程，进而降低了算法的计算和存储复杂度，提高了算法的计算速度。现有的KCF算法仍然使用软件在通用处理器中实现，如CPU、GPU或ARM等。然而在通用处理器上进行串行计算或多线程并行计算，由于并行度有限，算法对主频依赖很大，在高性能CPU或GPU上体积和功耗都很大，在嵌入式ARM上则主频过低，性能严重不足，难以达到实时。此外，在进行多目标实时跟踪任务时，串行计算的劣势则更加明显。
技术实现思路
本专利技术的目的在于提供一种实时高分辨率多目标跟踪方法及系统，以便达到在高分辨率视频中，对多目标进行实时跟踪。根据本专利技术的第一方面，提供一种目标跟踪硬件实现系统，包括：截取缩放模块，用于从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块，用于对归一化图像提取特征；特征管理模块，用于基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。优选地，在根据本专利技术第一方面的目标跟踪硬件实现系统中，所述视频可以是高分辨率视频。优选地，在根据本专利技术第一方面的目标跟踪硬件实现系统中，所述特征提取模块可以进一步用于提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。优选地，在根据本专利技术第一方面的目标跟踪硬件实现系统中，所述特征管理模块可以采用乒乓缓存结构实现对图像特征的存取与使用。优选地，在根据本专利技术第一方面的目标跟踪硬件实现系统中，所述截取缩放模块可以进一步用于：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。优选地，在根据本专利技术第一方面的目标跟踪硬件实现系统中，所述特征提取模块可以进一步用于提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，发送给所述特征管理模块进行存储。所述特征管理模块可以进一步用于从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板。所述KCF计算模块可以进一步用于以离散傅里叶变换为基础，基于从所述特征管理模块读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于从所述特征管理模块读取的更新后的特征训练匹配模板和从所述特征管理模块读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。根据本专利技术的第二方面，提供一种目标跟踪方法，包括：截取缩放模块从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块对归一化图像提取特征；特征管理模块基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。优选地，在根据本专利技术第二方面的方法中，所述视频可以是高分辨率视频。优选地，在根据本专利技术第二方面的方法中，所述的对归一化图像提取特征的步骤可以进一步包括：提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。优选地，专利技术第二方面的方法可以进一步包括：采用乒乓缓存结构实现对图像特征的存取与使用。优选地，在根据本专利技术第二方面的方法中，所述的从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小的步骤可以进一步包括：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。优选地，在根据本专利技术第二方面的方法中，所述的对归一化图像提取特征的步骤可以进一步包括：提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，进行存储。所述的基于所提取的图像特征，对匹配模板进行存取与更新的步骤可以进一步包括：从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板。所述的基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标的步骤可以进一步包括：以离散傅里叶变换为基础，基于读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于读取的更新后的特征训练匹配模板和读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。优选地，根据本专利技术第二方面的方法可以进一步包括：使用多套计算资源，并行地遍历多个目标，直至完成所有目标的跟踪。优选地，根据本专利技术第二方面的方法可以进一步包括：将当前帧作为训练图像帧，从视频中读取下一帧作为待检图像帧，依次遍历视频中的所有图像帧执行所述控制方法，直至视频结束。根据本专利技术的第三方面，提供一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行目标跟踪方法，包括如下操作：从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；对归一化图像提取特征；基于所提取的图像特征，对匹配模板进行存取与更新；基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。本专利技术综合现有KCF算法的优势，在并行硬件平台上实现了一种实时高分辨率的多目标跟踪方法及系统，如现场可编程逻辑阵列（FPGA）、专用集成电路（ASIC）均可，具有小体积、低功耗和高实时性的优点。附图说明下面参考附图结合实施例说明本专利技术。在附图中：图1是用于说明根据本专利技术的优选实施例的目标跟踪方法的示意图；图2是用于说明根据本专利技术的优选实施例的目标跟踪硬件实现系统的示意框图；图3是根据本专利技术的更一般的目标跟踪方法的流程图。具体实施方式附图仅用于示例说明，不能理解为对本专利技术的限制。下面结合附图和实施例对本专利技术的技术方案做进一本文档来自技高网...

【技术保护点】
1.一种目标跟踪硬件实现系统，包括：截取缩放模块，用于从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块，用于对归一化图像提取特征；特征管理模块，用于基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。

【技术特征摘要】
1.一种目标跟踪硬件实现系统，包括：截取缩放模块，用于从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；特征提取模块，用于对归一化图像提取特征；特征管理模块，用于基于所提取的图像特征，对匹配模板进行存取与更新；核化相关滤波器（KCF）计算模块，用于基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的KCF响应，选取KCF响应最大的待检图像作为跟踪到的目标。2.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述视频是高分辨率视频。3.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述特征提取模块进一步用于提取梯度直方图（HOG）特征，并对提取的特征向量进行归一化、主成分分析（PCA）降维和汉宁窗加权。4.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述特征管理模块采用乒乓缓存结构实现对图像特征的存取与使用。5.根据权利要求1所述的目标跟踪硬件实现系统，其中，所述截取缩放模块进一步用于：从视频中获取前一帧作为训练图像帧，获取当前帧作为待检图像帧；从训练图像帧中提取目标位置，并以目标位置为基础从待检图像帧中提取多个尺度的待检位置；从训练图像帧中截取目标图像并通过缩放归一化至指定大小，从待检图像帧中，分别在每个待检位置截取待检图像，并通过缩放归一化至相同的大小。6.根据权利要求1所述的目标跟踪硬件实现系统，其中：所述特征提取模块进一步用于提取归一化后的目标图像的特征向量以及归一化后的待检图像的特征向量，发送给所述特征管理模块进行存储，所述特征管理模块进一步用于从外部存储模块中读取历史训练匹配模板，使用目标图像的特征向量更新特征训练匹配模板，所述KCF计算模块进一步用于以离散傅里叶变换为基础，基于从所述特征管理模块读取的目标图像的特征向量计算生成KCF训练系数，由此更新KCF训练系数匹配模板；基于从所述特征管理模块读取的更新后的特征训练匹配模板和从所述特征管理模块读取的待检图像的特征向量，使用更新的KCF训练系数匹配模板计算各个待检图像的特征向量的KCF响应；将KCF响应最大的待检图像作为跟踪到的目标，换算跟踪到的目标尺寸与偏移距离。7.一种目标跟踪方法，包括：从外部存储模块中的视频中截取目标图像以及多个尺度的待检图像，并通过缩放归一化至指定大小；对归一化图像提取特征；基于所提取的图像特征，对匹配模板进行存取与更新；基于所提取的图像特征以及更新后的匹配模板计算各个待检图像的核化相关滤波器（KCF）响应，选取KCF响应最大的待检图像作为跟踪到的目标。8.根据权利要求7所述的方法，其中...

【专利技术属性】
技术研发人员：贾希杰，吴迪，孙寒泊，
申请(专利权)人：北京深鉴智能科技有限公司，
类型：发明
国别省市：北京,11