一种基于层级化感知机的智能目标跟踪及丢失重检方法技术

本发明专利技术涉及一种基于层级化感知机的智能目标跟踪及丢失重检方法，首先根据选定跟踪目标的位置和大小，对两种不同搜索区域的图像计算特征图，并采集样本作为两种不同感知机的训练样本。当输入跟踪的第一帧图像时，感知机完成初始化训练，并且初始化目标状态、位置和参考响应值；当输入第二帧及之后帧的图像时，将判断当前帧的图像数据是进入跟踪支路还是重检测支路。当进入跟踪支路时，利用多级感知机构建的具有层级化结构的两个跟踪分支都会计算当前帧的目标位置，输出比较后最优的目标位置并且判断目标状态；当进入重检测支路时，利用多个一级感知机组成的重检测器会在大范围内重检测目标，将最大响应值区域作为重检目标同时判断该目标状态。同时判断该目标状态。同时判断该目标状态。

【技术实现步骤摘要】
一种基于层级化感知机的智能目标跟踪及丢失重检方法


[0001]本专利技术涉及智能视频处理领域，具体涉及的是一种基于层级化感知机的智能目标跟踪及丢失重检方法。

技术介绍

[0002]目标跟踪的任务是通过在视频的初始帧选定的目标的位置信息，在后续的视频帧中连续定位目标的位置。目标跟踪技术在人机交互，自动驾驶和安防监控中具有广泛的应用。在传统的光电平台中，目标主要依靠人工手动控制平台来进行跟踪和持续观察。现代光电平台中，智能目标跟踪方法负责连续的输出锁定目标的位置信息，来控制光电平台的方向和俯仰角度，使目标始终位于光电平台监控画面的中心区域，便于持续的观察分析。常见的目标跟踪系统一般将视频数据传回本地高速服务器进行计算，然后将服务器计算得到的当前帧的目标位置结果并且回传到硬件系统。此外，当目标由于遮挡等情况处于丢失状态时，常见的跟踪算法无法重新检测到丢失的目标。一些具有丢失目标重检测功能的跟踪算法，由于重检测算法的计算量大，也只能利用远程服务器进行计算后回传。这种利用服务器回传的处理方式的对数据传输速度的要求极高，很难满足实时的目标跟踪要求。受限于现代光电平台很难与服务器实时通信，并且硬件系统的处理能力有限，目前的目标跟踪或重检测算法在现代光电平台上单独运行时的速度和精度都普遍较低。因此，在现代光电平台上设计同时具有正常跟踪和丢失重检测功能的实时高精度目标跟踪方法是一个很大的挑战。

技术实现思路

[0003]本专利技术解决的问题：针对目标跟踪算法应用于现代光电平台时存在的跟踪精度低，计算速度慢和无法对丢失目标重检测的问题，本专利技术提供一种基于层级化感知机的智能目标跟踪及丢失重检方法，实现对目标的大范围(padding＝6，padding＝6指的是目标大小六倍的区域。如果目标是10*10像素，该区域就是60*60。因为padding＝1的二级搜索区域是小范围。所以为了区分，在这里写的大范围)的精确跟踪以及对丢失目标的重检测的功能；此外，本专利技术方法已经成功在FPGA芯片和ARM芯片的硬件系统实现并验证，计算速度达到实时(50fps)的水平。通过将该硬件系统安装在现代光电平台内，平台可以根据实时接收的图像帧判断目标的状态，进而自适应的选择跟踪或重检测方法得到的当前帧的目标位置，连续控制伺服控制电机移动来完成来连续跟踪任务。
[0004]本专利技术所采用的技术方案是：一种基于层级化感知机的智能目标跟踪及丢失重检方法，该方法利用不同感知机以及设计的层级化结构组成了跟踪支路和重检测支路，实现了跟踪和重新检测功能，包括以下步骤:
[0005](1)根据锁定目标的位置和跟踪框的大小，算法将会对锁定后的POS位置周围的不同搜索区域的图像分别计算特征图，并且采集特征图中的样本作为两种不同感知机的训练样本。
[0006](2)当输入的图像是开始跟踪后的第一帧时，从步骤(1)中获得的一级样本和二级样本，将被分别用于一级感知机和二级感知机的训练环节中，并且初始化目标状态为正常，目标位置为人工设定的坐标，目标参考响应值为1。感知机将会根据设定的目标损失函数进行最优的初始化迭代训练。
[0007](3)当输入的图像是开始跟踪后的第二帧及之后帧的图像时，算法将会利用上一帧返回的目标状态，判断当前帧的图像数据进入跟踪支路还是重检测支路。
[0008](4)当步骤(3)判断进入跟踪支路时，将以上一帧目标位置为中心，训练更新感知机。利用更新后的感知机基于层级化结构设计的两个跟踪分支都会以上一帧目标的位置为搜索中心计算当前帧目标位置，判断是否更新目标参考响应值，以及返回目标状态。
[0009](5)当步骤(3)判断进入重检测支路时，一级感知机和二级感知机都不会进行更新。重检测器以上一帧目标位置为搜索中心，计算得到最大的响应值及其对应位置，然后利用该响应值判断目标当前帧状态是否正常。当满足目标正常条件时，返回目标状态为正常，返回当前帧最大响应值对应的目标位置。否则，返回目标状态为丢失，返回上一帧目标位置。
[0010]所述步骤(1)中，所述的两种感知机为一级感知机和二级感知机。一级感知机的搜索区域为一级搜索区域(padding＝6)。对该一级搜索区域的图像计算特征图，然后将在该特征图中采集的样本作为一级样本。该一级样本的大小大于目标实际大小，其中包含了目标信息和大量的背景信息。二级感知机的搜索区域为二级搜索区域(padding＝1)。对该二级搜索区域的图像计算特征图，然后将在该特征图中采集到样本作为二级样本。该二级样本的大小和目标实际大小相同，其中只包含目标信息。
[0011]其中，计算特征用到的特征模型是由多个具有不同特点的特征线性组合而成。具体的特征包括HOG，GRAY和Harris特征，HOG具有光照不变性，在光照变化的跟踪条件下，对目标进行稳定描述；GRAY特征对目标的灰度特征具有很好的刻画，在目标外观轮廓变化时准确跟踪目标。Harris特征对目标的角点内容判别能力强，当目标由于遮挡造成目标信息缺失时，通过未遮挡区域的角点信息得到遮挡目标的位置。线性组合方式为：HOG对应的特征权重为κ
H
，GRAY特征对应的权重为κ
G
，Harris特征对应的权重为κ
Ha
，κ
H
+κ
G
+κ
Ha
＝1，特征模型为：
[0012]FeatureM＝κ
H
Feature
H
+κ
G
Feature
G
+κ
Ha
Feature
Ha
[0013]其中，FeatureM表示特征模型，Feature
H
，Feature
G
，Feature
Ha
分别表示HOG特征,GRAY特征和Harris特征。
[0014]所述步骤(2)中，第一帧图像中采集得到的一级样本将会用来训练一级感知机，使其获得感知目标和目标周围背景的能力。二级样本将会作为训练样本来使二级感知机获得更加精确感知目标的能力。两种感知机的优化方法都利用相关滤波器的基本原理。
[0015]设置一级感知机的损失函数为：
[0016][0017]设置二级感知机的损失函数为：
[0018][0019]其中，x
1,i
代表在一级搜索区域的特征图中循环采集的第i个一级样本，x
2,i
代表在二级搜索区域的特征图中循环采集的第i个二级样本，n为训练样本的数量。f1(x
1,i
)＝w
1T
x
1,i
为一级感知机的实际输出响应值，f2(x
2,i
)＝w
2T
x
2,i
为二级感知机的实际输出响应值，y
1,i
，y
2,i
分别代表一级和二级期望输出的响应值分布。w1和w2分别代表一级感知机和二级感知机训练的感知参数。正则化系数λ＝0.01本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于，包括以下步骤：(1)针对锁定目标位置周围的一级搜索区域和二级搜索区域内的图像，利用特征模型分别计算它们的特征图，然后对一级搜索区域的特征图和二级搜索区域的特征图采样，分别作为两种感知机即一级感知机和二级感知机的训练样本；一级感知机的搜索区域为一级搜索区域，二级感知机的搜索区域为二级搜索区域；在一级搜索区域的特征图中采集样本的大小大于目标实际大小；二级搜索区域的特征图中采集样本的大小和目标大小相同；一级样本中包含目标信息和背景信息，二级样本中只包含目标信息；(2)当输入图像为开始跟踪后的第一帧时，从步骤(1)中获得的一级样本和二级样本，将被分别用于一级感知机和二级感知机的训练环节中，并且初始化目标状态为正常，目标位置为人工设定的坐标和目标参考响应值为1；一级感知机和二级感知机根据设定的目标损失函数进行最优的初始化迭代训练；训练得到的一级感知机和二级感知机具有不同感受野，分别从背景和目标中获取鲁棒的跟踪信息，适应更多跟踪场景；所述目标状态分为正常和丢失状态，分别对应跟踪和重检测部分；(3)当输入图像为开始跟踪后的第二帧及之后帧的图像时，首先利用一级感知机和二级感知机搭建出具有层级化结构的跟踪支路和重检测支路。然后根据上一帧返回的目标状态是正常还是丢失，判断当前帧的图像进入跟踪支路还是重检测支路；当返回的目标状态是正常时，输入图像进入跟踪支路，将以上一帧目标位置为中心，训练更新一级感知机和二级感知机；跟踪支路中包含两条跟踪分支，两条跟踪分支均以上一帧目标位置为搜索中心计算当前帧目标位置和响应值，根据当前帧的响应值和目标丢失阈值判断目标状态，如果判断目标状态为正常则更新目标参考响应值，否则不更新目标参考响应值；最后将返回的目标位置输出，完成对当前帧的目标的跟踪任务；当返回的目标状态是丢失状态时，输入图像进入重检测支路，一级感知机和二级感知机均不会进行更新；在重检测支路中，利用一级感知机构建的重检测器，以上一帧目标位置为搜索中心，在当前帧计算得到一级感知机中的最大的响应值及其对应位置，然后利用该最大响应值判断该位置的目标状态是否正常；当满足目标状态正常的条件时，返回目标状态为正常，并且返回当前帧中最大响应值对应的目标位置；否则，返回目标状态为丢失，并且返回上一帧目标位置，最后将返回的目标位置输出，完成对当前帧的目标的跟踪任务。2.根据权利要求1所述的基于层级化感知机的智能目标跟踪及丢失重检方法，其特征在于：所述步骤(1)中，利用特征模型计算所采集图像的特征图中的特征模型由HOG特征、GRAY特征和Harris特征组成，特征模型中HOG特征Feature
H
权重为κ
H
＝0.5，GRAY特征Feature
G
对应的权重为κ
G
＝0.25，Harris特征Feature
Ha
对应的权重为κ
Ha
＝0.25，特征模型FeatureM为：FeatureM＝0.5Feature
H
+0.25Feature
G
+0.25Feature
Ha
其中，Feature
H
，Feature
G
，Feature
Ha
分别指HOG特征、GRAY特征和Harris特征。3.根据权利要求1所...

【专利技术属性】
技术研发人员：张弘，邢万里，袁丁，李旭亮，万家旭，杨一帆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：