基于多层级特征融合的目标跟踪方法、系统和电子设备技术方案

本申请公开了一种基于多层级特征融合的目标跟踪方法、系统和电子设备，其从待跟踪目标的图像中提取方向梯度直方特征图和颜色特征图，并融合得到第一融合特征图，进一步地使用卷积神经网络模型从所述方向梯度直方特征图和所述颜色特征图提取更深层次的特征，并融合得到第二融合特征图，接着，融合所述第一融合特征图和所述第二融合特征图以生成分类特征图，将所述分类特征图通过分类器来进行目标跟踪，能优化目标跟踪的精度和准度。能优化目标跟踪的精度和准度。能优化目标跟踪的精度和准度。

【技术实现步骤摘要】
基于多层级特征融合的目标跟踪方法、系统和电子设备


[0001]本申请涉及目标跟踪领域，且更为具体地，涉及一种基于多层级特征融合的目标跟踪方法、系统和电子设备。

技术介绍

[0002]目标定位、检测、跟踪在视觉监控、机器人学、人机交互等领域均有很重要的应用价值。尽管近年来机器视觉领域取得了很大进展，但仍没有完全解决目标遮挡、复杂背景变化、快速运动、噪声干扰等重大难题。在机器视觉领域，目标通常会被表示为深度特征和手工特征的形式。深度特征通过卷积神经网络训练大量样本，学习跟踪目标的特征。基于深度学习的目标跟踪算法性能较佳，但是在应对不同的目标跟踪时，训练不同的样本需要很大的数据量和很强的计算能力，训练过程中容易出现过拟合现象，在实际应用时泛化能力不足。
[0003]因此，期望提供一种优化的目标跟踪方案。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多层级特征融合的目标跟踪方法、系统和电子设备，其从待跟踪目标的图像中提取方向梯度直方特征图和颜色特征图，并融合得到第一融合特征图，进一步地使用卷积神经网络模型从所述方向梯度直方特征图和所述颜色特征图提取更深层次的特征，并融合得到第二融合特征图，接着，融合所述第一融合特征图和所述第二融合特征图以生成分类特征图，将所述分类特征图通过分类器来进行目标跟踪，能优化目标跟踪的精度和准度。
[0005]根据本申请的一个方面，提供了一种基于多层级特征融合的目标跟踪方法，其包括：
[0006]获取待跟踪目标的图像；
[0007]基于滤波模板与颜色模板分别从所述待跟踪目标的图像中提取方向梯度直方特征图和颜色特征图；
[0008]将所述方向梯度直方特征图和所述颜色特征图通过线性组合的方式进行融合以获得第一融合特征图；
[0009]将所述方向梯度直方特征图通过第一卷积神经网络以获得第一特征图；
[0010]将所述颜色特征图通过第二卷积神经网络以获得第二特征图；
[0011]对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成校正后第二特征图；
[0012]融合所述第一特征图和所述校正后第二特征图以生成第二融合特征图；
[0013]融合所述第一融合特征图和所述第二融合特征图以生成分类特征图；和
[0014]将所述分类特征图通过分类器以获得分类结果，所述分类结果为目标跟踪结果。
[0015]在上述目标跟踪方法中，将所述方向梯度直方特征图和所述颜色特征图通过线性
组合的方式进行融合以获得第一融合特征图，包括：
[0016]对所述梯度方向直方特征图进行线性变换以调整所述梯度直方特征图的尺寸至与所述颜色特征图的尺寸相一致；以及
[0017]在通道维度将具有相同尺寸的所述梯度方向直方特征图和所述颜色特征图进行级联以生成所述第一融合特征图。
[0018]在上述目标跟踪方法中，将所述方向梯度直方特征图通过第一卷积神经网络以获得第一特征图，包括：
[0019]所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入数据为所述方向梯度直方特征图。
[0020]在上述目标跟踪方法中，将所述颜色特征图通过第二卷积神经网络以获得第二特征图，包括：
[0021]从所述第二卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；
[0022]从所述第二卷积神经网络的第N层提取深层特征图，N大于等于2M；和
[0023]计算所述浅层特征图和所述深层特征图之间的按位置加权和以获得所述第二特征图。
[0024]在上述目标跟踪方法中，对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成校正后第二特征图，包括：
[0025]以如下公式对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成所述校正后第二特征图，其中，所述公式为：
[0026][0027]其中，f
i
是所述第二融合特征图的每个位置的特征值，是所述第二融合特征图的所有特征值的均值，log(
·
)表示以2为底的对数函数值，f
i
′
是所述校正后第二特征图的每个位置的特征值。
[0028]在上述目标跟踪方法中，融合所述第一特征图和所述校正后第二特征图以生成第二融合特征图，包括：
[0029]以如下公式来融合所述第一特征图和所述校正后第二特征图以生成所述第二融合特征图，其中，所述公式为：
[0030]F
r2
＝λF1+F2[0031]其中，F
r2
为所述第二融合特征图，F1为所述第一特征图，F2为所述校正后第二特征图，“+”表示所述第一特征图和所述校正后第二特征图相对应位置处的元素相加，λ为用于控制所述第二融合特征图中所述第一特征图和所述校正后第二特征图之间的平衡的加权参数。
[0032]在上述目标跟踪方法中，将所述分类特征图通过分类器以获得分类结果，所述分类结果为目标跟踪结果，包括：
[0033]所述分类器以如下公式对所述分类特征图进行处理以生成所述分类结果，其中，所述公式为：softmax{(W
n
，B
n
)：...：(W1，B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至W
n
为各层全连接层的权重矩阵，B1至B
n
表示各层全连接层的偏置矩阵。
[0034]根据本申请的另一方面，提供了一种目标跟踪系统，其包括：
[0035]图像获取模块，用于获取待跟踪目标的图像；
[0036]特征提取模块，用于基于滤波模板与颜色模板分别从所述待跟踪目标的图像中提取方向梯度直方特征图和颜色特征图；
[0037]第一融合模块，用于将所述方向梯度直方特征图和所述颜色特征图通过线性组合的方式进行融合以获得第一融合特征图；
[0038]第一深度特征提取模块，用于将所述方向梯度直方特征图通过第一卷积神经网络以获得第一特征图；
[0039]第二深度特征提取模块，用于将所述颜色特征图通过第二卷积神经网络以获得第二特征图；
[0040]校正模块，用于对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成校正后第二特征图；
[0041]第二融合模块，用于融合所述第一特征图和所述校正后第二特征图以生成第二融合特征图；
[0042]第三融合模块，用于融合所述第一融合特征图和所述第二融合特征图以生成分类特征图；和
[0043]分类模块，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果为目标跟踪结果。
[0044]在上述目标跟踪系统中，所述第一融合模块还用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层级特征融合的目标跟踪方法，其特征在于，包括：获取待跟踪目标的图像；基于滤波模板与颜色模板分别从所述待跟踪目标的图像中提取方向梯度直方特征图和颜色特征图；将所述方向梯度直方特征图和所述颜色特征图通过线性组合的方式进行融合以获得第一融合特征图；将所述方向梯度直方特征图通过第一卷积神经网络以获得第一特征图；将所述颜色特征图通过第二卷积神经网络以获得第二特征图；对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成校正后第二特征图；融合所述第一特征图和所述校正后第二特征图以生成第二融合特征图；融合所述第一融合特征图和所述第二融合特征图以生成分类特征图；和将所述分类特征图通过分类器以获得分类结果，所述分类结果为目标跟踪结果。2.根据权利要求1所述的基于多层级特征融合的目标跟踪方法，其中，将所述方向梯度直方特征图和所述颜色特征图通过线性组合的方式进行融合以获得第一融合特征图，包括：对所述梯度方向直方特征图进行线性变换以调整所述梯度直方特征图的尺寸至与所述颜色特征图的尺寸相一致；以及在通道维度将具有相同尺寸的所述梯度方向直方特征图和所述颜色特征图进行级联以生成所述第一融合特征图。3.根据权利要求2所述的基于多层级特征融合的目标跟踪方法，其中，将所述方向梯度直方特征图通过第一卷积神经网络以获得第一特征图，包括：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于卷积核的卷积处理、池化处理和非线性激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入数据为所述方向梯度直方特征图。4.根据权利要求3所述的基于多层级特征融合的目标跟踪方法，其中，将所述颜色特征图通过第二卷积神经网络以获得第二特征图，包括：从所述第二卷积神经网络的第M层提取浅层特征图，其中，M大于等于4且小于等于6；从所述第二卷积神经网络的第N层提取深层特征图，N大于等于2M；和计算所述浅层特征图和所述深层特征图之间的按位置加权和以获得所述第二特征图。5.根据权利要求4所述的基于多层级特征融合的目标跟踪方法，其中，对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成校正后第二特征图，包括：以如下公式对所述第二特征图中每个位置的特征值进行稀疏性隐式限制因数校正以生成所述校正后第二特征图，其中，所述公式为：其中，f
i
是所述第二融合特征图的每个位置的特征值，是所述第二融合特征图的所有特征值的均值，lo
g
(
·
)表示以2为底的对数函数值，f
i
′
是所述校正后第二特征图的每个位
置的特征值。6.根据权利要求5所述的基于多层级特征融合的目标跟踪方法，其...

【专利技术属性】
技术研发人员：肖洵，
申请(专利权)人：天际吉安光电信息有限公司，
类型：发明
国别省市：