一种融合孪生网络与相关滤波的目标跟踪方法技术

本发明专利技术提供了一种融合孪生网络与相关滤波的目标跟踪方法包括如下：步骤一、利用ResNet50网络提取图像特征；步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新；该方法能够通过利用注意力机制方法优化目标表观特征信息的描述，利用自适应尺度与学习速率调整的背景感知相关滤波模型设计模型更新策略，并通过相似性判定准则与置信图得到目标最佳位置，最终有效适应遮挡、尺度变化、快速运动、旋转形变及运动模糊等多种复杂因素的影响，实现准确的目标运动状态估计。状态估计。状态估计。

【技术实现步骤摘要】
一种融合孪生网络与相关滤波的目标跟踪方法


[0001]本专利技术属于目标跟踪
，具体涉及一种融合孪生网络与相关滤波的目标跟踪方法。

技术介绍

[0002]随着深度学习技术的发展，诸多研究学者将深度学习技术应用于目标跟踪框架中，并且取得了较为优异的跟踪结果。现阶段基于深度学习理论的目标跟踪方法成为目标跟踪技术研究方案的主流，一般由于神经网络的卷积特征能够更为鲁棒性的描述目标外观信息变化，目标模型在应用中更具有广泛性。
[0003]有文献利用全卷积孪生神经网络结构学习目标相关特征，通过计算搜索区域与模板区域之间的相似性，得到目标区域的响应图，但是网络实现过程未考虑到跟踪过程中模板更新策略，面对复杂环境的影响，跟踪模型易产生漂移。有文献将深度神经网络与相关滤波相结合，提出端到端的目标跟踪框架，在相关滤波模型机制中利用深度特征对目标信息进行有效描述，从而提高了模型性能且模型实时性也存在保障。有文献通过融合浅层特征与深层特征构建目标外观模型，复杂环境下能够有效的区分被跟踪目标信息与背景信息。网络训练过程中引入光流信息，可以在一定程度上提高特征表达能力，同时加入了时空注意力机制充分利用目标的前景信息，从而达到精确定位。有文献将循环神经网络产生的深度特征作用于卷积神经网络构建的目标外观模型中，从而提高了外观模型的表达能力。有文献利用循环神经网络构建序列关联模型，完成信息之间的转换，将有遮挡的环境信息转换为无遮挡的环境信息，从而降低了跟踪过程中遮挡因素的影响。有文献基于目标检测思想将目标跟踪任务划分为两个阶段，即目标分类和目标评价，该方法实现过程中利用深度回归网络构建目标分类模块，以达到粗略的获取目标位置的目的，其中，目标估计网络中引入交并比最大化概念，从而使得矩形框与目标真实位置更加吻合。
[0004]为了更好地解决目标在具有遮挡、光照变化、形变、运动模糊等多种复杂环境下容易出现跟踪漂移的问题，本专利技术设计提出一种融合孪生网络与相关滤波的目标跟踪方法。首先，引入数据增强算法，通过旋转、光照变化等处理手段增强模型训练数据集，然后，引入相关滤波模型，将其视为网络模型中的一层，从而设计模型更新更新策略，最后，通过相似性判定准则得到和目标模板最相似的候选样本，通过响应图的置信度选择目标当前位置，实现目标的准确的跟踪。

技术实现思路

[0005]为了更好地解决目标在具有遮挡、光照变化、形变、运动模糊等多种复杂环境下容易出现跟踪漂移的问题，本专利技术设计提出一种融合孪生网络与相关滤波的目标跟踪方法。
[0006]首先，引入数据增强算法，通过旋转、光照变化等处理手段增强模型训练数据集，然后，引入相关滤波模型，将其视为网络模型中的一层，从而设计模型更新更新策略，最后，通过相似性判定准则得到和目标模板最相似的候选样本，通过响应图的置信度选择目标当
前位置，实现目标的准确的跟踪。
[0007]如图1所示，一种融合孪生网络与相关滤波的目标跟踪方法，包括如下步骤：
[0008]步骤一、利用ResNet50网络提取图像特征；
[0009]步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；
[0010]步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新。
[0011]进一步的，所述步骤一、利用ResNet50网络提取图像特征的具体过程是:
[0012]S201、输入图像经过7*7卷积层，步长为2，生成64通道图像；
[0013]S202、进行归一化及步长为2的池化处理；
[0014]S203、依次传入4个Bottleneck子网络，输出图像大小逐层递减至原始参数的1/32，通道数为2048；
[0015]S204、通过全连接层设计得到预期维度的目标特征。
[0016]进一步的，所述注意力机制包括通道注意力模块、空间注意力模块以及交叉注意力模块。
[0017]进一步的，如图2所示，所述通道注意力模块的处理过程是：
[0018]首先，利用全局平均池化操作对目标特征图进行处理，将大小为w
×
h
×
n的特征图转换成大小为1
×1×
n的向量b
k
，即
[0019][0020]其中，k为向量个数，k＝1,2,3...n表示特征图通道数量，向量b
k
中各元素值每个通道内特征值的平均和；
[0021]其次，将向量b
k
作为全连接层的输入，利用激活函数ReLU进行激活操作，为将通道权重参数归一化，提高网络训练速度；
[0022]再次，连接全连接层并用激活函数sigmoid进行处理，使得通道权重位于[0，1]，通过网络迭代训练得到通道权重系数ε，其中单个元素计算方式ε
k
如下：
[0023][0024]其中，σ
i
和σ
j
分别表示网络权重，对其赋予随机初始值；最后，将单个元素权重系数ε
k
与目标特征图单个通道进行点乘运算，获取通道注意力模块优化的特征图：
[0025][0026]其中，
·
表示点乘。
[0027]进一步的，所述空间注意力模块的处理过程是：
[0028]首先，以目标特征图作为输入，为提高空间注意力模块运算速度，模型设计中首先利用1
×
1尺寸卷积核对输入特征进行降维操作，其次利用不同残差块对降维特征
进行优化，如残差块1特征c1，残差块2特征c2，残差块3特征c3：
[0029][0030]其中，μ1、μ2、μ3表示不同的卷积核，卷积核大小依次为3
×
3，3
×
3，5
×
5；
[0031]将残差块2特征c2进行转置操作，同时与残差块1特征c1进行点乘操作，利用softmax激活函数对相似结果进行归一化处理；值得注意的是，计算过程中，i和j均取不同数值，同时a和b均取不同数值，从而获得大小与特征图等同的空间注意力图，其元素值表示特征图中不同位置的重要性程度，即
[0032][0033]其中，T表示特征图的转置操作，Y
i,j
表示特征图中第i个与第j个位置的相关性；
[0034]将空间注意力图Y
i,j
与残差块3特征c3进行点乘操作，获取经空间注意力机制优化后的目标特征图，即
[0035][0036]进一步的，如图3所示，所述交叉注意力模块的处理过程是：记搜索区域特征图为利用全局平均池化操作降低搜索区域特征维度，从而获得通道特征向量v＝[v1,v2,...v
n
]，其中n表示特征图的通道数量；进而传入全连接层，利用ReLu激活函数对其进行处理，并将激活后的特征图作为下一全连接层的输入，进而利用Sigmoid函数对其进行非线性处理获得权重向量；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于，包括如下步骤：步骤一、利用ResNet50网络提取图像特征；步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新。2.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述步骤一、利用ResNet50网络提取图像特征的具体过程是:S201、输入图像经过7*7卷积层，步长为2，生成64通道图像；S202、进行归一化及步长为2的池化处理；S203、依次传入4个Bottleneck子网络，输出图像大小逐层递减至原始参数的1/32，通道数为2048；S204、通过全连接层设计得到预期维度的目标特征。3.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述注意力机制包括通道注意力模块、空间注意力模块以及交叉注意力模块。4.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述通道注意力模块的处理过程是：首先，利用全局平均池化操作对目标特征图进行处理，将大小为w
×
h
×
n的特征图转换成大小为1
×1×
n的向量b
k
，即其中，k为向量个数，k＝1,2,3...n表示特征图通道数量，向量b
k
中各元素值为每个通道内特征值的平均和，n为特征图通道数量个数；其次，将向量b
k
作为全连接层的输入，利用激活函数ReLU进行激活操作，为将通道权重参数归一化；再次，连接全连接层并用激活函数sigmoid进行处理，使得通道权重位于[0，1]，通过网络迭代训练得到通道权重系数ε，其中单个元素计算方式ε
k
如下：其中，σ
i
和σ
j
分别表示网络权重，对其赋予随机初始值；最后，将单个元素权重系数ε
k
与目标特征图单个通道进行点乘运算，获取通道注意力模块优化的特征图：其中，
·
表示点乘。5.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所
述空间注意力模块的处理过程是：首先，以目标特征图作为输入，利用1
×
1尺寸卷积核对输入特征进行降维操作；其次，利用不同残差块对降维特征进行优化：其中，μ1、μ2、μ3表示不同的卷积核，卷积核大小依次为3
×
3，3
×
3，5
×
5，残差块包括残差块1特征c1，残差块2特征c2，残差块3特征c3；再次，将残差块2特征c2进行转置操作，同时与残差块1特征c1进行点乘操作，利用softmax激活函数对相似结果进行归一化处理获得大小与特征图等同的空间注意力图；其中，i和j均取不同数值，同时a和b均取不同数值，其元素值表示特征图中不同位置的重要性程度，即其中，T表示特征图的转...

【专利技术属性】
技术研发人员：胡秀华，陈媛，刘焕，惠燕，梁颖宇，吴玺，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：