鲁棒视觉跟踪的互惠层间-时间判别目标模型制造技术

本发明专利技术公开了一种用于鲁棒视觉跟踪的互惠层间

【技术实现步骤摘要】
鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型


[0001]本专利技术涉及目标跟踪
，特别是指一种鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型
。

技术介绍

[0002]视觉跟踪作为计算机视觉领域的重要研究课题之一，在视频监控
、
无人驾驶
、
道路交通监控等领域有着广泛的应用
。
它是指在给定视频序列的第一帧中识别目标，然后在后续帧中跟踪目标
。
近年来，
Siamese
跟踪算法以其优越的跟踪精度和速度受到了大量研究人员的青睐，视觉跟踪技术也取得了很大的进展，但面对实际跟踪过程中存在的相似目标干扰
、
目标形变等挑战，如何实现较为鲁棒的跟踪仍是一个亟待解决的问题
。
[0003]常见的
Siamese
跟踪算法通过计算模板和搜索区域之间的相似度来确定目标的位置
。
然而，在特征提取过程中，目标对搜索区域是盲目的，这可能导致类目标干扰的累积误差对最终特征产生不利影响，进而影响跟踪结果
。
为解决这些问题，一些算法认为跟踪搜索区域中最显著的目标可以获得更优异的性能，因此他们专注于设计更好的特征提取方式；一些算法认为增强目标的表征同样重要，因此有了注意力机制来进一步聚焦于目标的特征；一些算法则直接进行特征提取过程中双分支之间的信息交互，建立模板与搜索区域之间的联系来提高跟踪精度
。
这些从不同角度提升跟踪性能的算法虽然极大地促进了视觉跟踪的发展，但仅利用基于外观建模的跟踪框架不能很好地解决干扰带来的问题
。
[0004]为了提高跟踪器的判别能力，一些算法试图通过建立干扰模型来更有效地区分目标和背景
。
他们有的通过设计一种学习干扰感知模块，去捕捉跟踪过程中目标的外观变化；有的建议主动跟踪干扰，通过设计关联网络，运行目标和干扰在不同帧之间传播，利用干扰来进一步推断目标
。
需要注意的是，基于背景感知的跟踪算法往往会忽略对目标的进一步挖掘，因此背景中的干扰也会对跟踪结果产生不利影响
。
针对上述问题，有必要设计一种在增强目标感知的情况下也能抑制背景干扰的跟踪算法，旨在进一步挖掘目标特征的同时也能利用到背景的判别能力
。

技术实现思路

[0005]针对以上不足，本专利技术提出了一种鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，该方法通过建立模板和搜索区域在特征提取过程中的信息交互来增强目标感知，同时，利用相邻帧候选对象之间的相似关系来消除相似干扰，实现二者之间的互惠，以提高跟踪的鲁棒性
。
[0006]为了实现以上技术目的，本专利技术技术方案如下：
[0007]一种鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，包括以下步骤：
[0008]步骤一
、
利用预训练的网络，分别进行模板和搜索区域的特征提取，然后经匹配模块得到响应图
M1；
[0009]步骤二
、
通过层间目标感知增强模型，在特征提取过程中，建立模板和搜索区域的
逐像素相关性，进行网络第一阶段和第四阶段的信息交互，再经匹配模块得到响应图
M2；
[0010]步骤三
、
将
M1和
M2进行加权融合得到更能突出目标的响应图
M
；
[0011]步骤四
、
通过时间干扰评估策略保留响应图
M
中的多个候选；
[0012]步骤五
、
通过帧间候选传播模块建立相邻帧多个候选之间的联系，得到相似度得分；
[0013]步骤六
、
根据得到的相似度得分消除相似的干扰候选，从而得到更可靠的目标位置；
[0014]步骤七
、
后续跟踪过程按照上述步骤进行，直至视频结束
。
[0015]进一步地，步骤一中所述网络为
FBNet
网络
。
[0016]进一步地，步骤二中第一阶段和第四阶段信息交互的建立方式如下：
[0017]首先通过
1*1
的卷积和最大下采样方式对输入特征进行重塑，然后利用逐像素相关模块获取模板和搜索区域特征之间每个像素的相似度，得到相似度特征，并通过
1*1
卷积和上采样来对该特征进行聚合，最终得到更具判别性的特征
。
[0018]进一步地，步骤三中响应图
M
的表示如下：
[0019]M
＝
ω
*M1+(1
‑
ω
)*M2[0020]M
为加权融合后得到的更能突出目标的响应图，
ω
为权重因子，用于调整
M1和
M2所占的比例，
M1为原始未进行信息交互的响应图，
M2为进行模板和搜索区域的信息交互后得到的响应图
。
[0021]进一步地，根据步骤四中时间干扰评估策略来消除响应图中相似干扰候选对象的影响，得到更可靠目标位置，对于候选对象的选择，其形式如下：
[0022]C
i
＝
{(s
i
，
p
i
，
f
i
)}
，
i∈[1
，
5][0023]C
i
表示候选集合，
s
i
表示相应分数，
p
i
表示分数对应的位置，
f
i
表示在该位置提取的特征，
i
为自变量，表示包含5个元素
。
[0024]进一步地，
s
i
的获取方式如下：
[0025]s
i
＝
Top
i
(s)
，
i∈[1
，
5][0026]其中
Top
表示在响应图中选择得分最高的位置作为候选集合
C
i
中的元素，
i
为自变量，取值为1‑5，表示选取得分前五的5个位置
p
i
。
[0027]进一步地，特征
f
i
的表示形式如下：
[0028][0029]表示特征提取网络，根据得分
s
i
和位置
p
i
，得到相应位置的特征
f
i
，并存储于候选集合
C
i
中
。
[0030]进一步地，步骤四中候选包括对象的得分，位置和特征
。
[0031]进一步地，最终结果的表示形式如下：
...

【技术保护点】

【技术特征摘要】
1.
一种鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，其特征在于，包括以下步骤：步骤一
、
利用预训练的网络，分别进行模板和搜索区域的特征提取，然后经匹配模块得到响应图
M1；步骤二
、
通过层间目标感知增强模型，在特征提取过程中，建立模板和搜索区域的逐像素相关性，进行网络第一阶段和第四阶段的信息交互，再经匹配模块得到响应图
M2；步骤三
、
将
M1和
M2进行加权融合得到更能突出目标的响应图
M
；步骤四
、
通过时间干扰评估策略保留响应图
M
中的多个候选；步骤五
、
通过帧间候选传播模块建立相邻帧多个候选之间的联系，得到相似度得分；步骤六
、
根据得到的相似度得分消除相似的干扰候选，从而得到更可靠的目标位置；步骤七
、
后续跟踪过程按照上述步骤进行，直至视频结束
。2.
根据权利要求1所述的鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，其特征在于：步骤一中所述网络为
FBNet
网络
。3.
根据权利要求1所述的鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，其特征在于：步骤二中第一阶段和第四阶段信息交互的建立方式如下：首先通过
1*1
的卷积和最大下采样方式对输入特征进行重塑，然后利用逐像素相关模块获取模板和搜索区域特征之间每个像素的相似度，得到相似度特征，并通过
1*1
卷积和上采样来对该特征进行聚合，最终得到更具判别性的特征
。4.
根据权利要求1所述的鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，其特征在于：步骤三中响应图
M
的表示如下：
M
＝
ω
*M1+(1
‑
ω
)*M2M
为加权融合后得到的更能突出目标的响应图，
ω
为权重因子，用于调整
M1和
M2所占的比例，
M1为原始未进行信息交互的响应图，
M2为进行模板和搜索区域的信息交互后得到的响应图
。5.
根据权利要求1所述的鲁棒视觉跟踪的互惠层间
‑
时间判别目标模型，其特征在于：根据步骤四中时间干扰评估策略来消除响应图中相似干扰候选对象的影响，得到更...

【专利技术属性】
技术研发人员：赵彦春，张焕龙，马宗浩，蒋斌，田杨阳，智鹏鹏，沈冯立，万优，段裕龙，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：