一种考虑时序关系的孪生网络目标跟踪方法技术

本发明专利技术涉及单目标跟踪技术领域，具体公开了一种考虑时序关系的孪生网络目标跟踪方法。本发明专利技术用于解决传统孪生网络跟踪器中无法使用视频时序信息，难以有效提升跟踪准确率和鲁棒性的问题；本发明专利技术首先使用残差网络ResNet

【技术实现步骤摘要】
一种考虑时序关系的孪生网络目标跟踪方法


[0001]本专利技术涉及单目标跟踪
，具体为一种考虑时序关系的孪生网络目标跟踪方法。

技术介绍

[0002]近年来，视觉目标跟踪任务成为了计算机视觉领域的一个重要研究内容。孪生网络凭借着结构简单、性能高效的优势成为了目前目标跟踪算法的主流。传统孪生网络目标跟踪算法包括目标模板分支和搜索区域分支，两个分支的输入分别是裁剪的单张图像块，无法使用视频的时间信息，因此跟踪鲁棒性较差。为了预测目标物体的位置，使用相关操作让目标模板和搜索区域之间产生联系得到响应图，再根据响应图进行分类和回归，最后输出目标物体的预测位置。但相关操作自身是一种局部匹配的方法，得到的预测结果是搜索区域中的局部最优结果，因此跟踪准确率较低。

技术实现思路

[0003]针对上述问题，本专利技术的目的在于提供一种考虑时序关系的孪生网络目标跟踪方法，可以在传统孪生网络跟踪框架中使用视频的时间信息。对目标模板图像序列和搜索区域图像进行特征提取的骨干网络；提取目标模板特征序列中的时间信息的时序信息融合网络；基于交叉注意力设计的目标位置预测网络。将上述网络模型在指定训练数据集上进行离线训练，得到收敛的跟踪模型。使用训练好的跟踪模型在给定的视频中进行在线跟踪，可准确的预测出目标物体的位置。技术方案如下：一种考虑时序关系的孪生网络目标跟踪方法，包括以下步骤：步骤1：构建考虑时序关系的孪生网络目标跟踪模型，包括特征提取网络，时序信息融合网络和目标位置预测网络；步骤2：选取目标损失函数和训练数据集，对上述孪生网络目标跟踪模型进行离线训练，直到网络模型收敛为止；步骤3：将训练好的考虑时序关系的孪生网络目标跟踪模型在给定视频上进行在线跟踪。
[0004]进一步的，所述步骤1中构建考虑时序关系的孪生网络目标跟踪模型，具体包括：步骤1.1：选取残差网络ResNet
‑
50作为特征提取网络，其输入为3张目标模板图像，以及1张搜索区域图像；残差网络ResNet
‑
50模型共有4层，取第3层的输出作为提取的特征，得到目标模板特征f
t1
、f
t2
和f
t3
，以及搜索区域特征f
s
；步骤1.2：构建基于多层感知机的时序信息融合网络，根据提取的目标模板特征f
t1
、f
t2
和f
t3
，得到包含时间信息的目标模板特征f
t
；步骤1.3：使用交叉注意力获取包含时间信息的目标模板特征f
t
和搜索区域特征f
s
之间的响应图，根据响应图计算相似度得分预测目标物体的位置。
[0005]更进一步的，所述步骤1.2中构建基于多层感知机的时序信息融合网络，具体包
括：所述基于多层感知机的时序信息融合网络包括LayerNorm归一化层、全连接层和ReLU激活层；其输入为三个目标模板特征f
t1
、f
t2
和f
t3
，将每一个目标模板特征的宽和高合为一个空间维度，此时目标模板特征变为一个二维矩阵，对该矩阵进行转置；将处理后的三个目标模板特征按照通道维度依次拼接在一起，得到新的目标模板特征f
t1，2,3
，其通道维度包含帧与帧之间的时序关系，使用关注全局信息的多层感知机去提取蕴含的时间信息，即将f
t1，2,3
通过一个LayerNorm归一化层，再依次通过三个全连接层和两个ReLU激活层，提取到目标模板特征f
t1，2,3
中的时间信息，最后得到包含时间信息的目标模板特征f
t
；其表达式为：f
t
=MLP
time
（ft1，ft2，ft3），其中，MLP
time
为时序信息融合网络；ReLU激活函数公式表达为：其中，x表示前一个全连接层的输出值；基于多层感知机的时序信息融合网络公式表达为：f
out
=w3（w2（w1f
in
+b1）+b2）+b3其中，w1，w2和w3是权重参数，b1，b2和b3为偏置矩阵，用于避免模型过拟合；f
in
表示网络的输入，f
out
表示网络的输出。
[0006]更进一步的，所述步骤1.3中预测目标物体的位置，具体包括：使用交叉注意力得到的响应图，依次经过LayerNorm归一化层、全连接层和Sigmoid激活层，得到相似度得分图，得分范围为（0，1），表示当前位置为目标物体的概率；规定相似度得分大于或等于阈值得分s
thres
，则判定为目标物体；相似度得分图的一个像素点对应搜索区域图像中对应区域；相似度得分大于阈值s
thres
，则该区域是目标物体，则取出相似度得分图中左上角大于阈值得分s
thres
的坐标（x1，y1）和右下角大于阈值得分s
thres
的坐标（x2，y2），将其映射到搜索区域图像中得到目标物体的预测框。
[0007]更进一步的，所述交叉注意力的计算公式表示为：其中，d
Linear(ft)
为Linear(ft)的维度，Linear为全连接层，softmax为归一化函数，公式表达为：其中，x
i
为第i个节点输出，N为输出节点的总数，e为自然指数。
[0008]更进一步的，所述步骤2中选取目标损失函数和训练数据集，具体包括：训练考虑时序关系的孪生网络目标跟踪模型时，使用L2损失和IoU损失，L2损失的
计算公式为：其中，（x1，y1）为预测框的左上角坐标，（x2，y2）为预测框的右下角坐标；（t
x1
，t
y1
）和（t
x2
，t
y2
）分别为目标真实框的左上角坐标和右下角坐标；IoU损失的计算公式为：其中，为目标真实框的面积，为预测框的面积；最终的损失函数计算公式为：loss=loss
L2
+loss
IoU
。
[0009]使用标注了目标真实框标签的训练集，并在所述训练集的同一个视频序列中，任意选取三帧图片作为目标模板帧，相邻两帧之间的帧差最大为10；随机选取先前确定的目标模板帧后100帧以内的某一帧作为搜索区域帧；上述目标模板帧和搜索区域帧分别为以目标物体为中心裁剪出的目标模板图像和搜索区域图像。
[0010]更进一步的，所述步骤3具体包括：步骤3.1：给定一段需要跟踪的视频，在初始帧中选取感兴趣的目标物体，并以该目标物体为中心裁剪出目标模板图像；步骤3.2：在第二帧中以上一帧目标物体位置为中心裁剪出搜索区域图像；步骤3.3：把在初始帧中获取的目标模板图像复制为3份，作为目标模板图像序列，和在第二帧中获取的搜索区域图像一起输入考虑时序关系的孪生网络目标跟踪模型中，得到第二帧中目标物体的预测位置；步骤3.4：以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑时序关系的孪生网络目标跟踪方法，其特征在于，包括以下步骤：步骤1：构建考虑时序关系的孪生网络目标跟踪模型，包括特征提取网络，时序信息融合网络和目标位置预测网络；步骤2：选取目标损失函数和训练数据集，对上述孪生网络目标跟踪模型进行离线训练，直到网络模型收敛为止；步骤3：将训练好的考虑时序关系的孪生网络目标跟踪模型在给定视频上进行在线跟踪。2.根据权利要求1所述的一种考虑时序关系的孪生网络目标跟踪方法，其特征在于，所述步骤1中，构建考虑时序关系的孪生网络目标跟踪模型，具体包括：步骤1.1：选取残差网络ResNet
‑
50作为特征提取网络，其输入为3张目标模板图像，以及1张搜索区域图像；残差网络ResNet
‑
50模型共有4层，取第3层的输出作为提取的特征，得到目标模板特征f
t1
、f
t2
和f
t3
，以及搜索区域特征f
s
；步骤1.2：构建基于多层感知机的时序信息融合网络，根据提取的目标模板特征f
t1
、f
t2
和f
t3
，得到包含时间信息的目标模板特征f
t
；步骤1.3：使用交叉注意力获取包含时间信息的目标模板特征f
t
和搜索区域特征f
s
之间的响应图，根据响应图计算相似度得分预测目标物体的位置。3.根据权利要求2所述的一种考虑时序关系的孪生网络目标跟踪方法，其特征在于，所述步骤1.2中，构建基于多层感知机的时序信息融合网络，具体包括：所述基于多层感知机的时序信息融合网络包括LayerNorm归一化层、全连接层和ReLU激活层；其输入为三个目标模板特征f
t1
、f
t2
和f
t3
，将每一个目标模板特征的宽和高合为一个空间维度，此时目标模板特征变为一个二维矩阵，对该矩阵进行转置；将处理后的三个目标模板特征按照通道维度依次拼接在一起，得到新的目标模板特征f
t1，2,3
，其通道维度包含帧与帧之间的时序关系，使用关注全局信息的多层感知机去提取蕴含的时间信息，即将f
t1，2,3
通过一个LayerNorm归一化层，再依次通过三个全连接层和两个ReLU激活层，提取到目标模板特征f
t1，2,3
中的时间信息，最后得到包含时间信息的目标模板特征f
t
；其表达式为：f
t
=MLP
time
（ft1，ft2，ft3）其中，MLP
time
为时序信息融合网络；ReLU激活函数公式表达为：其中，x表示前一个全连接层的输出值；基于多层感知机的时序信息融合网络公式表达为：f
out
=w3（w2（w1f
in
+b1）+b2）+b3其中，w1，w2和w3是权重参数，b1，b2和b3为偏置矩阵，用于避免模型过拟合；f
in
表示网络的输入，f
out
表示网络的输出。4.根据权利要求3所述的一种考虑时序关系的孪生网络目标跟踪方法，其特征在于，所述步骤1.3中，预测目标物体的位置，具体包括：
使用交叉注意力得到的响应图，依次经过Lay...

【专利技术属性】
技术研发人员：孙仕棚，兰时勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：