一种基于模板更新和无锚框方式的目标跟踪方法技术

本发明专利技术公开了一种基于模板更新和无锚框方式的目标跟踪方法，主要用于对视频目标进行跟踪，确定目标在视频中的位置和大小。该方法包括对训练数据集进行裁剪；对卷积神经网络的构建和改进；实现基于无锚框和椭圆标注下的预测框回归结构；更新目标模板并进行特征融合以提高模板鲁棒性；使用带距离度量的重叠率回归损失函数提高训练的收敛效果和对目标的拟合程度等步骤。本发明专利技术解决了跟踪方法中目标模板随时间逐渐退化，跟踪漂移甚至丢失的问题，使得改进后的网络结构更加鲁棒和稳定，在保持实时跟踪的基础上实现较高精度的跟踪效果。

【技术实现步骤摘要】
一种基于模板更新和无锚框方式的目标跟踪方法
本专利技术涉及计算机视觉、深度学习以及图像处理领域，特别是涉及基于孪生网络的特征提取，模板更新和无锚框方式的目标回归等领域。具体涉及一种基于模板更新和无锚框方式的目标跟踪方法，主要针对视频图像中的目标在运动过程中产生形变、旋转、遮挡等变化，导致算法模板容易出现退化，目标跟踪出现漂移和丢失等问题。
技术介绍
目标跟踪作为计算机视觉领域的基础研究任务之一，在智能监控、无人驾驶、安防等领域受到广泛应用。简单来说，目标跟踪旨在给出初始帧标注情况下，通过学习其初始外观特征，预测视频后续帧中该目标的位置和形态大小。然而目前跟踪算法仍然面临许多问题，包括目标剧烈的外观形变、旋转、消失重现、快速移动等问题，都可能致使跟踪算法出现目标丢失情况。因此一个鲁棒而稳定的跟踪方法是急需和必要的。现有的跟踪算法大多采用基于有锚框的方式完成跟踪任务，该方式通过人工阈值来筛选预设的多个锚框，采用平移和缩放等方式消除偏移量，回归目标位置。然而，预设锚框需要设置包括尺度和锚框纵横比等超参数，这一手工设定将会导致最终跟踪框很难达到最优的拟合效果，从而限制了跟踪精确度的上限。此外孪生网络算法大多仅采用的初始模板作为参考帧搜索目标，不更新初始目标模板。这一不更新模板的方式会导致过分依赖初始模板。当目标受到剧烈形变，旋转，遮挡等问题影响时，特征信息会产生显著变化，会导致模板有用信息随时间呈指数衰减，无法较好的和现有目标匹配，造成目标漂移甚至丢失，以及发生漂移后难以从跟踪失败中恢复等问题。部分算法会简单的逐帧更新样本，但逐帧的更新会严重的影响了速度，无法达到实时的跟踪速度。算法训练过程中的损失函数方面，目前算法都是使用逻辑损失、SmoothL1损失或者IOU损失，而这些损失函数对算法训练的收敛效果还不足以满足社会需求和复杂场景，面对预测框和真实目标相差较远时难以较好回归预测框。综上所述分析，本专利技术提出一种基于模板更新和无锚框方式的目标跟踪方法。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种基于模板更新和无锚框方式的目标跟踪方法，该方法充分利用视频后续帧中跟踪目标的特征信息来更新模板信息，保持在跟踪过程中目标模板的可用性，改进跟踪算法的鲁棒性和稳定性，同时保证更新模板不影响跟踪的实时速度。为达到上述目的，本专利技术提供了一种基于模板更新和无锚框方式的目标跟踪方法，所述的方法包括如下步骤：步骤1：根据图像中的目标位置和大小，分别对目标模板图像和搜索区域图像进行区域裁剪，以裁剪后的目标模板图像和搜索区域图像组成的图像对作为训练数据集；步骤2：构建基于模板更新的卷积神经网络，所述基于模板更新的卷积神经网络包含3个完全相同的分支卷积网络结构，分别为第一分支、第二分支、第三分支，第一分支为当前模板分支，用于生成已有模板的特征；第二分支为更新模板分支，用于完成模板信息的更新并获取特征图；第三分支为搜索区域分支，用于完成对搜索区域图像进行特征提取；三分支中第一二分支先进行加权融合后再与第三分支进行逐层互相关运算，得到响应得分图；步骤3：构建图像分类和目标位置回归子网络；分类是对图像进行前景背景的二分类，回归采用无锚框方式直接预测目标的中心点和矩形框的上下左右四条边框位置；步骤4：基于公开训练数据集，训练所述步骤3和步骤4组成的基于模板更新和无锚框方式的跟踪网络，获得训练好参数的基于模板更新和无锚框方式的跟踪网络；步骤5：使用训练好参数的基于模板更新和无锚框方式的跟踪网络确定视频序列中每帧图像中目标的位置和大小，完成目标跟踪。进一步地，步骤1中所述裁剪训练数据集的具体过程如下：步骤1.1：以目标所在区域为中心裁剪出矩形图像构成初始模板图像，所述矩形图像长宽分别为目标矩形框长宽的四分之一；若矩形框超出原视频帧边界，则扩展部分以图像平均像素进行填充；最后将裁剪的目标缩放到127×127；步骤1.2：以目标所在区域为中心裁剪出矩形图像构成搜索区域图像，所述矩形图像长宽分别为目标矩形框长宽的二分之一，若矩形框超出原视频帧边界，则扩展部分以图像平均像素进行填充；最后将裁剪的目标缩放到255×255；进一步地，步骤2中所述构建基于模板更新和无锚框方式的跟踪网络的具体过程如下：步骤2.1：加载网络的预训练模型和参数配置文件，以模板图像和搜索图像对作为第一、第三分支的输入；步骤2.2：所述第一分支将模板Ti-1输入第一分支卷积神经网络，通过Conv1-Conv3输出第一层特征图通过Conv1-Conv4输出第二层特征图通过Conv1-Conv5输出第三层特征图i＝1表示T0为初始模板，i>1表示Ti-1为后续帧中的当前模板；步骤2.3：所述第三分支将模板S输入第一分支卷积神经网络，通过Conv1-Conv3输出第一层特征图通过Conv1-Conv4输出第二层特征图通过Conv1-Conv5输出第三层特征图步骤2.4：将所述模板特征图与搜索图像特征图进行逐层互相关运算，公式如下：对所述三层得分图进行平均值融合，得到最后的响应得分图和模板置信度，用于步骤4中完成训练；步骤2.5：模板更新采用高置信度的模板进行更新，目标模板的更新控制器的公式如下：即当置信度大于0.99，并且两次更新帧之间相差30的时候进行一次模板更新；步骤2.6：将更新的模板图像Ti按照步骤1.1进行裁剪后，输入第一分支卷积神经网络，得到特征图将更新模板与当前模板进行加权融合，生成新的模板，融合模板公式如下：其中，λ代表更新模板和当前模板的权重比例，可以根据经验条件，默认设置为0.15。将当前新模板代替初始模板存储在寄存器中，直到下次模板更新完成。进一步地，步骤3中分类和目标位置回归的具体过程如下：步骤3.1：将步骤2.5中所述响应得分图送入分类与回归子网络，分别对目标进行前景和背景的二分类和基于无锚框的目标预测框回归；步骤3.2：所述预测框的无锚框位置回归的具体过程如下：针对当前跟踪任务中采用矩形框标注方式进行跟踪回归存在着严重的背景干扰问题，本专利技术采用了椭圆形的标注方式，以减少对背景的学习。设真实框中心点(xc,yc)，宽w，高h,左上角(x0,y0)，右下角(x1,y1)，分别以(xc,yc)为中心，与为半径确定两个相包含的椭圆E1,E2。样本标签性质的确定方式与矩形框下的IOU相似：即如果(px，py)落在椭圆E1外部，则被看作是负样本标签，如果落在E2内部，则被看作是负标签，如果落在E1和E2之间，则忽略它。正样本点被用于边框回归，回归目标被定义为：dl＝px-x0，dt＝px-y0，dr＝x1-px，db＝y1-px，其中，dl，dt，dr，db分别代表左，上，右，下四条边框到(px，py)的距离。进一步地，步骤4中训练所述基于模板更新和无锚框方式的跟踪网络设计如下：步骤4.1：将步骤2.5中所述本文档来自技高网...

【技术保护点】
1.一种基于模板更新和无锚框方式的目标跟踪方法，其特征在于，包括如下步骤：/n步骤1：根据图像中的目标位置和大小，分别对目标模板图像和搜索区域图像进行区域裁剪，以裁剪后的目标模板图像和搜索区域图像组成的图像对作为训练数据集；/n步骤2：构建基于模板更新的卷积神经网络，所述基于模板更新的卷积神经网络包含3个完全相同的分支卷积网络结构，分别为第一分支、第二分支、第三分支，第一分支为当前模板分支，用于生成已有模板的特征；第二分支为更新模板分支，用于完成模板信息的更新并获取特征图；第三分支为搜索区域分支，用于完成对搜索区域图像进行特征提取；三分支中第一二分支先进行加权融合后再与第三分支进行逐层互相关运算，得到响应得分图；/n步骤3：构建图像分类和目标位置回归子网络；分类是对图像进行前景背景的二分类，回归采用无锚框方式直接预测目标的中心点和矩形框的上下左右四条边框位置；/n步骤4：基于公开训练数据集，训练所述步骤3和步骤4组成的基于模板更新和无锚框方式的跟踪网络，获得训练好参数的基于模板更新和无锚框方式的跟踪网络；/n步骤5：使用训练好参数的基于模板更新和无锚框方式的跟踪网络确定视频序列中每帧图像中目标的位置和大小，完成目标跟踪。/n...

【技术特征摘要】
1.一种基于模板更新和无锚框方式的目标跟踪方法，其特征在于，包括如下步骤：
步骤1：根据图像中的目标位置和大小，分别对目标模板图像和搜索区域图像进行区域裁剪，以裁剪后的目标模板图像和搜索区域图像组成的图像对作为训练数据集；
步骤2：构建基于模板更新的卷积神经网络，所述基于模板更新的卷积神经网络包含3个完全相同的分支卷积网络结构，分别为第一分支、第二分支、第三分支，第一分支为当前模板分支，用于生成已有模板的特征；第二分支为更新模板分支，用于完成模板信息的更新并获取特征图；第三分支为搜索区域分支，用于完成对搜索区域图像进行特征提取；三分支中第一二分支先进行加权融合后再与第三分支进行逐层互相关运算，得到响应得分图；
步骤3：构建图像分类和目标位置回归子网络；分类是对图像进行前景背景的二分类，回归采用无锚框方式直接预测目标的中心点和矩形框的上下左右四条边框位置；
步骤4：基于公开训练数据集，训练所述步骤3和步骤4组成的基于模板更新和无锚框方式的跟踪网络，获得训练好参数的基于模板更新和无锚框方式的跟踪网络；
步骤5：使用训练好参数的基于模板更新和无锚框方式的跟踪网络确定视频序列中每帧图像中目标的位置和大小，完成目标跟踪。


2.根据权利要求1所述的一种基于模板更新和无锚框方式的目标跟踪方法，其特征在于，所述步骤1中裁剪模板图像和搜索图像的具体过程如下：
步骤1.1：以目标所在区域为中心裁剪出矩形图像构成初始模板图像，所述矩形图像长宽分别为目标矩形框长宽的四分之一；若矩形框超出原视频帧边界，则扩展部分以图像平均像素进行填充；最后将裁剪的目标缩放到127×127；
步骤1.2：以目标所在区域为中心裁剪出矩形图像构成搜索区域图像，所述矩形图像长宽分别为目标矩形框长宽的二分之一，若矩形框超出原视频帧边界，则扩展部分以图像平均像素进行填充；最后将裁剪的目标缩放到255×255。


3.根据权利要求2所述的一种基于模板更新和无锚框方式的目标跟踪方法，其特征在于，所述步骤2中构建基于模板更新的卷积神经网络的具体过程如下：
步骤2.1：加载网络的预训练模型和参数配置文件，以模板图像和搜索图像对作为第一、第三分支的输入；
步骤2.2：所述第一分支将模板Ti-1输入第一分支卷积神经网络，通过Conv1-Conv3输出第一层特征图通过Conv1-Conv4输出第二层特征图通过Conv1-Conv5输出第三层特征图表示T0为初始模板，i>1表示Ti-1为后续帧中的当前模板；
步骤2.3：所述第三分支将模板S输入第一分支卷积神经网络，通过Conv1-Conv3输出第一层特征图通过Conv1-Conv4输出第二层特征图通过Conv1-Conv5输出第三层特征图
步骤2.4：将所述模板特征图与搜索图像特征图进行逐层互相关运算，公式如下：



对所述三层得分图进行平均值融合，得到最后的响应得分图和模板置信度，用于步骤4中完成训练；
步骤2.5：模板更新采用高置信度的模板进行更新，目标模板的更新控制器的公式如下：



即当置信度大于0.99，并且两次更新帧之间相差30的时候进行一次模板更新；
步骤2.6：将更新的模板图像Ti按照步骤1.1进行裁剪后，输入第一分支卷积神经网络，得到特征图将更新模板与当前模板进行加权融合，生成新的模板，融合模板公式如下：



其中，λ代表更新模板和当前模板的权重比例，可以根据经验条件，默认设置为0.15。将当前新模板代替初始模板存储在寄存器中，直到下次模板更新完成。


4.根据权利要求3所述的一种基于模板更新和无锚框方式的目标跟踪方法，其特征在于，所述步骤3中分类和目标位置回归的具体过程如下：
步骤3....

【专利技术属性】
技术研发人员：唐川明，秦鹏，张建林，徐智勇，
申请(专利权)人：中国科学院光电技术研究所，
类型：发明
国别省市：四川;51