一种基于注意力机制与全局推理的目标跟踪方法及系统技术方案

本发明专利技术公开了一种基于注意力机制与全局推理的目标跟踪方法及系统，属于计算机视觉技术领域，包括：利用基于孪生网络的目标跟踪模型进行目标跟踪，目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；将第一得分图和第二得分图进行加权求和，得到回归图；根据回归图，确定目标所在位置。本发明专利技术相较于现有的跟踪算法，具有更好的跟踪效果。跟踪效果。跟踪效果。

【技术实现步骤摘要】
一种基于注意力机制与全局推理的目标跟踪方法及系统


[0001]本专利技术涉及计算机视觉
，特别涉及一种基于注意力机制与全局推理的目标跟踪方法及系统。

技术介绍

[0002]目标跟踪是计算机视觉领域的难题之一，它是更高级的视觉理解和场景分析的基础。目标跟踪技术广泛用于视频监视，人机交互，机器人技术，视频编辑和无人驾驶。视觉对象跟踪任务就是根据初始帧目标位置和大小信息，在后续帧中实现对移动目标的连续和稳定跟踪。由于受到目标的尺度变化，旋转，变形，快速运动以及背景照明的变化等类似的物体干扰，实现长期稳定的目标跟踪仍然是一项艰巨的任务。
[0003]近年来，对视觉跟踪任务的研究集中在两个方面，一方面是提高算法的速度，另一方面是提高跟踪的准确性。在速度方面，相关过滤算法是最成功的跟踪框架之一，主要使用了快速傅里叶傅里叶变换和更简单的手动功能，运行速度接近每秒700帧。但是这种方法在复杂的情况下通常很难处理，并且性能将大大降低。在准确性方面，基于深度学习的目标跟踪方法显示出非常强大的效果。与相关过滤算法相比，基于深度学习的目标跟踪方法的目标跟踪性能具有很大的提高，可以更好地处理最困难的场景，但其速度较慢。
[0004]为解决上述基于深度学习的目标跟踪算法跟踪速度慢的问题，提出了基于孪生网络的目标跟踪算法。相关研究人员首次提出孪生网络的目标跟踪，即将目标跟踪问题转化为一个patch块匹配问题，并用神经网络来实现；也有研究者提出了一个端到端的孪生网络跟踪算法SiamFC，其速度很快，所以接下来的几年中出现了许多基于孪生网络的目标跟踪。
[0005]基于孪生网络的目标跟踪方法具有很高的速度和准确率优势，因而受到了很强的关注度，但已有的一些孪生网络跟踪算法仍存在一些不足。下面针对典型的孪生网络SiamFC和SiamRPN，指出其存在的两方面不足，其一，它们使用的网络结构较浅，提取的特征不充分，没有很好的关注跟踪目标本身，所以在面对一些跟踪挑战时会出现跟踪失败的情况。其二，它们都没有考虑到上下文信息，在面对遮挡较大或者形变过大的物体容易导致跟踪失败。

技术实现思路

[0006]本专利技术的目的在于克服现有技术存在的缺陷，取得更好的跟踪效果。
[0007]为实现以上目的，一方面，本专利技术采用一种基于注意力机制与全局推理的目标跟踪方法，利用基于孪生网络的目标跟踪模型进行目标跟踪，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：
[0008]获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；
[0009]将第一得分图和第二得分图进行加权求和，得到回归图；
[0010]根据回归图，确定目标所在位置。
[0011]进一步地，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。
[0012]进一步地，所述注意力机制包括通道注意力机制和空间注意力机制，其中：
[0013]空间注意力机制用于对输入的特征图进行处理，得到第一特征图；
[0014]通道注意力机制用于对输入的特征图进行处理，得到第二特征图；
[0015]将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。
[0016]进一步地，所述全局推理模块用于将注意力特征图的特征投影到交互空间的节点上，进行推理，然后将交互空间节点的特征映射到原空间，得到新特征图；将新特征图与所述注意力特征图相加，得到新特征图。
[0017]进一步地，所述获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图，包括：
[0018]将所述模板分支中的全局推理模块输出的新特征图与所述搜索分支中的全局推理模块输出的新特征图执行互相关运算，分别得到所述第一得分图和所述第二得分图。
[0019]另一方面，采用一种基于注意力机制与全局推理的目标跟踪系统，包括图片获取模块和目标跟踪模块，其中：
[0020]图片获取模块用于获取初始帧图片和当前帧图片；
[0021]目标跟踪模块用于利用目标跟踪模型对初始帧图片和当前帧图片进行处理，确定目标所在位置，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，所述模板分支和搜索分支分别对初始帧图像和当前帧图像进行处理，得到第一得分图和第二得分图，并将第一得分图和第二得分图进行加权求和，得到回归图，确定目标所在位置。
[0022]进一步地，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。
[0023]进一步地，所述注意力机制包括通道注意力机制和空间注意力机制，其中：
[0024]空间注意力机制用于对输入的特征图进行处理，得到第一特征图；
[0025]通道注意力机制用于对输入的特征图进行处理，得到第二特征图；
[0026]将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。
[0027]进一步地，所述全局推理模块用于将注意力特征图的特征投影到交互空间的节点上，进行推理，然后将交互空间节点的特征映射到原空间，得到新特征图；将新特征图与所述注意力特征图相加，得到新特征图。
[0028]与现有技术相比，本专利技术存在以下技术效果：本专利技术使用了更深的网络结构并加入了并行的注意力机制，使得提取的特征更加的充分，同时还加入了全局推理模块，全局推理模块的加入更好的考虑到了全局上下文的消息，从而取得更好的跟踪效果，相较于已有的跟踪算法，本专利技术取得了较有竞争的精度和成功率结果。
附图说明
[0029]下面结合附图，对本专利技术的具体实施方式进行详细描述：
[0030]图1是一种基于注意力机制与全局推理的目标跟踪方法的流程图；
[0031]图2是目标跟踪方法的整体跟踪框图，其中包含三部分，分别是主干网络，并行注意力机制以及全局推理模块；
[0032]图3是空间注意力机制框图；
[0033]图4是通道注意力机制框图；
[0034]图5是全局推理模块结构图；
[0035]图6是本专利技术跟踪算法与其他5种高性能主流算法在OTB100基准数据集上进行对比评估，(a)为成功率图，(b)为精度图；
[0036]图7是本专利技术跟踪算法与其他5种高性能主流算法在OTB100数据集上面对各种挑战时的精度图；
[0037]图8是本专利技术中跟踪算法与其他5种高性能主流算法在OTB100数据集上面对各种挑战时的成功率图；
[0038]图9是本专利技术种跟踪算法与其他三种跟踪算法在OTB100中四个视频帧上的定性分析比较。
具体实施方式
[0039]为了更进一步说明本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制与全局推理的目标跟踪方法，其特征在于，利用基于孪生网络的目标跟踪模型进行目标跟踪，所述目标跟踪模型包括模板分支和搜索分支，模板分支和搜索分支均包括主干网络、并行的注意力机制和全局推理模块，包括：获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图；将第一得分图和第二得分图进行加权求和，得到回归图；根据回归图，确定目标所在位置。2.如权利要求1所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述主干网络采用ReNeXt网络结构，其用于对输入的所述初始帧图片或所述当前帧图片进行特征提取，得到特征图并作为所述注意力机制的输入。3.如权利要求1所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述注意力机制包括通道注意力机制和空间注意力机制，其中：空间注意力机制用于对输入的特征图进行处理，得到第一特征图；通道注意力机制用于对输入的特征图进行处理，得到第二特征图；将第一特征图和第二特征图并行相加，得到注意力特征图，并作为所述全局推理模块的输入。4.如权利要求3所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述全局推理模块用于将注意力特征图的特征投影到交互空间的节点上，进行推理，然后将交互空间节点的特征映射到原空间，得到新特征图；将新特征图与所述注意力特征图相加，得到新特征图。5.如权利要求4所述的基于注意力机制与全局推理的目标跟踪方法，其特征在于，所述获取初始帧图片和当前帧图片，分别作为模板分支和搜索分支分的输入，得到第一得分图和第二得分图，包括：将所述模板分支中的全局推理模块输出的新特征图与所...

【专利技术属性】
技术研发人员：鲍华，束平，许克应，
申请(专利权)人：安徽大学，
类型：发明
国别省市：