【技术实现步骤摘要】
本专利技术涉及目标跟踪，尤其是涉及一种基于注意力门控网络的目标跟踪方法及系统。
技术介绍
1、随着视觉传感器、图形处理器、计算机等硬件设备的高速发展以及深度学习技术的飞跃进步，视觉目标跟踪领域取得了突破性进展，目标跟踪技术也日趋成熟。不同于目标检测任务中需要对目标类别信息进行限定的要求，目标跟踪任务旨在仅仅给定任意感兴趣目标的初始矩形框的条件下，连续跟踪目标在后续视频帧中的位置和尺度信息。随着目标跟踪技术的发展与普及，视觉目标跟踪已经被广泛应用于军事、工业和民用等领域，主要包括军事侦察、无人机跟踪、导弹制导、视频监控、视觉导航、医疗诊断、自动驾驶、智能交通、人机交互、体育竞技等领域。因此视觉目标跟踪技术具有重要的实际意义和研究意义。
2、近几十年目标跟踪技术已经取得了长足的发展，其中基于判别式分割的跟踪算法将目标分割网络应用于目标跟踪领域，打破了基于矩形框的跟踪算法的限制，实现了对目标的像素级分割跟踪，并在多个跟踪数据集上获得了优越的跟踪性能。但是这一类算法仍然面临着实际复杂场景中的相似干扰物、显著外观和背景变化、部分或严重遮挡等亟待解决的挑战性问题。因此，现有的分割跟踪算法仍有很大的改进空间。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种实现对相似干扰物的鲁棒性、缓解目标部分遮挡的问题的基于注意力门控网络的目标跟踪方法及系统。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于注意力门控网络的目标跟
4、获取目标跟踪视频序列，并进行图像采样，构建包含目标模板图像和搜索区域图像的图像对；
5、采用骨干网络分别从图像对中的目标模板图像和搜索区域图像中，提取模板特征和搜索区域特征；
6、采用互相关网络根据模板特征和搜索区域特征，生成目标的位置特征；采用注意力门控网络根据模板特征和搜索区域特征，生成稀疏的门控权重；将门控权重与位置特征进行点积运算，得到处理后的位置特征；
7、将处理后的位置特征输入分割网络中，生成目标的分割掩膜，并根据最大的分割区域输出目标矩形框，将分割掩膜和目标矩形框显示在所述目标跟踪视频序列的对应位置。
8、进一步地，所述注意力门控网络包括多个卷积模块和多个级联的多头注意力模块，所述多个卷积模块用于对模板特征和搜索区域特征进行降维和变换处理，并映射到相同的特征空间；所述多个级联的多头注意力模块用于对多个卷积模块处理后的结果逐级地融合语义信息，最后通过sigmoid运算生成稀疏的门控权重。
9、进一步地，所述多头注意力模块基于特征维度将输入特征划分为多组子空间，并独立地计算每组子空间的注意力，最后进行融合；
10、所述多头注意力模块对应的计算表达式为：
11、m h att(q，k，v)＝concat(h1，...，hn)wo
12、hi＝att(qi，ki，vi)
13、式中，mhatt表示多头注意力机制，q、k和v分别表示注意力中的查询、键和值，n表示输入特征被分组的个数，wo表示输出线性层的参数矩阵，i表示第i个特征组，att表示单头尺度点积注意力机制。
14、进一步地，所述互相关网络首先通过多个卷积模块对模板特征和搜索区域特征进行降维和变换处理，然后通过逐像素的互相关运算计算模板特征和搜索区域特征之间的每一个位置的相似性得分，并根据模板的掩膜划分为前景相似性图和背景相似性图；随后通过topk运算来生成最终的单通道的前景相似性得分和背景相似性得分，对前景相似性得分和背景相似性得分进行softmax计算得到目标位置相似性图；采用dcf模块定位目标的中心位置，从而生成位置映射图；将前景相似性图、目标位置相似性图和位置映射图级联并输入卷积模块中，得到目标的位置特征。
15、进一步地，所述逐像素的互相关运算的表达式为：
16、
17、式中，si,j为模板特征和搜索区域特征之间的每一个位置的相似性得分，i,j表示特征位置，c表示特征维度，ft和fr分别表示模板特征和搜索区域特征；
18、所述topk运算的表达式为：
19、
20、式中，sj为位置j的相似性得分，m和k分别表示前m个最大值和第k个最大值；
21、所述位置映射图的计算表达式为：
22、
23、式中，lm为位置映射图，点(px,py)表示预测的目标中心位置，x和y分别是输入图像的横坐标和纵坐标。
24、进一步地，所述分割网络包括多个上采样模块，通过多个上采样模块逐级地精细化目标的掩膜；
25、各个上采样模块的处理过程均包括：采用卷积层对处理后的位置特征和骨干网络提取的模板特征进行降维，并变换到相同的特征空间，然后进行逐元素求和运算；采用双倍分辨率上采样层提升求和运算结果的分辨率。
26、进一步地，所述分割网络训练过程中的损失函数引入有边缘损失项，该边缘损失项的计算表达式为：
27、
28、式中，为边缘损失项，n表示输入图像的总像素个数，fg和bg分别表示前景像素和背景像素集合，eg表示边缘像素集合，即真实掩膜中目标边缘厚度为1个像素的点的集合，yi和pi分别表示真实标签和预测掩膜。
29、进一步地，所述方法采用基于iounet的矩形框优化网络在分割网络输出结果的基础上，优化输出的目标矩形框，所述基于iounet的矩形框优化网络的处理过程包括：
30、在所述目标跟踪视频序列的第一帧中，采用骨干网络提取目标模板特征x0，从而初始化iou调制向量；根据分割网络输出的矩形框b0，采用随机抖动的方式生成一组提议矩形框bm，并对提议矩形框提取相应的搜索特征xt；根据iou调制向量和基于提议矩形框bm和搜索特征xt构建的搜索向量，最大化矩形框的iou值得到优化的目标矩形框。
31、进一步地，所述最大化矩形框的iou值的计算表达式为：
32、
33、式中，iou(bm)为优化的目标矩形框，v(x0,b0)为基于目标模板特征x0和分割网络输出的矩形框b0生成的iou调制向量，v(xt,bm)为基于提议矩形框bm和搜索特征xt构建的搜索向量，为iou预测网络。
34、本专利技术还提供一种基于注意力门控网络的目标跟踪系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。
35、与现有技术相比，本专利技术具有以下优点：
36、(1)现有的分割跟踪算法仅仅采用互相关机制进行特征融合，互相关机制是一种局部线性的匹配机制，其难以抓取目标丰富的语义信息。因此这一类跟踪算法在实际复杂场景中的鲁棒性较低，难以处理复杂场景中的相似干扰物、显著外观或背景变化、部分遮挡等具有挑战性的问题。
37、本专利技术根据骨干网络提出的模板特征和搜索区域特征，采用注本文档来自技高网...
【技术保护点】
1.一种基于注意力门控网络的目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述注意力门控网络包括多个卷积模块和多个级联的多头注意力模块，所述多个卷积模块用于对模板特征和搜索区域特征进行降维和变换处理，并映射到相同的特征空间；所述多个级联的多头注意力模块用于对多个卷积模块处理后的结果逐级地融合语义信息，最后通过Sigmoid运算生成稀疏的门控权重。
3.根据权利要求2所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述多头注意力模块基于特征维度将输入特征划分为多组子空间，并独立地计算每组子空间的注意力，最后进行融合；
4.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述互相关网络首先通过多个卷积模块对模板特征和搜索区域特征进行降维和变换处理，然后通过逐像素的互相关运算计算模板特征和搜索区域特征之间的每一个位置的相似性得分，并根据模板的掩膜划分为前景相似性图和背景相似性图；随后通过TopK运算来生成最终的单通道的前景相似性得分和背景相似性得分，对
5.根据权利要求4所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述逐像素的互相关运算的表达式为：
6.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述分割网络包括多个上采样模块，通过多个上采样模块逐级地精细化目标的掩膜；
7.根据权利要求6所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述分割网络训练过程中的损失函数引入有边缘损失项，该边缘损失项的计算表达式为：
8.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述方法采用基于IoUNet的矩形框优化网络在分割网络输出结果的基础上，优化输出的目标矩形框，所述基于IoUNet的矩形框优化网络的处理过程包括：
9.根据权利要求8所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述最大化矩形框的IoU值的计算表达式为：
10.一种基于注意力门控网络的目标跟踪系统，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如权利要求1至9任一所述的方法的步骤。
...【技术特征摘要】
1.一种基于注意力门控网络的目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述注意力门控网络包括多个卷积模块和多个级联的多头注意力模块，所述多个卷积模块用于对模板特征和搜索区域特征进行降维和变换处理，并映射到相同的特征空间；所述多个级联的多头注意力模块用于对多个卷积模块处理后的结果逐级地融合语义信息，最后通过sigmoid运算生成稀疏的门控权重。
3.根据权利要求2所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述多头注意力模块基于特征维度将输入特征划分为多组子空间，并独立地计算每组子空间的注意力，最后进行融合；
4.根据权利要求1所述的一种基于注意力门控网络的目标跟踪方法，其特征在于，所述互相关网络首先通过多个卷积模块对模板特征和搜索区域特征进行降维和变换处理，然后通过逐像素的互相关运算计算模板特征和搜索区域特征之间的每一个位置的相似性得分，并根据模板的掩膜划分为前景相似性图和背景相似性图；随后通过topk运算来生成最终的单通道的前景相似性得分和背景相似性得分，对前景相似性得分和背景相似性得分进行softmax计算得到目标位置相似性图；采用dcf模块定位目标的中心位置，从...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。