基于混合卷积与自注意力的聚合网络目标跟踪方法与系统技术方案

本发明专利技术提出一种基于混合卷积与自注意力的聚合网络目标跟踪方法与系统，通过卷积操作得到对应的模板特征和搜索特征，分别作为聚合模块的输入特征，输入特征经过卷积操作后得到中间特征；聚合模块共享一个卷积操作，聚合模块中的混合卷积采用深度卷积和逐点卷积来分离中间特征的空间和信道的混合，在增大感受野的同时减少空间和信道特征冗余；聚合模块中的自注意力模块对中间特征进行学习，并自适应地聚焦不同区域以捕获更多的全局相关性；最后将混合卷积与自注意力模块的输出特征相加，经过随机失活层得到最终的输出特征，输出特征聚合了局部和全局上下文信息。本发明专利技术可缓解网络在训练过程的过拟合，提高跟踪器的泛化能力。提高跟踪器的泛化能力。提高跟踪器的泛化能力。

【技术实现步骤摘要】
基于混合卷积与自注意力的聚合网络目标跟踪方法与系统


[0001]本专利技术涉及计算机视觉与图像处理
，特别涉及一种基于混合卷积与自注意力的聚合网络目标跟踪方法与系统。

技术介绍

[0002]目标跟踪是计算机视觉中的一个基础研究任务，视觉跟踪是计算机视觉中的一项基础研究任务，其目的是在给定被跟踪对象初始状态的情况下估计视频序列中的对象位置。目前，目标跟踪广泛应用于视觉定位、自动驾驶系统以及智能城市等视觉领域。然而，由于目标运动模糊、快速运动、低分辨率以及背景复杂等因素的影响，设计高精度跟踪器仍然是一项具有挑战性的任务。
[0003]卷积神经网络与自注意力是目标跟踪中的两种主要技术，在特征学习方面具有优越的性能。基于卷积神经网络与基于自注意力的跟踪器实现了最先进的跟踪性能，但是通常被认为是两种不同的对等方法。具体的，基于这两种技术的跟踪算法可以大致分为两种：（1）一些跟踪器利用卷积神经网络来提取模板分支与搜索分支的特征，通过基于自注意力的特征融合网络计算两个分支特征的相似度，从而实现鲁棒的跟踪；（2）其他一些跟踪器将目标跟踪视为一个匹配过程，利用基于自注意力的变换器分别作为特征提取网络和特征融合网络，进一步提高了跟踪器的性能。
[0004]卷积神经网络通过小的邻域卷积运算，可有效地从相关特征图中提取局部信息。然而，由于卷积神经网络的固有特性，在处理不同尺度的目标时，存在严重的归纳偏差；同时，卷积神经网络有限的感受野导致难以捕获全局依赖性。相反，自我注意力机制使用图像块作为输入表示，并对输入特征的上下文应用加权平均运算，然后通过相关像素对之间的相似性函数动态计算注意力权重。虽然此种动态计算允许注意力模块自适应地关注不同区域并捕获更多的信息特征，从而有效地捕获长距离依赖，但是所有图像块之间的盲相似性匹配可能会导致高冗余。
[0005]基于上述技术问题，有必要提出一种基于混合卷积与自注意力的聚合网络目标跟踪方法与系统，以解决上述技术问题。

技术实现思路

[0006]鉴于上述状况，本专利技术的主要目的是为了提出一种基于混合卷积与自注意力的聚合网络目标跟踪方法与系统，以解决上述技术问题。
[0007]本专利技术实施例提出一种基于混合卷积与自注意力的聚合网络目标跟踪方法，其中，所述方法包括如下步骤：步骤一，初始化操作；对给定的第一帧图像以及后续帧图像中的搜索区域分别进行初始化，以分别生成目标模板图像与搜索图像，然后将所述目标模板图像以及所述搜索图像，分别通过卷积操作以得到对应的模板特征与搜索特征；
步骤二，聚合模块构建；构建基于混合卷积与自注意力的聚合模块，通过卷积操作对所述模板特征以及所述搜索特征进行学习，并映射到相同的特征空间以分别获得模板特征的中间特征以及搜索特征的中间特征；步骤三，混合卷积特征生成；将模板分支的中间特征输入到由深度卷积与逐点卷积构成的混合卷积中，通过混合卷积对所述模板分支的中间特征进行处理，并通过级联操作得到模板分支的混合卷积特征；将搜索分支的中间特征输入到由深度卷积与逐点卷积构成的混合卷积中，通过混合卷积对所述搜索分支的中间特征进行处理，并通过级联操作得到搜索分支的混合卷积特征；步骤四，自注意力特征生成；将所述模板分支的中间特征输入到自注意力中，所述自注意力对所述模板分支的中间特征进行映射得到三个特征图，分别作为模板分支的自注意力中的查询、键和值，由查询和键进行相似度匹配得到第一自注意力权重，第一自注意力权重与值进行计算获得全局特征，进而通过级联操作得到模板分支的自注意力特征；将所述搜索分支的中间特征输入到自注意力中，所述自注意力对所述搜索分支的中间特征进行映射得到三个特征图，分别作为搜索分支的自注意力中的查询、键和值，由查询和键进行相似度匹配得到第二自注意力权重，第二自注意力权重与值进行计算获得全局特征，进而通过级联操作得到搜索分支的自注意力特征；步骤五，混合卷积特征与自注意力特征连接；将所述模板分支的混合卷积特征与所述模板分支的自注意力特征进行连接，经过一个随机失活层获得基于混合卷积与自注意力聚合模块的模板分支输出特征；将所述搜索分支的混合卷积特征与所述搜索分支的自注意力特征进行连接，经过一个随机失活层获得基于混合卷积与自注意力聚合模块的搜索分支输出特征；通过将所述基于混合卷积与自注意力聚合模块进行层次化堆叠，以构建一个权值共享的特征聚合网络；步骤六，目标跟踪；利用大规模数据集对所述特征聚合网络进行训练以得到跟踪模型，根据所述跟踪模型利用卷积操作融合模板分支输出特征和搜索分支输出特征，获得目标在搜索区域中的响应位置，以实现精准跟踪。
[0008]本专利技术提出一种基于混合卷积与自注意力的聚合网络目标跟踪方法，首先通过卷积操作得到对应的模板特征和搜索特征，分别作为模板分支和搜索分支中聚合模块的输入特征，输入特征经过卷积操作后得到丰富的中间特征；此外，聚合模块共享一个卷积操作，聚合模块中的混合卷积采用深度卷积和逐点卷积来分离中间特征的空间和信道的混合，在增大感受野的同时减少空间和信道特征冗余，获取局部特征；聚合模块中的自注意力模块对中间特征进行学习，捕获长距离依赖关系，并自适应地聚焦不同区域以捕获更多的全局相关性；最后，将混合卷积与自注意力模块的输出特征相加，经过一个随机失活层得到最终的输出特征，输出特征聚合了局部和全局上下文信息。其中，添加随机失活层是为了缓解网
络在训练过程的过拟合，提高跟踪器的泛化能力。
[0009]所述基于混合卷积与自注意力的聚合网络目标跟踪方法，其中，在所述步骤二中，通过卷积操作对所述模板特征以及所述搜索特征进行学习的步骤中；将卷积核大小为的卷积分解为个单独的卷积，利用卷积对作为输入特征的模板特征或搜索特征进行投影映射，对应的公式表示为：其中，表示输入特征的中间特征张量，表示输入特征在像素坐标的特征张量，表示卷积核相关位置的卷积核权重，表示像素水平坐标，表示像素垂直坐标。
[0010]所述基于混合卷积与自注意力的聚合网络目标跟踪方法，其中，在所述步骤三中，通过混合卷积对模板分支或搜索分支的中间特征进行处理的步骤中，具体为：通过混合卷积对模板分支或搜索分支的中间特征进行深度卷积移位与求和操作；其中，通过深度卷积移位与求和操作的输出特征张量表示为：其中，表示深度卷积移位与求和操作的输出特征张量，表示移位计算，表示经过移位后的中间特征张量，表示求和计算，表示水平位移值，表示垂直位移值。
[0011]所述基于混合卷积与自注意力的聚合网络目标跟踪方法，其中，在所述步骤三中，所述方法包括：使用逐点卷积混合信道位置，将混合卷积的输出特征张量与输入特征的中间特征张量输入到逐点卷积中，用于选择重要通道特征；然后将所述混合卷积的输出特征张量进行级联后得到混合卷积特征。
[0012]所述基于混合卷积与自注意力的聚合网络目标跟踪方法，其中，混合卷积的输出特征张量表示为：其中，表示混合卷积的输出特征张量，表示批标准化操作，表示线性整流激活函数；混合卷积特征表示为：其中，表示混合卷积特征，表示级联操作，表示第一个混合卷积的输出特征张量，表示第个混合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合卷积与自注意力的聚合网络目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤一，初始化操作；对给定的第一帧图像以及后续帧图像中的搜索区域分别进行初始化，以分别生成目标模板图像与搜索图像，然后将所述目标模板图像以及所述搜索图像，分别通过卷积操作以得到对应的模板特征与搜索特征；步骤二，聚合模块构建；构建基于混合卷积与自注意力的聚合模块，通过卷积操作对所述模板特征以及所述搜索特征进行学习，并映射到相同的特征空间以分别获得模板特征的中间特征以及搜索特征的中间特征；步骤三，混合卷积特征生成；将模板分支的中间特征输入到由深度卷积与逐点卷积构成的混合卷积中，通过混合卷积对所述模板分支的中间特征进行处理，并通过级联操作得到模板分支的混合卷积特征；将搜索分支的中间特征输入到由深度卷积与逐点卷积构成的混合卷积中，通过混合卷积对所述搜索分支的中间特征进行处理，并通过级联操作得到搜索分支的混合卷积特征；步骤四，自注意力特征生成；将所述模板分支的中间特征输入到自注意力中，所述自注意力对所述模板分支的中间特征进行映射得到三个特征图，分别作为模板分支的自注意力中的查询、键和值，由查询和键进行相似度匹配得到第一自注意力权重，第一自注意力权重与值进行计算获得全局特征，进而通过级联操作得到模板分支的自注意力特征；将所述搜索分支的中间特征输入到自注意力中，所述自注意力对所述搜索分支的中间特征进行映射得到三个特征图，分别作为搜索分支的自注意力中的查询、键和值，由查询和键进行相似度匹配得到第二自注意力权重，第二自注意力权重与值进行计算获得全局特征，进而通过级联操作得到搜索分支的自注意力特征；步骤五，混合卷积特征与自注意力特征连接；将所述模板分支的混合卷积特征与所述模板分支的自注意力特征进行连接，经过一个随机失活层获得基于混合卷积与自注意力聚合模块的模板分支输出特征；将所述搜索分支的混合卷积特征与所述搜索分支的自注意力特征进行连接，经过一个随机失活层获得基于混合卷积与自注意力聚合模块的搜索分支输出特征；通过将所述基于混合卷积与自注意力聚合模块进行层次化堆叠，以构建一个权值共享的特征聚合网络；步骤六，目标跟踪；利用大规模数据集对所述特征聚合网络进行训练以得到跟踪模型，根据所述跟踪模型利用卷积操作融合模板分支输出特征和搜索分支输出特征，获得目标在搜索区域中的响应位置，以实现精准跟踪。2.根据权利要求1所述的基于混合卷积与自注意力的聚合网络目标跟踪方法，其特征在于，在所述步骤二中，通过卷积操作对所述模板特征以及所述搜索特征进行学习的步骤中；将卷积核大小为的卷积分解为个单独的卷积，利用卷积对作为输入特征的
模板特征或搜索特征进行投影映射，对应的公式表示为：其中，表示输入特征的中间特征张量，表示输入特征在像素坐标的特征张量，表示卷积核相关位置的卷积核权重，表示像素水平坐标，表示像素垂直坐标。3.根据权利要求2所述的基于混合卷积与自注意力的聚合网络目标跟踪方法，其特征在于，在所述步骤三中，通过混合卷积对模板分支或搜索分支的中间特征进行处理的步骤中，具体为：通过混合卷积对模板分支或搜索分支的中间特征进行深度卷积移位与求和操作；其中，通过深度卷积移位与求和操作的输出特征张量表示为：其中，表示深度卷积移位与求和操作的输出特征张量，表示移位计算，表示经过移位后的中间特征张量，表示求和计算，表示水平位移值，表示垂直位移值。4.根据权利要求3所述的基于混合卷积与自注意力的聚合网络目标跟踪方法，其特征在于，在所述步骤三中，所述方法包括：使用逐点卷积混合信道位置，将混合卷积的输出特征张量与输入特征的中间特征张量输入到逐点卷积中，用于选择重要通道特征；然后将所述混合卷积的输出特征张量进行级联后得到混合卷积特征。5.根据权利要求4所述的基于混合卷积与自注意力的聚合网络目标跟踪方法，其特征在于，混合卷积的输出特征张量表示为：其中，表示混合卷积的输出特征张量，表示批标准化操作，表示线性整流激活函数；混合卷积特征表示为：其中，表示混合卷积特征，表示级联操作，表示第一个混合卷积的输...

【专利技术属性】
技术研发人员：王军，尹鹏，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：