发明专利技术涉及一种基于特征级和决策级融合的双模态目标跟踪算法，包括构建SiamDL双级融合注意网络结构；获取模板图像；获取搜索区域图像；提取图像深度特征；对多域的深度特征进行交互；对交互后的特征进行分类约束；对分类结果进行调制；特征融合；调制融合特征；分类回归。本发明专利技术通过引入双层融合注意机制，提出了一种双级平衡模块，它可以利用决策级和特征级的信息更合理地平衡两种模式的权重比；引入跨域孪生注意机制，提出一个多域感知模块，能够自适应地更新模板特征，利用模式域和时域丰富的上下文信息，提高网络的特征表示能力，实现了高速运转和优异的跟踪结果，提升了跟踪器应对复杂场景的能力。对复杂场景的能力。对复杂场景的能力。
【技术实现步骤摘要】
基于特征级和决策级融合的双模态目标跟踪算法
[0001]本专利技术涉及一种基于特征级和决策级融合的双模态目标跟踪算法，属于目标跟踪
技术介绍
[0002]目标跟踪给定初始目标模板，在后续帧中估计其位置和大小，是计算机视觉领域的一项重要任务。随着相关滤波和深度学习的出现，可见光目标跟踪实现了长足的发展。但可见光模态特征不足以揭露目标信息的时候，如暗光、曝光或淹没在背景当中时，可见光跟踪效果将大大降低。
[0003]大多数时候，红外模态富含目标的结构信息，可见光模态富含目标的结构、纹理信息。增加红外模态信息对于一个跟踪器而言，可见光可以对红外模态信息进行补充，红外模态信息在一定程度上又弥补可见光跟踪的缺陷。
[0004]由于缺乏大规模成对RGBT数据集，一些研究使用灰度图像代替红外图像进行预训练，然后在RGB
‑
T数据集上进行微调。灰度图像是由可见光图像生成的，因此网络对可见光图像有很强的依赖性。
[0005]许多工作直接使用特征级融合策略来计算融合特征的信道权重比，这不可避免地包含大量的背景信息，极大地影响了该权重比的计算。
[0006]因此，本文提出一种基于特征级和决策级融合的双模态目标跟踪算法。
技术实现思路
[0007]为了解决上述技术问题，本专利技术提供一种基于特征级和决策级融合的双模态目标跟踪算法，其具体技术方案如下：一种基于特征级和决策级融合的双模态目标跟踪算法，包括以下步骤：步骤1：构建SiamDL双级融合注意网络结构：引入双层融合注意机制和跨域孪生注意机制，所述双层融合注意机制通过在SiamBAN网络基础上增加双级平衡模块实现，所述双级平衡模块包括两个paddingconv模块和一个双级融合注意平衡模块，所述跨域孪生注意机制通过在SiamBAN网络基础上增加多域感知模块实现，所述多域感知模块包括一个跨域孪生注意模块和两个分类头，所述跨域孪生注意模块由通道注意模块和空间注意模块组成，所述多域包括模态域和时域，所述模态域包括可见光模态分支和红外模态分支，所述时域包括模板分支和图像分支；步骤2：获取模板图像：利用可见光相机和红外相机获取图像序列，对裁剪目标周围方形区域z，作为模板图像，提取模板特征；步骤3：获取搜索区域图像：利用每帧的目标跟踪结果，在当前图像序列的结果周围裁剪方形区域x作为搜索区域图像，x的边长约为z边长的两倍，提取搜索区域特征；对于首帧图像，选取原始模板代替目标跟踪结果；步骤4：提取图像深度特征：把resnet50当作主干提取网络，将第三和第四层网络
的输出结果一起送入后续网络参与计算，以获取不同感受野下的特征，记，，，依次为可见光模板，红外模板，可见光搜索图像和红外搜索图像经过特征提取网络得到的特征；步骤5：对多域的深度特征进行交互，将特征提取网络得到的特征输入，利用空间注意模块和通道注意模块对其调制，交互多域的上下文相关信息；将空间注意力调制用描述，通道注意力调制用描述，其中Y代表被调制的对象，X代表调制特征的来源，则有
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1），其中，，，依次代表经过特征增强网络后的可见光模板，红外模板，可见光搜索图像和红外搜索图像特征，属于特征级信息；步骤6：对交互后的特征进行分类约束，将送入可见光分类模块，得到可见光分类结果，将送入红外分类模块，得到红外分类结果；步骤7：对分类结果进行调制：通过paddingconv模块对分类结果进行调制，得到可见光关键信息和红外关键信息，属于决策级信息；步骤8：特征融合，通过concat操作将特征级信息和决策级信息进行融合，使和生成，使和生成，使和生成；步骤9：利用决策级信息和特征级信息调制融合特征，权重配比通过注意力机制实现，将空间注意力调制用描述，通道注意力调制用描述，Y代表被调制的对象，X代表调制特征的来源，则有
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2），其中，和代表经过双级平衡网络后的模板特征和搜索图像特征；步骤10：分类回归：参考SiamBAN，对互相关的结果构建分类与回归头，依照分类与回归结果得到当前搜索区域中的目标所在位置与紧致的目标框，所述目标框即为分类结果，下一帧可见光与红外图像输入后，转到步骤3继续执行。
[0008]进一步的，所述主干网络的前两层参数设置为在所有域中共享，所有参数在时域中共享。
[0009]进一步的，所述特征提取网络包括上采样操作和下采样操作，所述第四层网络的下采样操作以atrous卷积操作代替。
[0010]进一步的，所述paddingconv模块由两个带有填充操作的卷积层和一个激活层组成，所述paddingconv自适应地扩展分类结果。
[0011]进一步的，所述步骤7的具体过程为：步骤7.1：将分类结果和喂入paddingconv模块，生成和掩膜，将分类结果的尺寸对齐搜索区域特征的尺寸；步骤7.2：提取搜图区域图像特征中的目标自身信息和目标与背景的差异程度信息；步骤7.3：得到决策级信息中的可见光关键信息和红外关键信息，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）。
[0012]进一步的，所述对交互后的特征进行分类约束，对各自模态的模板特征和搜索区域特征采用深度自相关。
[0013]进一步的，所述回归采用anchor
‑
free的方式，避免anchor
‑
base锚框的超参数调教。
[0014]进一步的，所述空间注意力调制和通道注意力调制的实现方式采用自注意力方式。
[0015]本专利技术的有益效果是：本专利技术通过引入双层融合注意机制，提出了一种双级平衡模块，它可以利用决策级和特征级的信息更合理地平衡两种模式的权重比；引入跨域孪生注意机制，提出一个多域感知模块，能够自适应地更新模板特征，利用模式域和时域丰富的上下文信息，提高网络的特征表示能力，实现了高速运转和优异的跟踪结果，提升了跟踪器应对复杂场景的能力。
附图说明
[0016]图1是本专利技术的流程图，图2是本专利技术的跨域孪生注意模块示意图，图3是本专利技术的双级融合注意模块示意图，图4是本专利技术SiamDL的框架图，图5是本专利技术与各种跟踪器在GTOT上的速度和PR比较图，图6是本专利技术与各种跟踪器在GTOT上的速度和SR比较图。
具体实施方式
[0017]下面结合附图和具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0018]如图1所示，本专利技术的基于特征级和决策级融合的双模态目标跟踪算法，包括以下步骤：步骤1：构建SiamDL双级融合注意网络结构：引入双层融合注意机制和跨域孪生注意机制，双层融合注意机制通过在SiamBAN网络基础上增加双级平衡模块实现，双级平衡模
块包括两个paddingconv模块和一个双级融合注意平衡模块， paddingconv模块由两个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于特征级和决策级融合的双模态目标跟踪算法，其特征在于：包括以下步骤：步骤1：构建SiamDL双级融合注意网络结构：在特征提取网络中引入双层融合注意机制和跨域孪生注意机制，所述双层融合注意机制通过在SiamBAN网络基础上增加双级平衡模块实现，所述双级平衡模块包括两个paddingconv模块和一个双级融合注意平衡模块，所述跨域孪生注意机制通过在SiamBAN网络基础上增加多域感知模块实现，所述多域感知模块包括一个跨域孪生注意模块和两个分类头，所述跨域孪生注意模块由通道注意模块和空间注意模块组成，所述多域包括模态域和时域，所述模态域包括可见光模态分支和红外模态分支，所述时域包括模板分支和图像分支；步骤2：获取模板图像：利用可见光相机和红外相机获取图像序列，对裁剪目标周围方形区域z，作为模板图像，提取模板特征；步骤3：获取搜索区域图像：利用每帧的目标跟踪结果，在当前图像序列的结果周围裁剪方形区域x作为搜索区域图像，x的边长约为z边长的两倍，提取搜索区域特征；对于首帧图像，选取原始模板代替目标跟踪结果；步骤4：提取图像深度特征：把resnet50当作主干提取网络，将第三和第四层网络的输出结果一起送入后续网络参与计算，以获取不同感受野下的特征，记，，，依次为可见光模板，红外模板，可见光搜索图像和红外搜索图像经过特征提取网络得到的特征；步骤5：对多域的深度特征进行交互，将特征提取网络得到的特征输入，利用空间注意模块和通道注意模块对其调制，交互多域的上下文相关信息；将空间注意力调制用描述，通道注意力调制用描述，其中Y代表被调制的对象，X代表调制特征的来源，则有
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1），其中，，，依次代表经过特征增强网络后的可见光模板，红外模板，可见光搜索图像和红外搜索图像特征，属于特征级信息；步骤6：对交互后的特征进行分类约束，将送入可见光分类模块，得到可见光分类结果，将送入红外分类模块，得到红外分类结果；步骤7：对分类结果进行调制：通过paddingconv模块对分类结果进行调制，得到可见光关键信息和红外关键信息，属于决策级信息；步骤8：特征融合，通过concat操作将特征级信息和决策级信息进行融合，使和生成，使和生成，使和生成；步骤9：利用决策级信息和特征级信息调制融合特征，权...
【专利技术属性】
技术研发人员：何丰郴，柏连发，陈霄宇，韩静，张权，魏驰恒，张靖远，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。