基于自适应特征聚合的多模态目标跟踪方法技术

本申请提供一种基于自适应特征聚合的多模态目标跟踪方法

【技术实现步骤摘要】
基于自适应特征聚合的多模态目标跟踪方法、装置及介质


[0001]本申请涉及计算机
，尤其涉及一种基于自适应特征聚合的多模态目标跟踪方法
、
装置及介质
。

技术介绍

[0002]随着计算机视觉领域的发展，多模态的特征提取模型日益受到关注，尤其是在处理多种不同来源或类型的数据时
。
在此类模型中，特征提取通常由三元网络完成，以获取各模态的深度特征
。
这些特征，经过余弦嵌入损失的约束，使得特征更具差异性和多样性，进而有助于实现更加准确的模态识别
。
[0003]为了进一步增强模态间的特征表示能力，研究者引入了注意力机制
。
这种机制旨在对模态特有特征进行自增强，同时利用跨模态通道的方式进行互补增强
。
这样，模型能够在各个模态之间进行互补信息的跨模态感知，并进一步增强特征的差异性
。
[0004]然而，当前的模型仍存在一些不足之处
。
首先，模型中的交互和增强仅在最后的特征上进行，这导致模型主要依赖高级语义信息，并忽略了纹理细节等底层信息
。
由于基于深层特有特征的交互和增强无法有效地感知和利用底层信息，模型的性能受到限制
。
其次，跨模态交互和增强在进行时仅使用了特有特征，从而忽略了共有特征的重要性
。
最后，虽然直接通过通道级联的方式将交互后的特有特征与共有特征进行融合是一种简单高效的方法，但它没有考虑模态的可靠性和权重，可能会导致信息损失或引入不必要的噪声
。
因此，导致现有的模型性能降低，鲁棒性较差的问题
。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种基于自适应特征聚合的多模态目标跟踪方法
、
装置及介质，以解决现有技术存在的模型性能降低，鲁棒性较差的问题
。
[0006]本申请实施例的第一方面，提供了一种基于自适应特征聚合的多模态目标跟踪方法，包括：从多模态传感器中获取包含多模态信息的图像数据，将包含多模态信息的图像数据作为多模态图像输入到预定的三元网络中；利用三元网络对多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量；基于多级残差注意力交互机制和余弦嵌入损失监督，对特征张量进行交互，以便对特征张量的差异性和多样性进行增强；利用特征张量，通过模态自增强与跨模态互增强策略进行特征融合，以使每个模态的特有特征在通道方向上与共有特征进行级联，形成统一的特征图；利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图；根据统一的特征图
、
融合后的特征图以及每个模态的可靠性权重进行多模态目标跟踪，生成多模态目标跟踪结果
。
[0007]本申请实施例的第二方面，提供了一种基于自适应特征聚合的多模态目标跟踪装置，包括：获取模块，被配置为从多模态传感器中获取包含多模态信息的图像数据，将包含多模态信息的图像数据作为多模态图像输入到预定的三元网络中；提取模块，被配置为利
用三元网络对多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量；交互模块，被配置为基于多级残差注意力交互机制和余弦嵌入损失监督，对特征张量进行交互，以便对特征张量的差异性和多样性进行增强；增强模块，被配置为利用特征张量，通过模态自增强与跨模态互增强策略进行特征融合，以使每个模态的特有特征在通道方向上与共有特征进行级联，形成统一的特征图；融合模块，被配置为利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图；生成模块，被配置为根据统一的特征图
、
融合后的特征图以及每个模态的可靠性权重进行多模态目标跟踪，生成多模态目标跟踪结果
。
[0008]本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤
。
[0009]本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤
。
[0010]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0011]通过从多模态传感器中获取包含多模态信息的图像数据，将包含多模态信息的图像数据作为多模态图像输入到预定的三元网络中；利用三元网络对多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量；基于多级残差注意力交互机制和余弦嵌入损失监督，对特征张量进行交互，以便对特征张量的差异性和多样性进行增强；利用特征张量，通过模态自增强与跨模态互增强策略进行特征融合，以使每个模态的特有特征在通道方向上与共有特征进行级联，形成统一的特征图；利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图；根据统一的特征图
、
融合后的特征图以及每个模态的可靠性权重进行多模态目标跟踪，生成多模态目标跟踪结果
。
本申请对特有特征和共有特征进行融合，针对模态可靠性和权重问题，通过通道注意力聚合的方式为两个模态分配互补权重，使特征级联和融合过程具有选择性，从而提升了模型性能和鲁棒性
。
附图说明
[0012]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图
。
[0013]图1是本申请实施例提供的基于自适应特征聚合的多模态目标跟踪方法的流程示意图；
[0014]图2是本申请实施例提供的基于自适应特征聚合的多模态目标跟踪装置的结构示意图；
[0015]图3是本申请实施例提供的电子设备的结构示意图
。
具体实施方式
[0016]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构
、
技术之类的具
体细节，以便透彻理解本申请实施例
。
然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请
。
在其它情况中，省略对众所周知的系统
、
装置
、
电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述
。
[0017]在多模态的特征提取模型中，特征提取由三元网络完成，并且利用余弦嵌入损失的约束使特征差异化和多样化
。
在模态特有特征的基础上，利用注意力机制进行特征自增强
、
跨模态通道互补增强；通过通道互补的方式实现模态间互补信息的跨模态感知并增强特征差异性
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于自适应特征聚合的多模态目标跟踪方法，其特征在于，包括：从多模态传感器中获取包含多模态信息的图像数据，将包含多模态信息的图像数据作为多模态图像输入到预定的三元网络中；利用所述三元网络对所述多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量；基于多级残差注意力交互机制和余弦嵌入损失监督，对所述特征张量进行交互，以便对所述特征张量的差异性和多样性进行增强；利用所述特征张量，通过模态自增强与跨模态互增强策略进行特征融合，以使每个模态的所述特有特征在通道方向上与所述共有特征进行级联，形成统一的特征图；利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图；根据所述统一的特征图
、
所述融合后的特征图以及每个模态的可靠性权重进行多模态目标跟踪，生成多模态目标跟踪结果
。2.
根据权利要求1所述的方法，其特征在于，所述利用所述三元网络对所述多模态图像进行特征提取，得到多模态的共有特征以及每个模态的特有特征，并输出多个特征张量，包括：输入所述多模态图像到所述三元网络的前卷积层，通过多次卷积操作，提取出低级的模态特异性特征；对所述低级的模态特异性特征进行池化操作，利用降采样降低特征维度，并保留主要的模态信息；通过多次卷积和池化层迭代操作，将低级特征映射到高级语义特征空间，利用归一化层对高级特征进行标准化处理，以使高级特征具有相同的尺度和分布；根据所述高级特征和所述低级特征，计算多模态的共有特征以及每个模态的特有特征，并输出多个所述特征张量；其中，所述三元网络包括卷积层
、
池化层和归一化层，所述三元网络用于从不同模态的图像数据中提取低级特征和高级特征
。3.
根据权利要求1所述的方法，其特征在于，所述基于多级残差注意力交互机制和余弦嵌入损失监督，对所述特征张量进行交互，以便对所述特征张量的差异性和多样性进行增强，包括：利用残差模块捕获每一模态特征张量中的短程和长程模式差异，并强化模态间的差异性特征；基于注意力机制，计算各模态特征与其他模态特征之间的相似度，并基于相似度计算出注意力权重矩阵；使用所述注意力权重矩阵对各模态特征进行加权，应用余弦嵌入损失，优化特征空间的分布；利用自适应权重分配策略，为每一模态的特征分配不同的权重，以强化目标跟踪的模态特征；其中，所述多级残差注意力交互机制包括一个或多个残差模块，所述多级残差注意力交互机制中应用自适应权重分配策略，以便在交互过程中为每一模态的特征赋予不同的权
重
。4.
根据权利要求1所述的方法，其特征在于，所述利用所述特征张量，通过模态自增强与跨模态互增强策略进行特征融合，以使每个模态的所述特有特征在通道方向上与所述共有特征进行级联，形成统一的特征图，包括：对每个模态的所述特有特征执行模态自增强操作，通过自我注意力机制，强化每个模态内部的关键信息并抑制噪声信息；对于跨模态互增强，计算不同模态特征之间的相关性，基于所述相关性确定模态间的增强策略，以使每个模态从其他模态中获取补充信息；根据计算得到的模态间相关性，动态地为每个模态分配增强权重，所述增强权重用于在网络训练过程中进行更新和优化；将每个模态对应的增强后的特有特征与共有特征在通道方向上进行级联，构建统一的特征图
。5.
根据权利要求1所述的方法，其特征在于，所述利用预设的自适应特征聚合模型，对前景信息和背景信息进行选择性融合，得到融合后的特征图，包括：将模态特...

【专利技术属性】
技术研发人员：吴鸿飞，龙政方，朱乾勇，韩波，邓凌天，袁正权，
申请(专利权)人：重庆赛力斯新能源汽车设计院有限公司，
类型：发明
国别省市：