【技术实现步骤摘要】
本专利技术涉及模式识别，尤其涉及一种基于双向生成的少样本变压器网络跨域目标跟踪方法。
技术介绍
1、目标跟踪任务的研究在智能驾驶辅助、公共安全、智能医疗、军防安全领域具有重大意义，先进的跟踪技术能够预防和应对复杂条件下的棘手问题，因此成为当下计算机视觉研究领域的重点之一。
2、现实应用场景难以达到理想环境，传感设备本身也具有干扰约束，运动目标跟踪算法的研究始终存在困难与挑战：a)目标与背景和其他目标特征相似导致的信息提取存在误差，差异性低导致相近特征界限模糊，难以实现精确的跟踪；b)受光照条件干扰，对相应帧的特征提取不稳定；c)由于运动噪声、遮挡或形态变化，造成特定帧特征缺失或发生剧烈的结构变化，导致跟踪失败；d)由信息采集行为或传感器本身导致的分辨率低、画面抖动等问题，使得目标跟踪困难甚至失败。
3、综上，实现性能稳定的目标跟踪可谓是感知算法深入渗透到各领域的必经之路，尽管当前计算机视觉领域的研究者们在目标识别与跟踪任务上取得了较多的研究成果，但是上述问题依旧难以被完全解决，存在许多可突破点去实现性能的优化。
4、伴随深度模型应用的普及，研究者们逐渐在模型本身和训练数据的轻量、泛化上追求创新。事实上，从模型训练性能角度出发，大部分的网络通常依赖大量的含有标注的训练样本，数据量不足会直接导致特征学习被限制，表现为验证结果在特定数据下的欠拟合和不稳定。在这样的领域发展趋势下，衍生出了少样本学习策略。
5、与传统的跟踪器相比，绝大部分的跟踪器需要预先获得大量的标记样本来训练它们的深度网
6、跨域目标跟踪的目的是将在源域数据集上训练好的模型，应用到不同的目标域的训练集上进行微调，并在目标域测试集上获得较高的识别性能。这类任务目前可分为风格转换方法和伪标签生成方法两类。基于风格转换的跨域目标跟踪通过图像生成的相关方法降低源域和目标域样本风格之间的差异。deng提出了基于相似性的gan网络，将源域图像的风格转换成目标域对应的风格，然后使用转换后的图像训练模型。除了像素级，部分样本之间还有空间级差异存在。据此，在转换前后目标对象一致的前提下，通过增加关系一致性来生成样本，以适应不同域之间的差异。chen提出了一种实例指导上下文渲染的方法，将源域图像的目标部分转移到其他目标域背景中，利用gan生成样式不固定的训练样本。针对目标对象外观变化剧烈，li等人提出了pda-net，无需先验信息，仅通过源域实现基于姿态引导的图像重建。受域自适应方法的启发，lin等则另辟蹊径，从传感器样式入手，提出了一种传递网络，生成不同传感器样式下的训练样本。delorme等人将传感器索引信息引入到目标跟踪，提出相机对抗转换网络，同时完成传感器样式转换和目标跟踪。上述工作在创新性上为后续研究者提供了良好的思路，但是域间风格的差异和其他影响都会使生成样本具有不同程度类型的噪声，导致性能难以提升。
7、基于伪标签生成通常使用cd等方法为目标域样本分配伪标签，然后在目标域学习。fan等人提出了一种渐进无监督学习方法。仅使用目标域中靠近聚类中心的样本对模型进行训练，然后自适应地调整训练数据样本量。文献“李浩然,周小平,王佳.跨域图像检索综述[j].journal of computer engineering&applications,2022,58(15).”则提出渐进增强模型，两阶段性地先使用三元组损失函数捕捉目标域局部特征表示再引入分类层渐进性地优化网络，从全局角度优化。由于跨域数据差异，伪标签通常具有不同类型和程度的噪声。为此，文献“杨真真,邵静,杨永鹏,等.基于精确特征分布匹配和多域信息融合的跨域行人重识别[j].journal of signal processing,2023,39(6).”通过改进聚类方式降低噪声，提出了增强聚类方法，利用基于密度的层次聚类、自适应地增强样本和特征可判别性，通过迭代进行聚类以及和样本生成。跨域学习在目标跟踪领域中仍处于待发展的阶段，现有方法基本是基于生成伪标签设计网络，由于源域目标域差异，伪标签噪声不可避免，对模型性能影响很大。因此，如何降低目标跟踪模型对样本基础的依赖值得被关注。
技术实现思路
1、针对现有技术的不足，本专利技术提供一种基于双向生成的少样本变压器网络跨域目标跟踪方法，针对跨域数据产生的域漂移和少样本条件下的目标跟踪方法精度低稳定性差问题进行改进，提升跨域少样本跟踪预测的鲁棒性和精确性。
2、基于双向生成的少样本变压器网络跨域目标跟踪方法，包括以下步骤：
3、步骤1：数据准备阶段；
4、对从公开图像识别数据集coco中获取的训练序列中所有视频帧裁剪出目标搜索区域，从每个视频的帧序列的前半部分抽取两帧作为模板帧，即源域；从uav123中抽取5个序列，抽取帧序列作为测试帧，即目标域；对测试帧标注目标框作为验证帧，每个验证帧中目标框的对角坐标作为离线训练过程中的真实标签；
5、步骤2：多任务特征提取阶段；
6、首先通过残差网络进行对输入序列中目标区域的特征提取，所述残差网络包括残差块1以及残差块2，所述残差块1和残差块2分别由三个三维卷积层组成；残差块1提取到的特征通过跳跃连接连接在一起，并提供给残差块2，残差块2将提取到的特征，以及前一个残差块传过来的特征进行跳跃连接；将最终提取到的特征，即整合两个残差块提取的特征与通过跳跃连接传递的特征，映射到一个度量空间，使用变压器编码器对所提取的特征进行特征映射和位置编码，输出处理后的特征向量，获得多任务编码器；
7、所述变压器编码器由自注意力层和前馈神经网络层组成；
8、所述多任务编码器对源域和目标域数据中提取到的特征进行处理后得到联合嵌入特征，多任务编码器在域适应过程中同时承担少样本学习和特征分布重建双重任务。
9、步骤3：跨域少样本方法离线训练阶段；
10、在模板分支和搜索分支上本文档来自技高网...
【技术保护点】
1.一种基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，步骤2中所述变压器编码器由自注意力层和前馈神经网络层组成；
3.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，步骤3中所述元学习形式是通过小批量抽样建立的集合来模拟少样本任务，在训练迭代过程中通过学习源域与目标域的小样本抽样集合来更新多任务编码器中的深度网络参数，学习嵌入式特征。
4.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，所述步骤3具体包括以下步骤：
5.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，所述步骤4具体包括以下步骤：
6.根据权利要求5所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，所述步骤4中，在训练过程的一次迭代中，多任务编码器首先提取源域和目标域数据特征并重构特征分布，得到源域重构的特征映射pS和目标域重构的特征
...【技术特征摘要】
1.一种基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，步骤2中所述变压器编码器由自注意力层和前馈神经网络层组成；
3.根据权利要求1所述的基于双向生成的少样本变压器网络跨域目标跟踪方法，其特征在于，步骤3中所述元学习形式是通过小批量抽样建立的集合来模拟少样本任务，在训练迭代过程中通过学习源域与目标域的小样本抽样集合来更新多任务编码器中的深度网络参数，学习嵌入式特征。
4.根据权利要求1所述的基于双向生成的少样本变压器网...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。