基于多阶段自适应网络的鲁棒目标跟踪方法及系统技术方案

本发明专利技术涉及一种基于多阶段自适应网络的鲁棒目标跟踪方法及系统，该方法包括以下步骤：S1、构建离线训练数据集；S2、使用元学习的多步梯度下降训练方法对离线训练数据集进行训练，得到元学习模型；S3、构建多阶段自适应网络，包括领域自适应子网、特征自适应子网和位置自适应子网三个不同自适应子网络，S4、将测试视频中仅已知目标位置的第一帧输入到领域自适应子网，对构建的多阶段自适应网络进行初始化训练；S5、将测试视频中第二帧开始的后续帧依次输入到特征自适应子网中，利用多阶段自适应网络对测试视频进行跟踪。该方法及系统有利于获得更加稳定、鲁棒、准确的跟踪结果。准确的跟踪结果。准确的跟踪结果。

【技术实现步骤摘要】
Workshop.2016,pp.850
‑
865.)使用完全卷积孪生网络来估计模板特征和搜索区域特征之间的相似性。此外，还有大量的后续工作，例如，SiamRPN(B.Li,J.Yan,W.Wu,Z.Zhu,X.Hu,High performance visual tracking with siamese region proposal network,in:Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2018,pp.8971
–
8980.)将跟踪看成单样本局部检测，将区域候选网络加入孪生网络，改进了互相关策略，获得了优越的性能和更准确的目标尺度估计。Ocean(Z.Zhang,H.Peng,J.Fu,B.Li,W.Hu,Ocean:Object
‑
aware anchor
‑
free tracking,in:Proceedings of the European Conference on Computer Vision,Vol.12366,2020,pp.771
–
787.)引入了一个特征对齐模块来适应尺度变化，并学习一个可感知对象的特征来纠正不准确的目标位置，从而动态地适应外观变化。然而，由于缺乏处理外观变化的适应能力，上述的目标跟踪方法并不能很好地泛化到测试任务中。

技术实现思路

[0005]本专利技术的目的在于提供一种基于多阶段自适应网络的鲁棒目标跟踪方法及系统，该方法及系统有利于获得更加稳定、鲁棒、准确的跟踪结果。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于多阶段自适应网络的鲁棒目标跟踪方法，包括以下步骤：
[0007]S1、从视频序列数据集中随机抽取两帧图片，第一帧作为支撑集，第二帧作为查询集，重复此操作得到多对支撑集与查询集，以此构建离线训练数据集；
[0008]S2、使用元学习的多步梯度下降训练方法对离线训练数据集进行训练，得到元学习模型
[0009]S3、构建多阶段自适应网络，包括领域自适应子网、特征自适应子网和位置自适应子网三个不同自适应子网络，领域自适应子网利用元学习训练加强跟踪模型对新视频序列的泛化能力，特征自适应子网利用多层多尺度元分类器模块和对抗注意力掩码模块捕获鲁棒和判别特征信息来更新跟踪模型，位置自适应子网对初步结果进行边界框细化以增加跟踪准确度；
[0010]S4、对构建的多阶段自适应网络进行初始化训练；将测试视频中仅已知目标位置的第一帧输入到领域自适应子网，通过随机梯度下降算法对第一帧和离线训练得到的元学习模型找到适应当前视频序列的最佳参数θ
’
，用于更新元特征提取器，然后将第一帧的目标特征向量输入对抗注意力掩码模块，利用生成的注意力掩码捕获原始特征中鲁棒特征，生成元对抗特征，其生成的损失反向传播用于更新元特征提取器；
[0011]S5、利用多阶段自适应网络对测试视频进行跟踪；从第二帧开始，将测试视频的当前帧输入特征自适应子网中的多层多尺度元分类器模块获得多个候选目标样本的分类得分，取平均值作为目标置信分数；如果置信分数不大于0，则认为跟踪不成功，执行重采样操作，即扩大采样的搜索区域范围，以之前跟踪成功的目标位置作为当前帧目标中心，并重新采集正负样本；如果置信分数大于0，则将分值最大的候选样本作为目标位置并采集正负样本；然后，执行边界框回归操作，将回归后的结果作为位置自适应子网的输入，通过与第一帧的特征融合操作得到最终的目标跟踪结果；跟踪过程中，每隔设定帧执行一次长时更新，
将跟踪结果的特征向量输入对抗注意力掩码模块，通过对抗判别训练得到元对抗特征来计算交叉熵损失；而短时更新在置信分数不大于0时执行，其不执行对抗注意力判别模块，而是利用重新采集的正负样本直接计算交叉熵损失。
[0012]进一步地，所述步骤S2中，在支撑集上计算每一步损失，获得每一步更新后的参数，进而用更新后参数计算对应查询集上的每一步损失，将查询集上的损失求和进行总的梯度下降，从而找到模型可泛化的初始化参数θ
*
。
[0013]进一步地，所述步骤S3中，所述领域自适应子网由元学习模型和元特征提取器组成，输入为仅已知目标位置的第一帧图片，输出为第一帧目标的特征向量；所述特征自适应子网由多层多尺度元分类器模块和对抗注意力掩码模块组成，其中多层多尺度元分类器模块由特征预测网络构成，输入为第二帧开始的后续帧，输出为该帧的目标置信分数；对抗注意力掩码模块由元对抗特征生成器构成，输入为目标跟踪结果的特征向量，输出为元对抗特征；位置自适应子网由边界框回归和特征融合操作组成，输入为经过边界框回归之后的初步结果，输出为自适应后精确的目标跟踪结果。
[0014]进一步地，所述领域自适应子网中，跟踪模型根据输入第一帧图片，对其提取正负样本特征，通过softmax函数计算出置信分数，然后利用交叉熵损失函数计算出损失，进而求得梯度，通过随机梯度下降算法找到当前视频序列的最佳参数θ
’
，然后用于更新元特征提取器，所提取的特征用于对抗注意力掩码模块中进行对抗训练；利用元学习训练得到的初始化模型进行域适应以减少网络的过度拟合，并更新网络的卷积层参数以快速适应当前序列；通过域适应提高离线训练元学习模型的泛化能力，使模型自适应地根据给定目标调整学习率，然后找到最佳参数；当前视频序列的最佳参数通过以下公式求得：
[0015][0016]其中，D
S
是来自视频序列第一帧的训练数据，表示参数为θ
*
的元学习模型，α是学习率，是根据第一帧损失L对θ
*
计算得到的梯度值；表示第一帧训练数据D
S
经过元学习模型得到预测值并利用交叉熵损失计算出相应损失，进而求导得到相应梯度。
[0017]进一步地，所述特征自适应子网中，对抗注意力掩码模块的输入是目标结果的特征向量，利用对抗学习生成的注意力掩码和所提取特征进行Dropout操作，输出元对抗特征；其中对抗注意力掩码模块采用高阶代价敏感损失函数来计算损失，用于更新网络模型参数；多层多尺度元分类器模块的输入是第二帧开始的后续帧图片，利用权重共享的元特征提取器对后续帧图片提取特征，并对不同卷积层输出的特征大小进行特征融合操作，然后通过全连接层输出相应分数；具体方法为：构建多层多尺度元分类器模块，将不同层和不同尺度的特征进行融合，以适应尺度变化和形变等复杂跟踪场景；
[0018]如果多层多尺度元分类器模块输出的候选样本的置信分数大于0，则将得分最高的候选样本作为位置自适应子网的输入；如果置信分数不大于0则执行短时更新；跟踪过程中，长时更新每隔十帧执行一次，通过生成器和判别器的迭代训练，利用对抗注意力掩码模块产生基于对抗学习的掩码，选择使判别器损失最大的掩码作为最新掩码；引入位置注意力机制，用来获得更有效的注意力掩码，捕获鲁棒特征以保持目标外观本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多阶段自适应网络的鲁棒目标跟踪方法，其特征在于，包括以下步骤：S1、从视频序列数据集中随机抽取两帧图片，第一帧作为支撑集，第二帧作为查询集，重复此操作得到多对支撑集与查询集，以此构建离线训练数据集；S2、使用元学习的多步梯度下降训练方法对离线训练数据集进行训练，得到元学习模型f
θ*
；S3、构建多阶段自适应网络，包括领域自适应子网、特征自适应子网和位置自适应子网三个不同自适应子网络，领域自适应子网利用元学习训练加强跟踪模型对新视频序列的泛化能力，特征自适应子网利用多层多尺度元分类器模块和对抗注意力掩码模块捕获鲁棒和判别特征信息来更新跟踪模型，位置自适应子网对初步结果进行边界框细化以增加跟踪准确度；S4、对构建的多阶段自适应网络进行初始化训练；将测试视频中仅已知目标位置的第一帧输入到领域自适应子网，通过随机梯度下降算法对第一帧和离线训练得到的元学习模型f
θ*
找到适应当前视频序列的最佳参数θ
’
，用于更新元特征提取器，然后将第一帧的目标特征向量输入对抗注意力掩码模块，利用生成的注意力掩码捕获原始特征中鲁棒特征，生成元对抗特征，其生成的损失反向传播用于更新元特征提取器；S5、利用多阶段自适应网络对测试视频进行跟踪；从第二帧开始，将测试视频的当前帧输入特征自适应子网中的多层多尺度元分类器模块获得多个候选目标样本的分类得分，取平均值作为目标置信分数；如果置信分数不大于0，则认为跟踪不成功，执行重采样操作，即扩大采样的搜索区域范围，以之前跟踪成功的目标位置作为当前帧目标中心，并重新采集正负样本；如果置信分数大于0，则将分值最大的候选样本作为目标位置并采集正负样本；然后，执行边界框回归操作，将回归后的结果作为位置自适应子网的输入，通过与第一帧的特征融合操作得到最终的目标跟踪结果；跟踪过程中，每隔设定帧执行一次长时更新，将跟踪结果的特征向量输入对抗注意力掩码模块，通过对抗判别训练得到元对抗特征来计算交叉熵损失；而短时更新在置信分数不大于0时执行，其不执行对抗注意力判别模块，而是利用重新采集的正负样本直接计算交叉熵损失。2.根据权利要求1所述的基于多阶段自适应网络的鲁棒目标跟踪方法，其特征在于，所述步骤S2中，在支撑集上计算每一步损失，获得每一步更新后的参数，进而用更新后参数计算对应查询集上的每一步损失，将查询集上的损失求和进行总的梯度下降，从而找到模型可泛化的初始化参数θ
*
。3.根据权利要求1所述的基于多阶段自适应网络的鲁棒目标跟踪方法，其特征在于，所述步骤S3中，所述领域自适应子网由元学习模型f
θ*
和元特征提取器组成，输入为仅已知目标位置的第一帧图片，输出为第一帧目标的特征向量；所述特征自适应子网由多层多尺度元分类器模块和对抗注意力掩码模块组成，其中多层多尺度元分类器模块由特征预测网络构成，输入为第二帧开始的后续帧，输出为该帧的目标置信分数；对抗注意力掩码模块由元对抗特征生成器构成，输入为目标跟踪结果的特征向量，输出为元对抗特征；位置自适应子网由边界框回归和特征融合操作组成，输入为经过边界框回归之后的初步结果，输出为自适应后精确的目标跟踪结果。4.根据权利要求3所述的基于多阶段自适应网络的鲁棒目标跟踪方法，其特征在于，所述领域自适应子网中，跟踪模型根据输入第一帧图片，对其提取正负样本特征，通过
softmax函数计算出置信分数，然后利用交叉熵损失函数计算出损失，进而求得梯度，通过随机梯度下降算法找到当前视频序列的最佳参数θ
’
，然后用于更新元特征提取器，所提取的特征用于对抗注意力掩码模块中进行对抗训练；利用元学习训练得到的初始化模型进行域适应以减少网络的过度拟合，并更新网络的卷积层参数以快速适应当前序列；通过域适应提高离线训练元学习模型的泛化能力，使模型自适应地根据给定目标调整学习率，然后找到最佳参数；当前视频序列的最佳参数通过以...

【专利技术属性】
技术研发人员：陈思，王立波，王大寒，朱顺痣，吴芸，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：