基于多挑战感知学习模型的训练、跟踪方法技术

本发明专利技术涉及基于多挑战感知学习模型的训练及实时跟踪方法，依次包括模型训练过程、通过预先训练的模型进行的跟踪过程两个部分，其中，S11、构建网络模型S12、使用标定好目标的VOT数据集来训练整个所述的网络模型；S21、输入当前跟踪的视频帧，在前一帧预测的目标位置周围用高斯采样获取当前帧的候选样本；S22、获取候选样本的的特征图；S23、将所述特征图输入到分类器模块中，预测目标位置；S24、判断当前帧是否跟踪成功；本发明专利技术能够有效的增加特征表达的丰富性，提高了跟踪的鲁棒性，并达到了实时的跟踪性能。

Training and tracking method based on multi challenge perceptual learning model

【技术实现步骤摘要】
基于多挑战感知学习模型的训练、跟踪方法
本专利技术涉及计算机视觉领域，尤其涉及基于多挑战感知学习模型的训练、跟踪方法。
技术介绍
视觉跟踪是计算机视觉领域中一个基础的研究问题，其目的是在给定视频序列第一帧中跟踪目标初始状态(如大小和位置)的情况下，估计后续视频帧中目标的状态。目前，视觉跟踪技术已广泛应用于智能视频监控、无人驾驶、增强现实等领域，对社会安全和文化娱乐等领域的发展有着重要的研究意义。随着计算机硬件性能的不断提高和大规模视觉数据集(如ImageNet，大规模图像分类数据集)的引入，基于深度学习特别是深层卷积神经网络的方法在多个计算机视觉任务上(如图片分类、目标检测)都取得了显著的成功。目前基于深度学习检测方法的视觉跟踪模型，实质上是学习跟踪目标的深度特征表示，再送入一个二分类器中对目标和背景进行分类。但是这种方法在处理视觉跟踪任务时仍具有一定局限性，其中一个关键的原因是深层卷积神经网络算法的性能依赖于大规模标注的训练数据集的离线学习。然而，由于视觉跟踪任务的目标是任意的，很难得到足够的训练数据来学习有效的基于目标实例的深度特征表示。为了解决训练数据不充分的问题，现有的方法在最后一个卷积层后添加了一个Inception-like模块，并使用该模块和VOT(VisualObjectTracking，视觉目标跟踪)数据集中标注的挑战属性来学习基于挑战感知的具有高级语义信息的深度特征表示；如申请号为“CN201710863151.3”的专利，利用了训练模型Inception模块进行处理。然而，我们观察到，一些挑战(如光照变化)在浅层有着很好的特征表示，而一些挑战(如尺度变化)的特征在中层可以表现的很好。因此，现有方法采用的使用Inception-like结构提取不同属性的具有高级语义信息的深度特征表示，不能很好的提取多层次的挑战信息，从而使得挑战属性的特征表达不够丰富。
技术实现思路
本专利技术所要解决的技术问题在于提供基于多挑战感知学习模型的训练、跟踪方法，以解决多层次的挑战信息提取不佳的问题。本专利技术通过以下技术手段实现解决上述技术问题的：基于多挑战感知学习模型的训练方法，包括以下步骤；S11、构建网络模型；所述网络模型包括依次串联的第一级挑战模块、所述第二级挑战模块、第三级挑战模块、AdaptiveRoIAlign(自适应感兴趣区域对准操作)层、分类器模块；其中，所述第一级挑战模块包括第一卷积层模块、第一多挑战感知器模块、第一concatenate函数层、第一聚合层模块，将候选样本分别输入至第一卷积层模块、第一多挑战感知器模块中，第一卷积层模块用来提取通用的目标特征，第一多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第一多挑战感知器模块的输出结果通过第一concatenate(拼接)函数层进行通道维度的拼接，并输送至第一聚合层模块，第一聚合层模块将得到的多挑战特征进行聚合处理解决跟踪过程中挑战不可知的问题，第一聚合层模块处理的结果与第一卷积层模块提取的目标特征进行相加融合，输送至所述第二级挑战模块处；所述所述第二级挑战模块包括第二卷积层模块、第二多挑战感知器模块、第二concatenate函数层、第二聚合层模块，所述第二卷积层模块、第二多挑战感知器模块接收到第一级挑战模块输出的相加融合的结果；第二多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第二多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第二聚合层模块，第二聚合层模块将得到的多挑战特征进行聚合处理解决跟踪过程中挑战不可知的问题，第二聚合层模块处理的结果与第二卷积层模块提取的目标特征进行相加融合；输送至第三级挑战模块处；所述第三级挑战模块包括第三卷积层模块、第三多挑战感知器模块、第三concatenate函数层、第三聚合层模块，所述第三卷积层模块、第三多挑战感知器模块接收到所述第二级挑战模块输出的相加融合的结果；第三多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第三多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第三聚合层模块，第三聚合层模块将得到的多挑战特征进行聚合处理解决跟踪过程中挑战不可知的问题，第三聚合层模块处理的结果与第三卷积层模块提取的目标特征进行相加融合；输送到达AdaptiveRoIAlign层，AdaptiveRoIAlign层加快跟踪过程中候选区域的特征提取过程，根据不同候选样本提取对应位置的深度特征得到最终的特征图，再输送至分类器模块，分类器模块进行计算得到每个候选样本的得分，最后取最高正样本得分的样本位置作为当前帧预测的视觉跟踪结果；S12、使用标定好目标的VOT数据集来训练整个所述的网络模型；通过引入多层次与主干网络模块并行的多挑战感知器模块学习不同层次的挑战特征，引入聚合层模块来解决跟踪过程中挑战不可知的问题，引入AdaptiveRoIAlign层来加快跟踪过程中候选区域的特征提取过程；有效的增加了特征表达的丰富性，提高了跟踪的鲁棒性，并达到了实时的跟踪性能。作为本专利技术进一步的方案：并截取前三层卷积层作为主干网络，所述第一卷积层模块、第二卷积层模块、第三卷积层模块作为主干网络模块，通过使用ImageNet数据集进行预训练分类网络VGG-M，并将这个网络的原有参数作为主干网络模块的初始化参数；所述多挑战感知器模块由依次串联的卷积层、ReLU激活函数层、批归一化层、随机失活层、最大池化层组成；所述聚合层模块由依次串联的卷积层、ReLU激活函数层、局部响应归一化层组成；所述分类器模块是由依次串联的两个全连接层和一个带由softmax层的全连接层所组成。作为本专利技术进一步的方案：第一卷积层模块由依次串联的第一卷积层、ReLU激活函数层、局部响应归一化层、最大池化层组成；所述第二卷积层模块由依次串联的第二卷积层、ReLU激活函数层、局部响应归一化层组成；第三卷积层模块由依次串联的第三卷积层、ReLU激活函数层组成；所述第一卷积层、第二卷积层、第三卷积层的卷积核大小分别为7*7、5*5、3*3，第一卷积层、第二卷积层操作步长为2，第三卷积层是操作步长为1、空洞率为3的空洞卷积。作为本专利技术进一步的方案：所述步骤S12包括；S1201、在每一帧中根据给定的真值框选取S+＝50(IOU≥0.7)和S-＝200(IOU≤0.5)的样本数；其中，S+表示正样本，S-表示负样本，IOU表示采集样本与真值框之间的交并比；S1202、通过采集的正负样本，使用随机梯度下降法进行1000次迭代训练，每次迭代训练根据以下方法处理：设K表示VOT数据集中的视频序列的个数，K为正整数，为每个视频序列构建一个新的随机初始化的FC6全连接层；S1203、训练分为两个阶段，第一阶段提取VOT数据集中每个视频序列不同挑战帧的集合，用这些数据训练与主干网络模块并行的多挑战感知器模块；第二阶段使用整个VOT本文档来自技高网...

【技术保护点】
1.基于多挑战感知学习模型的训练方法，其特征在于，包括以下步骤：/nS11、构建网络模型；/n所述网络模型由依次串联的用于获取候选样本特征图的多级挑战模块、Adaptive RoIAlign层、分类器模块组成；/nS12、使用标定好目标的VOT数据集来训练所述的网络模型。/n

【技术特征摘要】
1.基于多挑战感知学习模型的训练方法，其特征在于，包括以下步骤：
S11、构建网络模型；
所述网络模型由依次串联的用于获取候选样本特征图的多级挑战模块、AdaptiveRoIAlign层、分类器模块组成；
S12、使用标定好目标的VOT数据集来训练所述的网络模型。


2.根据权利要求1所述的基于多挑战感知学习模型的模型的训练方法，其特征在于，所述步骤S11中；
所述多级挑战模块包括第一级挑战模块、第二级挑战模块、第三级挑战模块；
所述第一级挑战模块包括第一卷积层模块、第一多挑战感知器模块、第一concatenate函数层、第一聚合层模块，将候选样本分别输入至第一卷积层模块、第一多挑战感知器模块中，第一卷积层模块用来提取通用的目标特征，第一多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第一多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第一聚合层模块，第一聚合层模块将得到的多挑战特征进行聚合处理，第一聚合层模块处理的结果与第一卷积层模块提取的目标特征进行相加融合，输送至所述第二级挑战模块处；
所述第二级挑战模块包括第二卷积层模块、第二多挑战感知器模块、第二concatenate函数层、第二聚合层模块，所述第二卷积层模块、第二多挑战感知器模块接收到第一级挑战模块输出的相加融合的结果；第二多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第二多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第二聚合层模块，第二聚合层模块将得到的多挑战特征进行聚合处理，第二聚合层模块处理的结果与第二卷积层模块提取的目标特征进行相加融合；输送至第三级挑战模块处；
所述第三级挑战模块包括第三卷积层模块、第三多挑战感知器模块、第三concatenate函数层、第三聚合层模块，所述第三卷积层模块、第三多挑战感知器模块接收到所述第二级挑战模块输出的相加融合的结果；第三多挑战感知器模块提取不同挑战属性下的目标特征表示，然后第三多挑战感知器模块的输出结果通过concatenate函数层进行通道维度的拼接，并输送至第三聚合层模块，第三聚合层模块将得到的多挑战特征进行聚合处理，第三聚合层模块处理的结果与第三卷积层模块提取的目标特征进行相加融合；
输送到达AdaptiveRoIAlign层，AdaptiveRoIAlign层加快跟踪过程中候选区域的特征提取过程，根据不同候选样本提取对应位置的深度特征得到最终的特征图，再输送至分类器模块，分类器模块进行计算得到每个候选样本的得分。


3.根据权利要求2所述的基于多挑战感知学习模型的训练方法，其特征在于，
所述第一卷积层模块、第二卷积层模块、第三卷积层模块作为主干网络模块，通过使用ImageNet数据集进行预训练分类网络VGG-M，并将这个网络的原有参数作为主干网络模块的初始化参数；
所述多挑战感知器模块由依次串联的卷积层、ReLU激活函数层、批归一化层、随机失活层、最大池化层组成；
所述聚合层模块由依次串联的卷积层、ReLU激活函数层、局部响应归一化层组成；
所述分类器模块是由依次串联的两个全连接层和一个带由softmax层的全连接层所组成；
第一卷积层模块由依次串联的第一卷积层、ReLU激活函数层、局部响应归一化层、最大池化层组成；
所述第二卷积层模块由依次串联的第二卷积层、ReLU激活函数层、局部响应归一化层组成；
第三卷积层模块由依次串联的第三卷积层、ReLU激活函数层组成。


4.根据权利...

【专利技术属性】
技术研发人员：李成龙，刘磊，鹿安东，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34