基于序列感知与特征增强的无人机视角目标跟踪方法技术

本发明专利技术公开了一种基于序列感知与特征增强的无人机视角目标跟踪方法，主要解决了现有技术在无人机视角目标跟踪过程中，由于被跟踪目标尺寸较小和相机剧烈运动导致的被跟踪目标丢失的问题。本发明专利技术的实现步骤为：首先，构建序列感知与特征增强的跟踪网络，使用序列特征感知子网络提取视频序列特征并根据序列特征学习相机运动模式，再使用图像特征增强子网络利用序列特征增强图像特征，最后对增强后的图像特征解码得到无人机视角目标跟踪结果。本发明专利技术具有对序列信息和小目标表征能力强，无人机视角目标跟踪准确率高的优点。视角目标跟踪准确率高的优点。视角目标跟踪准确率高的优点。

【技术实现步骤摘要】
基于序列感知与特征增强的无人机视角目标跟踪方法


[0001]本专利技术属于图像处理
，更进一步涉及到目标跟踪
中的一种基于序列感知与特征增强的无人机视角目标跟踪方法。本专利技术可利用无人机对城市安防、自动驾驶和智慧交通中行动的行人和车辆等进行跟踪。

技术介绍

[0002]无人机视角目标跟踪的任务就是在给定无人机视角视频序列初始帧中某一目标大小和位置的情况下，预测该目标在后续帧中的大小和位置。导致无人机视角目标跟踪任务失败的原因有两点，第一，由于无人机在拍摄时的飞行高度较高，被拍摄的目标在图像中的尺寸较小，特征模糊且容易被环境遮挡；第二，无人机在拍摄目标时为了保证目标持续被相机捕捉到，需要经常调整相机角度，导致目标在视频中出现剧烈运动的情况。
[0003]贵州大学在其申请的专利文献“一种新的无人机目标跟踪算法”(专利申请号：CN114972439A，申请公布号：CN 110517291 A)中公开了将一种基于自我注意机制的特征相关网络用于无人机视角目标跟踪的方法。该方法首先将模板图像、搜索区域图像和动态模板更新图像输入特征提取网络，再将输出特征输入基于注意机制的网络获取全局特征信息，最后将模板特征和搜索区域特征输入特征相关网络解码得到跟踪结果。该方法存在的不足之处是，由于该方法没有考虑到视频序列的上下文信息，无法解决上述小目标问题和相机运动问题，当目标尺寸较小特征不足时，以及无人机相机运动导致目标在图像中的位置发生剧烈变化时，跟踪器很容易丢失目标，导致跟踪失败。
[0004]Goutam和Martin等人在其发表的论文“Know Your Surroundings:Exploiting Scene Information for Object Tracking”(会议名称：European Conference on Computer Vision
’
2020)中公开了一种可用于无人机视角目标跟踪的基于序列信息的方法，该方法首先将当前帧，之前帧和之前状态向量输入网络模型，再将当前帧输入图像特征提取网络，得到外观特征，同时将当前帧、之前帧和之前状态向量一起输入聚合网络模型，对之前状态向量进行更新，最后将更新后的状态向量和外观特征一起输入解码器得到跟踪结果。由于该方法使用的之前状态向量包含了序列信息，所以该方法在一定程度上解决了贵州大学在其申请的专利文献“一种新的无人机目标跟踪算法”方法没有利用视频序列上下文信息的不足，但是，该方法仍然存在的不足之处是，该方法在处理无人机视角目标跟踪过程中的小目标问题与相机运动问题时无法得到准确的跟踪结果，表明该方法的跟踪网络结构的设计限制了其对序列特征的提取与表征。

技术实现思路

[0005]本专利技术的目的是针对上述现有技术存在的不足，提出一种基于序列感知与特征增强的无人机视角目标跟踪方法，用于解决无人机视角目标跟踪过程中网络对小目标的特征不足，以及相机运动引起目标在图像中位置发生剧烈变化导致的跟踪失败的问题。
[0006]实现本专利技术目的的思路是：构建序列感知与特征增强的跟踪网络，首先使用序列
特征感知子网络提取视频序列特征，根据序列特征中包含的隐式的相机运动信息学习相机的运动模式。再使用图像特征增强子网络增强图像特征，利用序列特征在时序维度对小目标的特征进行补充。从而解决无人机视角目标跟踪过程中的相机运动问题和小目标问题。
[0007]本专利技术的实现步骤如下：
[0008]步骤1，构建序列感知与特征增强的跟踪网络：
[0009]步骤1.1，构建序列特征计算子网络；
[0010]搭建一个包括第一卷积层、第二卷积层、第三卷积层和第四卷积层组成的序列特征计算子网络，其中，第一卷积层与第二卷积层串联组成第一串联模块，第三卷积层与第四卷积层串联组成第二串联模块，再将第一串联模块与第二串联模块并联组成序列特征计算子网络，将第一至第四卷积层的卷积核个数均设置为64，卷积核尺寸均设置为1
×
1；
[0011]步骤1.2，构建图像特征增强子网络；
[0012]搭建一个包括第一卷积层、第二卷积层和第三卷积层组成的图像特征增强子网络，其中，第一卷积层、第二卷积层与第三卷积层依次串联组成图像特征增强子网络，将第一至第三卷积的卷积核个数依次设置为1、1、512，卷积核尺寸依次设置为3
×
3、3
×
3、、1
×
1；
[0013]步骤1.3，将图像特征提取子网络Resnet50与序列特征计算子网络并联后与图像特征增强子网络、DiMP跟踪模型解码器依次串联组成序列感知与特征增强的跟踪网络；
[0014]步骤2，生成训练集；
[0015]步骤2.1，从自然图像视频中随机采集至少100000个图像对，每对图像对由视频中相邻的两帧图像构成且两帧图像中均存在同一个不限种类的目标，两帧图像分别称为当前帧图像和前一帧图像；
[0016]步骤2.2，对每对图像对进行预处理，以每对图像对的当前帧图像中目标的位置中心为裁剪中心，将图像对中两幅图像的尺寸均裁剪为[288
×
288
×
3]，再将裁剪后的图像对进行随机平移或缩放处理；
[0017]步骤2.3，对于每对预处理后的图像对，以位置框的形式标注目标在当前帧图像中的位置，所述位置框用[c,w,h]表示，c、w和h为位置框的中心、宽度和高度，将[c,w,h]作为图像对的目标真实位置框，同时以c为中心生成高斯标签图作为图像对的目标分类标签图；
[0018]步骤2.4，将所有预处理后的图像对及其对应的目标分类标签图和目标真实位置框组成训练集；
[0019]步骤3，训练网络：
[0020]将训练集中的图像对输入到序列感知与特征增强的跟踪网络中，使用SGD优化算法，离线迭代训练序列感知与特征增强的跟踪网络的参数，直到损失函数收敛为止，得到训练好的网络；
[0021]步骤4，使用训练好的网络对无人机视角视频中的目标进行在线跟踪。
[0022]本专利技术与现有技术相比，具有以下优点：
[0023]第一，本专利技术通过构建的序列特征感知子网络，解决了现有方法对序列信息表征不足的缺点，使得本专利技术根据序列特征学习相机运动信息，具有在无人机相机运动后仍然不会丢失跟踪目标的优点。
[0024]第二，本专利技术通过构建的图像特征增强子网络，解决了现有方法对小目标表征不
足的缺点，使得本专利技术利用序列特征对小目标的外观特征进行补充，具有在跟踪小目标时不会因为外观特征不足丢失跟踪目标的优点。
附图说明
[0025]图1是本专利技术的流程图；
[0026]图2是本专利技术的仿真结果图。
具体实施方式
[0027]下面结合附图和实施例，对本专利技术做进一步的详细描述。
[0028]参照图1和实施例，对本专利技术的具体实现步骤做进一步的详细描述。
[0029]步骤1，构建序列感知与特征增强的跟踪网络。...

【技术保护点】

【技术特征摘要】
1.一种基于序列感知与特征增强的无人机视角目标跟踪方法，其特征在于，分别构建序列特征计算子网络和图像特征增强子网络；该跟踪方法的具体步骤包括如下：步骤1，构建序列感知与特征增强的跟踪网络；步骤1.1，构建序列特征计算子网络；搭建一个包括第一卷积层、第二卷积层、第三卷积层和第四卷积层组成的序列特征计算子网络，其中，第一卷积层与第二卷积层串联组成第一串联模块，第三卷积层与第四卷积层串联组成第二串联模块，再将第一串联模块与第二串联模块并联组成序列特征计算子网络，将第一至第四卷积层的卷积核个数均设置为64，卷积核尺寸均设置为1
×
1；步骤1.2，构建图像特征增强子网络；搭建一个包括第一卷积层、第二卷积层和第三卷积层组成的图像特征增强子网络，其中，第一卷积层、第二卷积层与第三卷积层依次串联组成图像特征增强子网络，将第一至第三卷积的卷积核个数依次设置为1、1、512，卷积核尺寸依次设置为3
×
3、3
×
3、、1
×
1；步骤1.3，将图像特征提取子网络Resnet50与序列特征计算子网络并联后与图像特征增强子网络、DiMP跟踪模型解码器依次串联组成序列感知与特征增强的跟踪网络；步骤2，生成训练集；步骤2.1，从自然图像视频中随机采集至少100000个图像对，每对图像对由视频中相邻的两帧图像构成且两帧图像中均存在同一个不限种类的目标，两帧图...

【专利技术属性】
技术研发人员：韩冰，杨铮，高新波，陈玮铭，黄晓悦，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：