【技术实现步骤摘要】
本专利技术属于图像处理，进一步涉及深度学习和数字图像处理技术，具体为一种基于uavtranst网络的无人机目标跟踪方法、系统、设备及介质，其中涉及的无人机目标跟踪网络uavtranst(uav transformer tracking)是在现有无人机目标跟踪网络swintransformer基础上改进得到。本专利技术可用于无人机光学图像中目标的自动跟踪。
技术介绍
1、无人机目标跟踪技术是无人机领域的一个重要研究方向，广泛应用于民用和军事领域，如搜索侦察、环境监测、救灾等任务中。随着计算机视觉技术的快速发展，基于视觉的目标跟踪已成为一种直观且接近人类行为的跟踪方式。这种技术通过从视频序列中提取目标特征，并预测目标在未来帧中的位置和大小，实现对目标的连续跟踪。无人机目标跟踪面临的挑战包括场景环境的复杂性、目标的多变性、目标与背景的可区分性差、尺度变化、相机抖动和视角变化等。这些因素增加了目标特征提取和模型建立的难度，对跟踪性能构成挑战。
2、在目标跟踪算法方面，主要分为生成类和判别类方法。生成类方法主要关注目标本身，忽略背景信息，而判别类方法通过提取更多有用信息来提高跟踪的准确率和速度。基于相关滤波的跟踪算法和基于深度学习的跟踪算法是目前研究的热点，它们通过在线学习和更新模型来适应目标的变化，达到实时跟踪的效果。
3、南京航空航天大学在所申请的专利文献(申请号：cn202211428837.7，申请公布号：cn115984319a)中公开了一种基于改进yolov7和deepsort的无人机目标跟踪方法。该方
4、公开号为cn117456196a的专利申请文件公开了一种基于transformer多层特征融合的无人机目标跟踪方法及系统。该方法的实现步骤为：使用mobilenetv3网络对搜索图片和模板图片中的目标区域进行特征提取，分别获得三个不同尺度的特征图；使用多层特征融合方法对三个不同尺度的特征图进行特征融合，获得融合搜索特征图和融合模板特征图；使用基于tra nsformer的特征匹配方法对融合搜索特征图和融合模板特征图进行深度融合，获得响应图；将响应图输入多头注意力模块得到目标边界框。但是，该专利技术仍然存在不足之处是，在光照变化场景下该专利技术的无人机目标跟踪精度依然较低。
5、综上所述，现有技术存在以下的缺陷和不足：
6、1.在复杂的自然场景中，如森林、城市、海洋等，目标与背景的颜色和纹理往往非常相似，导致现有无人机目标跟踪算法难以准确分离和跟踪目标。
7、2.在不同的光照条件下(如白天、夜晚、阴影等)，目标的外观特征会发生显著变化，现有方法会出现漏跟踪以及错误跟踪情况。
8、3.无人机平台通常具有有限的计算能力，难以支持复杂的深度学习模型或其他计算密集型算法，导致目标跟踪的实时性和精度之间存在权衡。
技术实现思路
1、为了克服上述现有技术的不足，本专利技术的目的在于提供一种基于uavtranst网络的无人机目标跟踪方法、系统、设备及介质，通过在特征提取子网络部分设计一个频域和空间信息增强模块fsie，该模块捕获并结合了目标的频率和空间特征，提高了目标特征表示和定位的准确性，可以提高无人机在光照变化情况下的目标跟踪精度；同时，通过在特征融合子网络部分设计一个时空特征融合模块stff，该模块利用三个多头子注意力机制层来整合目标的空间时间状态信息，该设计有效地建模了跟踪状态，提高了在具有背景干扰和遮挡的且具有挑战性的场景中的目标跟踪精度；此外，通过将l1损失、ciou损失和回归损失混合作为网络的损失函数，可以加速模型的收敛，提高模型的目标跟踪效率；本专利技术解决了无人机的目标跟踪方法在背景复杂情况下跟踪精度低，以及光照变化下目标漏跟踪和错误跟踪的问题。
2、为了实现上述目的，本专利技术采取的技术方案是：
3、一种基于uavtranst网络的无人机目标跟踪方法，包括以下步骤：
4、步骤一：构建基于uavtranst的无人机目标跟踪网络，包括特征提取子网络、特征融合子网络以及分类和回归子网络；
5、步骤二：使用无人机公开数据集中的训练集对步骤一构建的基于uavtranst的无人机目标跟踪网络进行训练，每轮训练结束后，得到一个训练权重文件；通过无人机公开数据集中的验证集对训练权重文件进行验证，选取精度最高的训练权重文件作为最优训练权重文件；
6、步骤三：使用无人机公开数据集中的测试集和步骤二得到的最优训练权重文件对步骤一构建的基于uavtranst的无人机目标跟踪网络进行目标跟踪，得到目标跟踪结果。
7、所述步骤一的基于uavtranst的无人机目标跟踪网络，包括特征提取子网络、特征融合子网络以及分类和回归子网络；
8、所述特征提取子网络，包括backbone1网络、backbone2网络、两个频域和空间信息增强模块fsie；其中，backbone1网络和backbone2网络均包括swin transformer stage1层、swin transformer stage2层和swin transformer stage3层，backbone1网络和backbone2网络共同组成backbone网络，backbone1网络和backbone2网络之间互相共享权重；频域和空间信息增强模块fsie包括快速傅里叶变化层fft、图卷积网络层gcn、多头子注意力机制层、两个前馈网络层ffn、两个求和归一化层、拼接卷积层和全局平均池化层，频域和空间信息增强模块fsie表示为下式：
9、f'＝norm(f4+ffn(f4))
10、
11、
12、f2＝conv(cat(norm(f1+sf),ff))
13、f1＝mhsa((sf)q,(sf+ff)k,(sf+ff)v)
14、sf＝gcn(f)
15、ff＝fft(f)
16、其中，gcn表示图卷积网络；fft表示快速傅里叶变化；mhsa表示多头自注意力机制；norm表示归一化操作；cat表示拼接操作；conv表示卷积操作；ffn表示前馈网络；gap表示全局平均池化操作；表示通道相乘；表示元素相加；f'表示输出的特征图；f表示输入特征图；
17、所述特征融合子网络，包括一个时空特征融合模块stff和求和层；时空特征融合模块stff包括三个多头自本文档来自技高网...
【技术保护点】
1.一种基于UAVTransT网络的无人机目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于UAVTransT网络的无人机目标跟踪方法，其特征在于，所述步骤一的基于UAVTransT的无人机目标跟踪网络，包括特征提取子网络、特征融合子网络以及分类和回归子网络；
3.根据权利要求1所述的一种基于UAVTransT网络的无人机目标跟踪方法，其特征在于，所述步骤二中，设置训练轮次为≥200，批次大小batch_size≥16，学习率≤10-5，损失阈值≤0.001，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
4.根据权利要求1所述的一种基于UAVTransT网络的无人机目标跟踪方法，其特征在于，所述步骤三中，批次大小batch_size≥8，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
5.基于权利要求1至4任一项所述方法的一种基于UAVTransT网络的无人机目标跟踪系统，其特征在于，包括：
6.一种基于UAVTransT网络的无人
7.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现权利要求1-4任一项所述的一种基于UAVTransT网络的无人机目标跟踪方法。
...【技术特征摘要】
1.一种基于uavtranst网络的无人机目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于uavtranst网络的无人机目标跟踪方法，其特征在于，所述步骤一的基于uavtranst的无人机目标跟踪网络，包括特征提取子网络、特征融合子网络以及分类和回归子网络；
3.根据权利要求1所述的一种基于uavtranst网络的无人机目标跟踪方法，其特征在于，所述步骤二中，设置训练轮次为≥200，批次大小batch_size≥16，学习率≤10-5，损失阈值≤0.001，相关性系数conf-thres≤0.5，交并比系数iou-thres≤0.5。
4.根据权...
【专利技术属性】
技术研发人员：李晨阳，周绥平，师佳琦，郭峰，高继琛，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。