一种面向无人艇的红外舰船目标跟踪方法及装置制造方法及图纸

一种面向无人艇的红外舰船目标跟踪方法及装置，该方法包括：构建红外舰船目标视频数据集；将数据集划分为训练集和测试集；对舰船目标检测器进行训练；构建外观特征提取网络结构模型，并进行训练；构建舰船目标跟踪器，并进行训练；利用训练好的舰船目标检测器检测测试集的舰船目标；利用训练好的外观特征提取网络结构模型提取舰船目标的外观特征向量；根据舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；部署舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器，进行舰船目标跟踪。还包括一种面向无人艇的红外舰船目标跟踪装置。本发明专利技术鲁棒性好，精度高，能适用短时遮挡、非线性运动场景。景。景。

【技术实现步骤摘要】
一种面向无人艇的红外舰船目标跟踪方法及装置


[0001]本专利技术涉及红外舰船目标跟踪领域，具体是涉及一种面向无人艇的红外舰船目标跟踪方法及装置。

技术介绍

[0002]红外探测系统在透过烟雾、灰尘和低照度情况下检测舰船目标方面具有独特的优势，可以实现全天候昼夜连续被动探测，适合复杂水面场景船舶目标的跟踪。红外探测跟踪系统具有重要的军事和民用价值，例如海面环境侦察、护航、港口安全保障、船舶交通管理等。
[0003]对于红外舰船目标的跟踪任务实现，目前主要有3种跟踪策略：基于初始化特征的跟踪技术，检测跟踪一体化技术和基于检测的跟踪技术。基于初始化特征的跟踪技术适用于目标数量不变的情况，难以满足无人艇的红外舰船目标跟踪需求。检测跟踪一体化技术将现有检测器和跟踪器组合在同一框架中，这种方式节省了计算量且降低了模型规模，然而这类模型在多场景变换的情况下是不够灵活的。基于检测的跟踪技术具有较高的运算效率和跟踪精度且能应对灵活多变的应用场景，是目前常用的跟踪方法。
[0004]然而，红外舰船目标跟踪具有很大的技术挑战。舰船目标相互遮挡、水面晃动引起的目标在图像中非线性运动或者由于岛屿、桥墩等固定物的遮挡导致红外舰船目标跟踪难度十分具有挑战性。红外舰船目标因为图像特征不明显、弱纹理现象，对采用余弦距离的目标特征之间的相似性度量以及卷积网络（CNN）提取特征带来了极大的挑战。此外，在目标被遮挡时，当没有向卡尔曼滤波预测模块提供观察结果时，它只根据自己的预测递归地更新参数，在没有观测的监督情况下，卡尔曼滤波（KF）线性运动假设的估计随时间的变化成平方阶误差积累，导致预测的结果与新检测的结果无法正确匹配，导致跟踪失败。
[0005]总之，在复杂场景下，实现稳定的红外舰船目标跟踪是当前亟需解决的技术问题。

技术实现思路

[0006]本专利技术所要解决的技术问题是，克服上述
技术介绍
的不足，提供一种面向无人艇的红外舰船目标跟踪方法及装置，鲁棒性好，精度高，能够适用短时遮挡、非线性运动场景。
[0007]本专利技术解决其技术问题采用的技术方案是，一种面向无人艇的红外舰船目标跟踪方法，包括以下步骤：S1：在实际水面环境中，录制舰船目标红外视频数据，构建红外舰船目标视频数据集，将视频数据进行预处理；S2：将红外舰船目标视频数据集划分为训练集和测试集；S3：基于训练集对舰船目标检测器进行训练，得到训练好的舰船目标检测器；S4：构建外观特征提取网络结构模型，基于训练集对外观特征提取网络模型进行训练，得到训练好的外观特征提取网络结构模型；S5：构建舰船目标跟踪器，基于训练集对舰船目标跟踪器进行训练，得到训练好的
舰船目标跟踪器；S6：利用训练好的舰船目标检测器检测测试集的舰船目标；S7：利用训练好的外观特征提取网络结构模型提取检测到的舰船目标的外观特征向量；S8：根据检测到的舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；S9：将舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器部署到无人艇的处理平台进行实际应用，对实时采集的舰船目标红外视频数据进行舰船目标跟踪。
[0008]进一步，步骤S1中，所述预处理是指将视频数据进行抽帧处理，对每帧图像中的舰船目标进行矩形框标注，并标注舰船目标的身份序号。
[0009]进一步，步骤S4中，所述外观特征提取网络结构模型包括特征提取骨干网络和精细化特征提取网络，舰船目标检测器检测的舰船目标图像经过特征提取骨干网络进行特征提取，特征提取骨干网络的输出作为精细化特征提取网络的输入特征图，精细化特征提取网络包括三个分支，分别为第一分支、第二分支和第三分支，第一分支中，对输入特征图进行1
×
1的卷积操作，得到第一输入特征图，然后对第一输入特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量；第二分支中，对输入特征图进行3
×
3的卷积操作，得到第二输入特征图，第三分支中，对输入特征图进行5
×
5的卷积操作，得到第三输入特征图，第二输入特征图和第三输入特征图经过交叉融合模块，得到第一融合特征图和第二融合特征图，第二分支中，第一融合特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为2部分，并分别进行全局最大池化，通过1
×
1的卷积分别压缩为2个256维的特征向量，第二分支共计得到3个256维的特征向量；第三分支中，第二融合特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为3部分，并分别进行全局最大池化，通过1
×
1的卷积分别压缩为3个256维的特征向量，第三分支共计得到4个256维的特征向量；外观特征提取网络结构模型经过三个分支共计得到8个256维的特征向量，拼接后得到1个2048维的特征向量，拼接后得到的2048维的特征向量再经过1
×
1的卷积得到卷积后的2048维的特征向量，卷积后的2048维的特征向量作为舰船目标的外观特征向量F。
[0010]进一步，所述交叉融合模块的具体结构为：第二分支中，第二输入特征图经过三个1
×
1的卷积，生成对应的Q1、K1、V1向量，Q1、K1向量相乘得到注意力矩阵A1；第三分支中，第三输入特征图经过三个1
×
1的卷积，生成对应的Q2、K2、V2向量；Q2、K2向量相乘得到注意力矩阵A2；第二分支中的注意力矩阵A1与第三分支的V2向量相乘，然后将第二输入特征图相加，得到第一融合特征图；第三分支中的注意力矩阵A2与第二分支中的V1向量相乘，然后将第三输入特征图相加，得到第二融合特征图。
[0011]进一步，步骤S9中，所述红外舰船目标跟踪器包括代价矩阵计算模块、第一级联匹配模块、第二级联匹配模块、常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块；代价矩阵计算模块与第一级联匹配模块相连，第一级联匹配模块与第二级联匹配模块、常规卡尔曼滤波器参数更新模块相连，第二级联匹配模块与常规卡尔曼滤波器参数
更新模块、假想轨迹卡尔曼滤波参数更新模块相连，常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块分别与代价矩阵计算模块相连；所述代价矩阵计算模块用于计算总的代价矩阵，总的代价矩阵包括外观相似度矩阵、位置度量矩阵和运动方向度量矩阵；所述第一级联匹配模块用于根据总的代价矩阵对检测框与对应的预测框进行级联匹配；所述第二级联匹配模块用于根据位置度量矩阵对检测框与对应的预测框进行级联匹配；所述常规卡尔曼滤波器参数更新模块用于根据连续轨迹对检测框进行卡尔曼滤波器参数更新；所述假想轨迹卡尔曼滤波参数更新模块用于生成假想轨迹，并根据假想轨迹对检测框进行卡尔曼滤波器参数更新。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向无人艇的红外舰船目标跟踪方法，其特征在于：包括以下步骤：S1：在实际水面环境中，录制舰船目标红外视频数据，构建红外舰船目标视频数据集，将视频数据进行预处理；S2：将红外舰船目标视频数据集划分为训练集和测试集；S3：基于训练集对舰船目标检测器进行训练，得到训练好的舰船目标检测器；S4：构建外观特征提取网络结构模型，基于训练集对外观特征提取网络模型进行训练，得到训练好的外观特征提取网络结构模型；S5：构建舰船目标跟踪器，基于训练集对舰船目标跟踪器进行训练，得到训练好的舰船目标跟踪器；S6：利用训练好的舰船目标检测器检测测试集的舰船目标；S7：利用训练好的外观特征提取网络结构模型提取检测到的舰船目标的外观特征向量；S8：根据检测到的舰船目标及舰船目标的外观特征向量，利用训练好的舰船目标跟踪器对测试集进行测试；S9：将舰船目标检测器、外观特征提取网络结构模型、舰船目标跟踪器部署到无人艇的处理平台进行实际应用，对实时采集的舰船目标红外视频数据进行舰船目标跟踪。2.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S1中，所述预处理是指将视频数据进行抽帧处理，对每帧图像中的舰船目标进行矩形框标注，并标注舰船目标的身份序号。3.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S4中，所述外观特征提取网络结构模型包括特征提取骨干网络和精细化特征提取网络，舰船目标检测器检测的舰船目标图像经过特征提取骨干网络进行特征提取，特征提取骨干网络的输出作为精细化特征提取网络的输入特征图，精细化特征提取网络包括三个分支，分别为第一分支、第二分支和第三分支，第一分支中，对输入特征图进行1
×
1的卷积操作，得到第一输入特征图，然后对第一输入特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量；第二分支中，对输入特征图进行3
×
3的卷积操作，得到第二输入特征图，第三分支中，对输入特征图进行5
×
5的卷积操作，得到第三输入特征图，第二输入特征图和第三输入特征图经过交叉融合模块，得到第一融合特征图和第二融合特征图，第二分支中，第一融合特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为2部分，并分别进行全局最大池化，通过1
×
1的卷积分别压缩为2个256维的特征向量，第二分支共计得到3个256维的特征向量；第三分支中，第二融合特征图采用全局最大池化生成2048维的特征向量，并通过1
×
1的卷积压缩为256维的特征向量，除此之外，在竖直方向上将经过融合模块后的特征图均匀划分为3部分，并分别进行全局最大池化，通过1
×
1的卷积分别压缩为3个256维的特征向量，第三分支共计得到4个256维的特征向量；外观特征提取网络结构模型经过三个分支共计得到8个256维的特征向量，拼接后得到1个2048维的特征向量，拼接后得到的2048维的特征向量再经过1
×
1的卷积得到卷积后的2048维的特征向量，卷积后的2048维的特征向量作为舰船目标的外观特征向量F。4.如权利要求3所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：所述交叉融
合模块的具体结构为：第二分支中，第二输入特征图经过三个1
×
1的卷积，生成对应的Q1、K1、V1向量，Q1、K1向量相乘得到注意力矩阵A1；第三分支中，第三输入特征图经过三个1
×
1的卷积，生成对应的Q2、K2、V2向量；Q2、K2向量相乘得到注意力矩阵A2；第二分支中的注意力矩阵A1与第三分支的V2向量相乘，然后将第二输入特征图相加，得到第一融合特征图；第三分支中的注意力矩阵A2与第二分支中的V1向量相乘，然后将第三输入特征图相加，得到第二融合特征图。5.如权利要求1所述的面向无人艇的红外舰船目标跟踪方法，其特征在于：步骤S9中，所述红外舰船目标跟踪器包括代价矩阵计算模块、第一级联匹配模块、第二级联匹配模块、常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块；代价矩阵计算模块与第一级联匹配模块相连，第一级联匹配模块与第二级联匹配模块、常规卡尔曼滤波器参数更新模块相连，第二级联匹配模块与常规卡尔曼滤波器参数更新模块、假想轨迹卡尔曼滤波参数更新模块相连...

【专利技术属性】
技术研发人员：苏绍璟，吴鹏，左震，孙备，郭润泽，童小钟，张家菊，黄泓赫，袁书东，党昭洋，李灿，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：