【技术实现步骤摘要】
本专利技术属于多模态遥感数据目标检测与识别，具体涉及一种变焦倍数识别方法及一种目标重识别数据集制作方法。
技术介绍
1、目标重识别技术旨在对不同传感器在不同时间、不同场景下拍摄到的同一目标进行身份识别。长期以来，基于机载遥感数据的地物信息提取和目标识别技术在民生和国防领域有着广泛的应用需求，例如天网工程中通过目标重识别技术可以对行人、车辆等重点目标进行跨摄像头的跟踪。然而在实际应用过程中，不同场景、不同光照等条件下获取到的目标数据质量存在较大差异。为了提高基于深度学习的目标重识别方法在不同应用条件下的有效性，通常需要通过针对性的训练，使深度学习模型适应特定场景的数据质量，保障其获得较高的重识别精度。因此如何快速、自动化得制作特定场景下的目标重识别数据集至关重要。
2、随着遥感技术的发展和应用需求的提高，多种类型传感器的集成技术逐渐成熟，多模态数据可以弥补单一模态数据的缺陷：例如，红外数据可以在光照不足的情况下获取环境信息；变焦可见光数据可以在远距离下清晰观察特定目标；广角可见光数据可以观察更广范围的场景。在实际应用过程中，根据场景条件、拍摄效果及任务需求，各种模态的数据都是有可能被单独使用的，那么目标重识别模型就需要具有单独处理任意模态数据的能力。因此需要制作多模态目标重识别数据集来对模型进行针对性训练。
3、综上，利用机载同轴多模态光学传感器快速得、自动化得制作多模态目标重识别数据集具有重要意义。
技术实现思路
1、本专利技术是为了解决目前没有一种有效的基
2、一种变焦倍数识别方法，包括以下步骤：
3、首先，获取机载同轴多模态遥感数据，所述多模态遥感数据对应的图像数据包括广角可见光图像iwide、变焦可见光图像izoom和红外图像数据iinfrared；将广角可见光图像iwide作为是单倍焦距图像；
4、然后采用变焦倍数预测网络zpnet进行处理，变焦倍数预测网络zpnet包括三分支编码器，即采用zpnet的三分支编码器对输入数据进行特征提取，特征提取的过程包括以下步骤：
5、将广角可见光图像iwide、变焦可见光图像izoom分别输入各自对应的广角编码器和变焦编码器中，得到a×a×2048的特征f1wide、f1zoom，其中广角编码器和变焦编码器结构相同，编码器为基于resnet50残差网络前四个阶段的改进网络，resnet50残差网络前四个阶段即stage 0-stage 4，在stage 0-stage 4的每个stage之后插入mfa模块，即在resnet50残差网络的前四个阶段间隔加入mfa模块；
6、mfa模块即多阶段特征聚合模块，mfa模块的处理过程如下：
7、mfa模块以与其前部相邻的resnet50第n阶段块stage n的输入和输出共同作为其输入；第n个阶段块的输入为mfa模块提供低层次的特征映射第n个阶段块的输出为mfa模块提供高层次的特征映射其中c、w和h分别表示通道的个数、特征的宽度和高度；
8、首先，对特征fl和特征fh进行空间特征聚合：
9、利用三个1×1卷积层将特征转化为三个紧凑嵌入然后，通过矩阵乘法运算及softmax来计算和在第一个数据维度的空间相似矩阵mc；再通过和mc的矩阵相乘恢复信道维数为rm×n，然后应用一个bn层ωc对特征进行归一化；最后通过矩阵加法将fh与之相加得到输出
10、然后，对特征和特征fl进行通道特征聚合：
11、利用三个1×1卷积层将特征转化为三个紧凑嵌入再通过矩阵乘法运算及softmax来计算和在第二个数据维度的通道相似矩阵：
12、
13、再通过和ms的矩阵相乘来恢复信道维数为rm×n，然后应用一个bn层ωs对特征进行归一化；最后通过矩阵加法将与之相加得到mfa的输出
14、基于广角编码器的结构，红外编码器在最后一个mfa模块之前额外添加一个dee模块；红外图像数据iinfrared输入其编码器分支后同样得到a×a×2048的特征所述dee模块含有若干个并行的、结构相同的分支，dee模块其中第i个分支的网络结构如下：
15、首先使用三个3×3的压缩卷积层将输入的特征f∈rm×n的尺寸减少到自身大小的1/4，即f'1,f'2,f'3∈rm/4×n，各自使用relu激活层frelu进行处理，然后再使用三个1×1的扩展卷积层将特征f'1,f'2,f'3分别经过激活函数后的特征图的尺寸增加到其自身大小的四倍，即f"1,f"2,f"3∈rm×n，再进行融合生成第i个分支的嵌入f"i；
16、最后将所有分支的输出f"i与dee模块的输入特征f做平均池化mean-pooling，得到dee模块的输出；
17、采用zpnet的三分支编码器对输入数据进行特征提取后分别得到a×a×2048的特征；针对广角可见光图像的a×a×2048的特征，随机选择不同尺寸的切片框进行框选切片，将随机框选切片后的特征分别通过卷积块、bn块和平均池化块，得到1×1×2048的特征向量；将变焦可见光图像对应的a×a×2048的特征通过卷积块、bn块和平均池化块，得到1×1×2048的特征向量，同时将红外图像数据对应的a×a×2048的特征通过卷积块、bn块和平均池化块，得到1×1×2048的特征向量；
18、最后将不同尺寸切片框对应的变焦可见光图像的特征向量和红外图像的特征向量分别与从单倍焦距的广角可见光图像中提取到的特征向量进行特征距离计算，距离最近的特征向量对应的框选尺寸与a的比值即为预测的变焦倍数。
19、进一步地，获取多模态遥感数据的过程中，针对视频数据进行预处理：
20、根据视频中重点关注目标的变化情况选取合适的抽帧间隔，对视频数据进行抽帧采样，得到图像数据。
21、进一步地，获取多模态遥感数据的过程中，所述的用变焦倍数预测网络zpnet为预先训练好的网络，训练过程包括以下步骤：
22、步骤一：获取机载同轴多模态遥感数据并构建图像数据集，所述多模态遥感数据对应的图像数据集包括广角可见光图像、变焦可见光图像和红外图像数据；将广角可见光图像作为是单倍焦距图像；变焦可见光图像带有变焦倍数标签，红外图像数据带有变焦倍数标签；
23、基于图像数据集得到训练数据集；
24、步骤二：基于训练数据集m训练变焦倍数预测网络zpnet：
25、首先，将训练数据集m中的广角可见光图像iwide、变焦可见光图像izoom和红外图像数据iinfrared分别输入各自对应的广角编码器和变焦编码器中，得到a×a×2048的特征f1wide、f1zoom和f1infrared；
26、根据训练数据集m中变焦可见光图像数据izoom和红外图像数本文档来自技高网...
【技术保护点】
1.一种变焦倍数识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种变焦倍数识别方法，其特征在于，获取多模态遥感数据的过程中，针对视频数据进行预处理：
3.根据权利要求1或2所述的一种变焦倍数识别方法，其特征在于，获取多模态遥感数据的过程中，所述的用变焦倍数预测网络ZPNet为预先训练好的网络，训练过程包括以下步骤：
4.根据权利要求3所述的一种变焦倍数识别方法，其特征在于，特征的尺寸a×a×2048为32×32×2048。
5.基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，S107针对同一目标类的多模态目标图像进行标注的过程中，如果步骤S101中的输入为视频数据，那么对其进行抽帧，针对抽帧后的得到的图像在经过S102至S106的处理后得到的所有目标图像数据被视为一个图像簇，通过目标聚类技术，以图像簇为单位对多个感兴趣目标进行目标聚类，以区分各个目标，并将聚类结果中同一目标类的多模态目标
7.根据权利要求5或6所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，S103所述基于预测的变焦倍数对多模态图像进行截取以实现焦距对齐的过程中通过图像裁剪工具包对不同模态图像的观察范围进行一致化，选择变焦倍数最高的模态数据作为锚点，将其他不同焦距的多模态数据向该锚点进行焦距对齐。
8.根据权利要求7所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，所述的观察范围一致化是将不同变焦情况将图像调整到同一个视野范围内。
9.根据权利要求8所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，S104所述对多模态图像进行数据融合的过程中，采用DDcGAN网络对变焦可见光图像Izoom与红外图像Iinfrared进行融合。
10.根据权利要求9所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，S105中对融合后的图像进行重识别任务中感兴趣目标检测时采用YOLOv8网络。
...【技术特征摘要】
1.一种变焦倍数识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种变焦倍数识别方法，其特征在于，获取多模态遥感数据的过程中，针对视频数据进行预处理：
3.根据权利要求1或2所述的一种变焦倍数识别方法，其特征在于，获取多模态遥感数据的过程中，所述的用变焦倍数预测网络zpnet为预先训练好的网络，训练过程包括以下步骤：
4.根据权利要求3所述的一种变焦倍数识别方法，其特征在于，特征的尺寸a×a×2048为32×32×2048。
5.基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，包括以下步骤：
6.根据权利要求5所述的基于机载同轴多模态传感器的目标重识别数据集制作方法，其特征在于，s107针对同一目标类的多模态目标图像进行标注的过程中，如果步骤s101中的输入为视频数据，那么对其进行抽帧，针对抽帧后的得到的图像在经过s102至s106的处理后得到的所有目标图像数据被视为一个图像簇，通过目标聚类技术，以图像簇为单位对多个感兴趣目标进行目标聚类，以区分各个目标，...
【专利技术属性】
技术研发人员：侯伟，吴敌，吴浩萌，王文轩，李慧子，赵辉，张斯元，李宗鑫，
申请(专利权)人：哈尔滨航天恒星数据系统科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。