无人机高分辨率热红外图像生成方法及系统技术方案

本发明专利技术提供无人机高分辨率热红外图像生成方法及系统，方法包括：对无人机捕获的热图像和可见光图像进行不同类型的浅层特征提取，得到两种模态的浅层特征；构建并利用相互指导模块

【技术实现步骤摘要】
无人机高分辨率热红外图像生成方法及系统


[0001]本专利技术涉及计算机视觉和图像处理领域，具体涉及无人机高分辨率热红外图像生成方法及系统
。

技术介绍

[0002]无人机高分辨率热红外图像具有较高的实用价值和广阔的应用前景
。
热红外成像技术受光照影响较小，为无人机
(UAV)
提供了广泛的监视范围
、
高移动性
、
实时监控和快速部署能力，适用于安全检查
、
农业测量
、
野生动物保护和水资源管理等多个场景
。
例如公布号为
CN116718165A
的现有专利技术专利申请文献
《
一种基于无人机平台的联合成像系统及图像增强融合方法
》
，该现有系统包括：飞行单元
、
机载计算单元
、
快门控制单元
、
姿态控制单元
、
机载图传单元
、
十目成像单元
、
负载云台接口；所述飞行单元用于搭载负载设备按预定航线飞行；所述快门控制单元用于控制负载相机的拍摄参数；所述机载图传单元用于将热红外图像
、
可见光图像和经图像增强融合后的热红外增强图像通过无线方式传输给地面设备；所述姿态控制单元包括惯性测量单元
IMU
模块
、
全球定位系统
GPS
模块，所述惯性测量单元
IMU
模块用于测量
、
记录飞行单元的姿态参数和负载相机位置，所述全球定位系统
GPS
模块用于测量
、
记录飞行单元的准确地理信息位置；所述机载计算单元包括图像处理模块，所述图像处理模块用于接收并存储负载相机的图像数据
、
姿态控制单元所记录的负载相机位置与姿态，并对图像进行实时处理与融合；所述十目成像单元通过负载云台接口与快门控制单元
、
姿态控制单元
、
机载图传单元相连，所述十目成像单元用于对目标物体的彩色成像和热红外成像，采集图像数据并传输至机载计算单元
。
然而，由于热感应器的限制，直接从
UAV
捕获的热红外图像分辨率有限，阻碍了对无人机热红外图像的分析与理解
。
为此，需要寻找生成无人机高分辨率热红外图像的有效方法
。
[0003]现有基于深度神经网络的单图像超分辨率
(SISR)
方法，展现出了强大的特征提取能力，但由于低分辨率热红外图像中信息的稀缺，在大规模超分辨率任务下，这种方法生成的热红外图像会有所失真
。
最近的研究在超分辨率过程中，使用引导信息来补充低分辨率热红外图像中缺失的纹理，即引导图像超分辨率方法
(GISR)。
用高分辨率可见图像来引导低分辨率热红外图像，从而生成高分辨率热红外图像
。
例如公布号为
CN116402692A
的现有专利技术专利申请文献
《
基于非对称交叉注意力的深度图超分辨率重建方法与系统
》
该现有方法包括如下步骤：步骤
1、
给定输入数据，输入数据包括低分辨率深度图以及与所述低分辨率深度图相对应的高分辨率彩色图像，以所述高分辨率彩色图像为引导图像，以所述低分辨率深度图为深度图像；步骤
2、
提取引导图像和深度图像的浅层特征，并进行深度细化以得到引导特征和深度特征；步骤
3、
利用非对称交叉注意力域，将引导特征的像素块和深度特征的像素块进行双向交流，以交替迭代融合的方式对引导特征和深度特征进行更新，再经过上采样操作以逐步提高引导特征和深度特征的分辨率，并对应得到第一最终特征与第二最终特征；步骤
4、
将第一最终特征与第二最终特征进行特征的拼接融合，在融合完成后进行卷积操作以得到第三深度残差图；步骤
5、
将低分辨率深度图进行双三次插值以得到上
采样深度图，将所述第三深度残差图与所述上采样深度图进行叠加以得到最终的深度超分辨率图像
。
然而，前述现有技术由于可见图像与热红外图像存在模态差异，导致生成的无人机高分辨率热红外图像质量不高
。
[0004]近期，有方法将可见图像进行模态转换
(MC)
，以此来获得高分辨率热红外图像
。
随着各种生成对抗网络，如
GAN
，
Cycle
‑
GAN
，和
Conditional GAN
的发展和崛起，它们在自然图像的模态转换任务上已卓有成效，但在复杂场景下，将无人机捕获的遥感图像进行模态转换的结果仍不尽人意，在一定程度上仍无法满足无人机高分辨率热红外图像的质量要求
。
[0005]本专利技术所要解决的技术问题在于如何充分利用可见图像和热红外图像信息，弥合不同模态之间的差异，从而生成无人机高分辨率热红外图像
。
[0006]综上，现有技术存在由于可见图像和热红外图像信息利用不充分
、
不同模态之间存在差异导致无人机热红外图像质量较低的技术问题
。

技术实现思路

[0007]本专利技术所要解决的技术问题在于：如何解决现有技术中由于可见图像和热红外图像信息利用不充分
、
不同模态之间存在差异导致无人机热红外图像质量较低的技术问题
。
[0008]本专利技术是采用以下技术方案解决上述技术问题的：无人机高分辨率热红外图像生成方法包括：
[0009]S1、
利用无人机捕获热图像
、
可见光图像，按照不同类型对热图像
、
可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征
、
可见光模态浅层特征；
[0010]S2、
构建并利用相互指导模块
MGM
，将热红外模态浅层特征
、
可见光模态浅层特征，分别输入到相互指导模块
MGM
的不同分支，以提取热红外子任务的深层特征
、
可见光子任务的深层特征，在热红外子任务
、
可见光子任务之间，进行特征交互操作，得到模态转换特征
、
超分辨率特征，其中，相互指导模块
MGM
包括：模态转换分支
、
超分辨率分支；
[0011]S3、
构建并利用双向对齐融合模块
BAFM
，将模态转换特征
、
超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征；
[0012]S4、
对有效融合特征，进行
pixelshuffle
上采样，以得到超分辨率结果，以作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
无人机高分辨率热红外图像生成方法，其特征在于，所述方法包括：
S1、
利用无人机捕获热图像
、
可见光图像，按照不同类型对所述热图像
、
所述可见光图像分别提取浅层特征，保留每种模态特定信息，以得到热红外模态浅层特征
、
可见光模态浅层特征；
S2、
构建并利用相互指导模块
MGM
，将所述热红外模态浅层特征
、
所述可见光模态浅层特征，分别输入到所述相互指导模块
MGM
的不同分支，以提取热红外子任务的深层特征
、
可见光子任务的深层特征，在所述热红外子任务
、
所述可见光子任务之间，进行特征交互操作，得到模态转换特征
、
超分辨率特征，其中，所述相互指导模块
MGM
包括：模态转换分支
、
超分辨率分支；
S3、
构建并利用双向对齐融合模块
BAFM
，将所述模态转换特征
、
所述超分辨率特征，精细对齐到相同特征空间，并进行特征融合，得到有效融合特征；
S4、
对所述有效融合特征，进行
pixelshuffle
上采样，以得到超分辨率结果，以作为适用高分辨率热成像图像
。2.
根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤
S1
包括：
S11、
利用单个3×3的卷积层，扩展所述热图像的特征图通道数，以提取所述热红外模态浅层特征；
S12、
利用不少于2个3×3的所述卷积层，提取所述可见光模态浅层特征
。3.
根据权利要求1所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤
S2
包括：
S21、
利用所述相互指导模块
MGM
的相互指导层
MGL
，实现多头自注意力
MSA、
移位窗口机制，以增强来自对面分支的指导信息；
S22、
利用所述相互指导层
MGL
，执行多头交叉注意力
MCA、
移位窗口机制，以从所述对面分支生成注意力，据以进行指导操作；其中，利用下述逻辑，执行所述多头交叉注意力
MCA
：
Q
＝
YW
Q
,K
＝
YW
K
,V
＝
XW
V
式中，
W
Q
，
W
K
和
W
V
是线性投影矩阵
。X
表示当前分支输入的特征，而
Y
表示来自对立分支的特征；利用下述逻辑，根据在本地窗口内的的自注意力
、
交叉注意力，求取注意力矩阵：式中，
B
是可学习的相对位置编码矩阵
。d
k
是查询
K
的维度
。Attention(
·
)
表示自注意力或交叉注意力；
S23、
设置单独的不干扰
STL
组，以处理预置引导特征，得到
STL
特征，以与当前分支的所述模态转换特征
、
所述超分辨率特征结合
。4.
根据权利要求3所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤
S23
中，所述不干扰
STL
组利用下述逻辑，处理所述引导特征，以得到所述
STL
特征：
Y
＝
MSA(LN(Y))+Y,Y
＝
MLP(LN(Y))+Y.
式中，
MSA、MLP
以及
LN
分别代表多头自注意力
、
多层感知器和层归一化的功能，
Y
表示输入特征
。5.
根据权利要求3所述的无人机高分辨率热红外图像生成方法，其特征在于，所述步骤
S23
中，所述不干扰
STL
组利用下述逻辑，结合处理所述所述
STL
特征与所述所述模态转换超分辨率特征，以计算所述多头交叉注意力
MCA
：
Y
＝
STL(Y),X
l
＝
MCA(LN(X
l
‑1),Y)+X
l
‑1,X
l+1
＝
MLP(LN(X
l
)+X
l
‑1).
式中，
STL
表示
Swin Transformer
层，
MCA
表示多头交叉注意力函数，
MLP
和
LN
分别表示多层感知机和层归一化，
X
和
...

【专利技术属性】
技术研发人员：赵志成，包静远，王春，郭华硕，张钰，肖云，李成龙，汤进，
申请(专利权)人：安徽大学，
类型：发明
国别省市：