【技术实现步骤摘要】
本专利技术涉及跨模态数据融合与遥感图像数据增强，尤其涉及一种基于transformer的跨模态融合高光谱图像超分重建方法。
技术介绍
1、基于卷积神经网络的深度学习方法已经广泛应用于遥感图像视觉任务中，例如基于高光谱图像的目标跟踪、目标检测、目标分割等领域，但由于此类技术在很大程度上依赖于图像的空间特征，而高光谱图像的空间分辨率通常较低，深度学习算法难以获得足够的信息。现有一些利用rgb图像与高光谱图像融合从而提升高光谱图像空间分辨率的方法，通常对两种模态数据有严格的时空配准要求，而这样的数据获取十分困难。
技术实现思路
1、为解决上述现有技术中存在的技术问题，本专利技术的目的在于提供一种基于transformer的跨模态融合高光谱图像超分重建方法，通过嵌入层将两种模态的数据进行无重叠切片拼接并加入位置编码，通过视觉transformer编码器对拼接序列进行特征提取，通过自注意力机制实现特征的单一模态数据的自增强和跨模态间的信息交互，经过三层qusai-recurrent卷积单元和一层双向qusai-recurrent卷积单元对于高光谱图像的重建，更适应于高光谱多波段数据，能够更好利用全局频谱互相关信息。
2、为实现上述专利技术目的，本专利技术提供一种基于transformer的跨模态融合高光谱图像超分重建方法，包括以下步骤：
3、步骤s1、基于场景匹配的rgb图像和高光谱图像，获得融合token序列；
4、步骤s2、采用随机掩膜机制对视觉tra
5、步骤s3、构建基于解码器重构的图像与真值图像的相似度的损失函数，对视觉transformer的编码器和解码器进行优化；
6、步骤s4、利用图像重建模块对优化后的视觉transformer的编码器提取的特征进行超分重建。
7、根据本专利技术的一个技术方案，所述步骤s1中，具体包括：
8、步骤s11、输入场景匹配的rgb图像和高光谱图像，对rgb图像和高光谱图像分别进行预处理，获得两种模态对应的图像块序列，包括rgb模态图像块序列和高光谱模态图像块序列，
9、预处理过程至少包括不重叠的分割切块和加入位置编码；
10、步骤s12、对rgb模态图像块序列和高光谱模态图像块序列分别进行线性映射进行嵌入获得token向量，进而对两模态的token向量进行拼接，获得融合token序列。
11、根据本专利技术的一个技术方案，所述步骤s2中，具体包括：
12、步骤s21、在训练阶段，采用预先设置的参数k为掩膜率对融合块序列进行随机掩膜，可见块采用线性映射进行嵌入，掩膜部分采用可学习的掩膜token；
13、步骤s22、将未被掩膜的token序列输入到视觉transformer的编码器中进行特征提取；
14、步骤s23、将掩膜部分和视觉transformer的编码器获得的增强特征一起输入到视觉transformer解码器中，根据位置编码获得掩膜的相对位置，利用视觉transformer的解码器对所述步骤s22中提取的特征进行重构。
15、根据本专利技术的一个技术方案，所述步骤s3中，具体包括：
16、在训练阶段中，利用l1函数计算重建误差对解码器和编码器同时进行优化，构建损失函数为：
17、lhsi＝||fd(fe(unmasked(ifuse))+masked(ifuse))-irgb||1
18、lrgb＝||fd(fe(unmasked(ifuse))+masked(ifuse))-irgb||1
19、其中，lhsi代表解码器对编码器生成的高光谱特征进行重构的损失函数，lrgb代表解码器对编码器生成的视觉特征进行重构的损失函数，ifuse代表拼接后的高光谱-rgb融合token序列，fe(·)代表编码器函数，fd(·)代表解码器函数。
20、根据本专利技术的一个技术方案，所述步骤s4中，所述图像重建模块由3层qusai-recurrent卷积单元和1层双向qusai-recurrent卷积单元构成，包括：
21、在每个qusai-recurrent卷积单元中，首先由wz和wf两个3d卷积核进行两次3d卷积再通过不同的激活函数得到两组特征图z和f，则有：
22、z＝tanh(wz*i)，f＝sigmoid(wf*i)
23、对特征图z和特征图f按照频谱方向进行拆分获得zi和fi序列，将其输入qusai-recurrent池化层中，得到融合特征hi，将融合特征按照频谱重新拼接得到重构特征，其中，qusai-recurrent池化层中的操作可以表示为：
24、hi＝fi·hi-1+(1-fi)·zi
25、在最后一层双向qusai-recurrent卷积单元中，对于按照频谱拆分的所有序列，按照前后向交替的方式进行qusai-recurrent池化，完成全局信息的传播。
26、根据本专利技术的一个技术方案，所述步骤s4中，具体包括：
27、在推理阶段中，不进行所述步骤s21中掩膜过程，直接将融合token序列输入训练好的视觉transformer的编码器中进行特征提取；
28、再利用图像重建模块对编码器提取的特征进行超分重建。
29、根据本专利技术的一个技术方案，所述步骤s22中，所述视觉transformer的编码器共设置4个特征编码层，包括：
30、在任一特征编码层中，首先将融合特征向量经过归一化操作后同时作为query，key，value矩阵进行多头注意力计算；
31、在多头注意力机制内部，在每个头部中将融合特征转置之后和自身进行矩阵乘法运算，通过softmax得到注意力图：
32、
33、其中，βi，j表示第i个位置是否应该与第j个位置形成关联，每个头部自行学习一种映射方式hn(·)，则n个头部的注意力机制完整输出为：
34、
35、根据本专利技术的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种基于transformer的跨模态融合高光谱图像超分重建方法。
36、根据本专利技术的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种基于transformer的跨模态融合高光谱图像超分重建方法。
37、本专利技术与现有技术相比，具有以下有益效果：
38、本专利技术提出了一种基于transformer的跨模态融合高光谱图像超分重建方法，通过本文档来自技高网...
【技术保护点】
1.一种基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤S1中，具体包括：
3.根据权利要求1所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤S2中，具体包括：
4.根据权利要求3所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤S3中，具体包括：
5.根据权利要求4所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤S4中，所述图像重建模块由3层Qusai-Recurrent卷积单元和1层双向Qusai-Recurrent卷积单元构成，包括：
6.根据权利要求5所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤S4中，具体包括：
7.根据权利要求3所述的基于transformer的跨模态融合高光谱图像超分重建方法
8.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至7中任一项所述的基于transformer的跨模态融合高光谱图像超分重建方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至7中任一项所述的基于transformer的跨模态融合高光谱图像超分重建方法。
...【技术特征摘要】
1.一种基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤s1中，具体包括：
3.根据权利要求1所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤s2中，具体包括：
4.根据权利要求3所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤s3中，具体包括：
5.根据权利要求4所述的基于transformer的跨模态融合高光谱图像超分重建方法，其特征在于，所述步骤s4中，所述图像重建模块由3层qusai-recurrent卷积单元和1层双向qusai-recurrent卷积单元构成，包括：
6.根据权利要求5所述的基于transformer的...
【专利技术属性】
技术研发人员：梁颖，刘斌霄，焦典，陈元伟，纪骁宵，宿南，闫奕名，贺广均，符晗，
申请(专利权)人：北京卫星信息工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。