【技术实现步骤摘要】
本专利技术涉及遥感影像处理的，更具体地，涉及一种遥感图像光谱超分辨率重建方法。
技术介绍
1、图像光谱超分辨率重构技术是一种用于提高图像空间分辨率和光谱分辨率的技术。它结合了图像超分辨率和光谱成像技术的优势，旨在从低分辨率的高光谱图像中重建出高分辨率的图像，最终使得处理后的图像同时具备高光谱与高空间分辨率的图像数据属性。目前高光谱成像面临如下挑战：用于获取高光谱图像的光谱成像仪价格昂贵导致成本加大；光谱成像仪对光线和天气条件要求高；空间和光谱分辨率相互制约，难以同时获得具备高光谱分辨率和高空间分辨率的图像。因此，利用光谱重构技术可以突破光谱成像仪的性能瓶颈、降低成本，进一步发挥高光谱图像的潜力。光谱重构技术中包含图像融合和光谱超分辨率两种策略，由于图像融合依赖于msi-hsi(multi-spectral image-hyperspectralimage，多光谱图像-高光谱图像)图像对的可用性，图像光谱超分辨重构技术则是侧重将同一传感器的低光谱分辨率图像从光谱维度进行重建，使之光谱特征信息达到精细化的目的，最终使得处理后的图像同时具备高光谱与高空间分辨率的图像数据属性。
2、现有的光谱超分辨率技术可分为字典学习法、深度网络法和深度先验法。这些技术仍存在以下弊端：
3、模型架构方面：编码器-解码器(endecoder)架构和带有残差连接的连续卷积(seqconv)架构是常见的ssr(spectral super-resolution，光谱超分辨率)模型架构，但存在相应问题，前者容易丢失空间细节，后者在不同场
4、先验嵌入方面：在ssr网络中，通过数据预处理获得先验信息的方法更加常见，而不是学习获得的先验信息。
5、轻量级部署方面：目前的ssr方法更关注重建性能而非模型轻量化，因此很难实现最终部署。
6、应用可行性方面：大多数ssr方法在标准数据集上的表现都非常出色，但在跨传感器数据上仍有局限性。具体来说，虽然现有融合方法能有效获得高空间分辨率的hsi(hyperspectral image，高光谱图像)，但其模型性能依赖于msi-hsi图像对的可用性，但实际上，相应的msi-hsi图像对较难获得。
技术实现思路
1、本专利技术为克服上述现有模型重建带来技术信息丢失和模型重建性能不高的缺陷，提供一种遥感图像光谱超分辨率重建方法。
2、为解决上述技术问题，本专利技术的技术方案如下：
3、本专利技术提出一种遥感图像光谱超分辨率重建方法，包括：
4、s1：获取遥感rgb图像数据集，并将每张遥感rgb图像对应转化为参考高光谱图像；
5、s2：将遥感rgb图像数据集输入构建的分层语义感知cnn-transformer模型中，生成对应的重构高光谱图像；
6、s3：根据所述参考高光谱图像和重构高光谱图像构建总训练损失函数，对分层语义感知cnn-transformer模型进行训练，得到训练好的分层语义感知cnn-transformer模型；
7、s4：获取待重建遥感rgb图像，输入到训练好的分层语义感知cnn-transformer模型，获得重建好的高光谱图像。
8、优选地，所述分层语义感知cnn-transformer模型包括ise模块、第一深度卷积层、concat层、第二深度卷积层、第一sact单元、第三深度卷积层、第一拼接层、第一卷积层、pixelunshuffle模块、第四深度卷积层、第二sact单元、第五深度卷积层和pixelshuffle模块；
9、ise模块、第一深度卷积层、concat层、第二深度卷积层、第一sact单元、第三深度卷积层、第一拼接层和第一卷积层依次连接；
10、pixelunshuffle模块、第四深度卷积层、第二sact单元、第五深度卷积层和pixelshuffle模块依次连接，pixelshuffle模块的输出端与concat层的输入端连接；
11、ise模块的输出端还分别与pixelunshuffle模块和第一拼接层的输入端连接；
12、第一sact单元包括n个依次连接的sact模块，第二sact单元包括n-1个依次连接的sact模块。
13、优选地，所述ise模块包括依次连接的波长内估算子模块、波长外估算子模块；
14、记rgb图像r，图像r的原始光谱通道包括sr、sg和sb，其中sr、sg和sb分别表示图像r的红色、绿色和蓝色光谱通道，将图像r输入到波长内估算子模块进行估算，获得估算光谱通道估计值，包括红绿光谱通道估计值和绿蓝光谱通道估计值：
15、srg＝(sr+sg)/2
16、sgb＝(sg+sb)/2
17、其中，srg表示图像r的红绿光谱通道估计值，sgb表示图像r的绿蓝光谱通道估计值，sr、sg和sb分别表示图像r的红色、绿色和蓝色光谱通道；
18、将原始光谱通道和估算光谱通道合并为图像r的精细光谱信息作为波长内估算子模块的输出图像：
19、sr＝{sr,srg,sg,sgb,sb}
20、其中，sr表示图像r的精细光谱信息；
21、将波长内估算子模块的输出图像输入到波长外估算子模块得到初始光谱估算特征具体过程如下：
22、
23、其中，i＝{λr,λg,λb}为第i个波长组，λs和λe分别为波长区间λ的左端点和右端点，λr，λg，λb依次为波长区间λ的三个相等分子区间，dwconvr(·)、dwconvg(·)和dwconvb(·)分别表示红色、绿色和蓝色通道深度卷积层。
24、优选地，每个所述sact模块均包括依次连接的第一psconv子模块、sacnn子模块、第二拼接层、leakyrelu激活层、第二psconv子模块、saformer子模块和第三拼接层；
25、第一psconv子模块和第二psconv子模块均由n个psconv器依次连接；
26、第一psconv子模块的输入端还与第二拼接层的输入端连接，leakyrelu激活层的输入端还与第三拼接层的输入端连接。
27、优选地，所述psconv器包括超像素语义器、第四拼接层、speconv器、spaconv器、spespaconv器和融合器；
28、超像素语义器的输入端和输出端均与第四拼接层的输入端连接，第四拼接层的输出端分别与speconv器、spaconv器和spespaconv器的输入端连接，speconv器、spaconv器和spespaconv器的输出端均与融合器的输入端连接。
29、优选地，所述超像素语义器包括依次连接的第六深度卷积层、第二卷积层、probability处理层、softmax处理层和region labels处理层。
30、优选地，所述s3中，所述总训练损失函数的确定方法包括：
本文档来自技高网...【技术保护点】
1.一种遥感图像光谱超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的遥感图像光谱超分辨率重建方法，其特征在于，所述分层语义感知CNN-Transformer模型包括ISE模块、第一深度卷积层、Concat层、第二深度卷积层、第一SACT单元、第三深度卷积层、第一拼接层、第一卷积层、PixelUnshuffle模块、第四深度卷积层、第二SACT单元、第五深度卷积层和PixelShuffle模块；
3.根据权利要求2所述的遥感图像光谱超分辨率重建方法，其特征在于，所述ISE模块包括依次连接的波长内估算子模块、波长外估算子模块；
4.根据权利要求2所述的遥感图像光谱超分辨率重建方法，其特征在于，每个所述SACT模块均包括依次连接的第一PSConv子模块、SACNN子模块、第二拼接层、LeakyReLU激活层、第二PSConv子模块、SAFormer子模块和第三拼接层；
5.根据权利要求4所述的遥感图像光谱超分辨率重建方法，其特征在于，所述PSConv器包括超像素语义器、第四拼接层、SpeConv器、SpaConv器、SpeS
6.根据权利要求5所述的遥感图像光谱超分辨率重建方法，其特征在于，所述超像素语义器包括依次连接的第六深度卷积层、第二卷积层、Probability处理层、Softmax处理层和Region Labels处理层。
7.根据权利要求4所述的遥感图像光谱超分辨率重建方法，其特征在于，所述S3中，所述总训练损失函数的确定方法包括：
8.根据权利要求7所述的遥感图像光谱超分辨率重建方法，其特征在于，所述光谱空间损失函数的确定方法包括：
9.根据权利要求8所述的遥感图像光谱超分辨率重建方法，其特征在于，所述频谱损失函数的确定方法包括：
10.根据权利要求8所述的遥感图像光谱超分辨率重建方法，其特征在于，所述空间损失函数的确定方法包括：
...【技术特征摘要】
1.一种遥感图像光谱超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的遥感图像光谱超分辨率重建方法，其特征在于，所述分层语义感知cnn-transformer模型包括ise模块、第一深度卷积层、concat层、第二深度卷积层、第一sact单元、第三深度卷积层、第一拼接层、第一卷积层、pixelunshuffle模块、第四深度卷积层、第二sact单元、第五深度卷积层和pixelshuffle模块；
3.根据权利要求2所述的遥感图像光谱超分辨率重建方法，其特征在于，所述ise模块包括依次连接的波长内估算子模块、波长外估算子模块；
4.根据权利要求2所述的遥感图像光谱超分辨率重建方法，其特征在于，每个所述sact模块均包括依次连接的第一psconv子模块、sacnn子模块、第二拼接层、leakyrelu激活层、第二psconv子模块、saformer子模块和第三拼接层；
5.根据权利要求4所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。