【技术实现步骤摘要】
本专利技术属于深度学习以及计算机视觉，尤其涉及一种基于领域先验深度展开网络的遥感图像全色锐化方法。
技术介绍
1、近年来遥感技术的最新进展使得对高分辨率多光谱(hrms)图像的需求越来越大，hrms图像已被广泛应用于环境监测和农业发展等领域。然而，现有卫星系统中的物理限制使得同时获得高空间分辨率和高光谱分辨率的图像具有挑战性。因此，全色锐化成为一种替代方案，它旨在将高分辨率全色(pan)图像与相应的低分辨率多光谱(lrms)图像融合，生成具有高空间和光谱分辨率的hrms图像。
2、全色锐化方法主要分为传统方法和基于深度学习的方法。传统方法包括组分替代(component substitution,cs)、多分辨率分析(multi-resolution analysis,mra)和变分优化(variational optimization,vo)方法。然而，这些方法大多依赖于手工定义的先验和约束，对于图像特征的表示能力有限，因此限制了它们的性能。受到近年来深度学习在视觉任务中取得的成功的启发，出现了各种基于深度学习的全色锐化方法，这些方法根据空间-光谱信息重建方式可以分为单分支网络和双分支网络两种类型。单分支网络方法直接将lrms图像和pan图像进行串联，然后应用cnn网络提取空间和光谱信息来重建hrms图像。而双分支网络方法利用cnn网络分别从lrms图像中提取光谱信息，从pan图像中提取空间信息，然后融合生成hrms图像。尽管基于深度学习的方法在空间-光谱信息重建方面表现出优越性，但它们大多以黑盒的方式构建网络拓扑
3、因此，为了提高模型的可解释性，研究者们提出了基于模型的全色锐化方法，其中深度展开网络(deep unfolding network,dun)作为一种框架被广泛应用。然而，当前的基于模型的全色锐化方法仍然存在缺陷，因为它们要么只模拟hrms图像的退化过程，而没有考虑图像之间复杂的空间和光谱关系，例如，gppnn，要么只考虑了宏观视角，而没有从空间或光谱重建的角度进行详细分析，导致性能不佳，例如，mmnet。总之，尽管现有的基于模型的方法增强了全色锐化任务的可解释性，但它们没有充分考虑领域特定的先验知识，即图像之间复杂的空间和光谱关系，也没有进行跨模态交互，因此它们的性能受到限制。
4、因此，如何设计一个全色锐化模型，使其能够充分利用所发现的领域知识并且提高所设计的模型的可解释性，以提高全色锐化性能，是目前亟待解决的技术问题。
技术实现思路
1、本专利技术要解决的技术问题是如何使全色锐化模型充分利用所发现的领域知识，即使用pan图像提供所需要的空间信息，使用pan图像和lrms图像中的光谱信息共同重建hrms图像的光谱信息，与此同时提高全色锐化模型的可解释性。
2、本专利技术的目的在于解决现有技术中存在的上述问题，并提供一种基于领域先验深度展开网络的遥感图像全色锐化方法。
3、为了实现上述专利技术目的，本专利技术具体采用如下技术方案：
4、一种基于领域先验深度展开网络的遥感图像全色锐化方法，包括：对待全色锐化的多光谱图像进行上采样，得到上采样后的多光谱图像，将待全色锐化的多光谱图像、上采样后的多光谱图像以及待全色锐化的全色图像输入到经过训练的全色锐化模型中进行多阶段处理，所述全色锐化模型包含多个处理网络，每个阶段各自对应一个处理网络，每个阶段的处理网络均由一个数据投影模块和一个先验模块构成，数据投影模块用于对输入进行特征投影处理，先验模块用于重建空间信息和调制光谱信息，经过多阶段处理后，将最后一个阶段处理网络的输出作为最终重建的高分辨率多光谱图像；其中，先验模块采用带有信息感知模块的u型架构，所述信息感知模块包含一个感知增强模块和一个前馈网络，所述感知增强模块包含一个自适应融合模块、一个空间信息重建模块以及一个光谱信息调制模块；
5、在第一阶段的处理网络中，将上采样后的多光谱图像、待全色锐化的多光谱图像以及待全色锐化的全色图像输入到第一阶段的数据投影模块中，得到第一投影特征，将第一投影特征以及待全色锐化的全色图像输入到第一阶段的先验模块中，得到第一空间光谱特征；
6、除第一阶段之外，在其余阶段的处理网络中，将各自对应的前一阶段处理网络得到的空间光谱特征作为初始化输入，将初始化输入、待全色锐化的多光谱图像以及待全色锐化的全色图像输入到其余阶段的数据投影模块中，得到新的投影特征，将新的投影特征以及待全色锐化的全色图像输入到其余阶段的先验模块中，得到新的空间光谱特征。
7、在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
8、作为优选，所述数据投影模块包含一个lrms图像处理分支和一个pan图像处理分支；在lrms图像处理分支中，使用第一深度卷积层对前一个阶段处理网络的输出进行下采样，得到第一特征图，将第一特征图与待全色锐化的多光谱图像相减，得到第二特征图，再使用第二深度卷积层对第二特征图进行上采样，得到lrms图像处理分支输出的lrms特征图；在pan图像处理分支中，使用第一点卷积层将前一个阶段处理网络的输出通道数降低，得到第三特征图，将第一特征图与待全色锐化的全色图像相减，得到第四特征图，再使用第二点卷积层将第四特征图通道数增加，得到pan图像处理分支输出的pan特征图；将lrms特征图与pan特征图相加，得到第五特征图，将第五特征图与可学习参数σ相乘，得到加权后的第五特征图，将加权后的第五特征图与前一个阶段处理网络的输出相减，得到数据投影模块输出的投影特征。
9、作为优选，在数据投影模块中，第一深度卷积层的卷积核大小为3×3，第二深度卷积层的卷积核大小为3×3，第一点卷积层的卷积核大小为1×1，第二点卷积层的卷积核大小为1×1。
10、作为优选，所述先验模块以数据投影模块输出的投影特征和待全色锐化的全色图像作为输入，首先使用一个嵌入层将数据映射模块输出的投影特征映射为一个投影嵌入特征，所述嵌入层将待全色锐化的全色图像映射为全色图像嵌入特征；将投影嵌入特征和全色图像嵌入特征一起输入到编码器中，依次经过第一信息感知模块和第二信息感知模块后，得到与投影嵌入特征对应的第六特征图和与全色图像嵌入特征对应的第七特征图，将第六特征图经过编码器中的下采样层后，得到下采样后的第六特征图，将第七特征图经过编码器中的下采样层后，得到下采样后的第七特征图；将下采样后的第六特征图和下采样后的第七特征图一起输入到第三信息感知模块，得到与第六特征图对应的第八特征图和与第七特征图对应的第九特征图；将第八特征图和第九特征图一起输入到解码器中，先将第八特征图经过解码器中的上采样层后，得到上采样后的第八特征图，将第九特征图经过解码器中的上采样层后，得到上采样后的第九特征图，将上采样后的第九特征图与第七特征图沿通道维度进行拼接，得到第一拼接特征图，将第一拼接特征图经过第三卷积层进行处理后，得到处理后的第一拼接特征图，将处理后的第一拼接特征图和上采样后的第九特征图拼接，得到第二本文档来自技高网...
【技术保护点】
1.一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，包括：对待全色锐化的多光谱图像进行上采样，得到上采样后的多光谱图像，将待全色锐化的多光谱图像、上采样后的多光谱图像以及待全色锐化的全色图像输入到经过训练的全色锐化模型中进行多阶段处理，所述全色锐化模型包含多个处理网络，每个阶段各自对应一个处理网络，每个阶段的处理网络均由一个数据投影模块和一个先验模块构成，数据投影模块用于对输入进行特征投影处理，先验模块用于重建空间信息和调制光谱信息，经过多阶段处理后，将最后一个阶段处理网络的输出作为最终重建的高分辨率多光谱图像；其中，先验模块采用带有信息感知模块的U型架构，所述信息感知模块包含一个感知增强模块和一个前馈网络，所述感知增强模块包含一个自适应融合模块、一个空间信息重建模块以及一个光谱信息调制模块；
2.如权利要求1所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，所述数据投影模块包含一个LRMS图像处理分支和一个PAN图像处理分支；在LRMS图像处理分支中，使用第一深度卷积层对前一个阶段处理网络的输出进行下采样，得到第一特征图，将第一特
3.如权利要求2所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，在数据投影模块中，第一深度卷积层的卷积核大小为3×3，第二深度卷积层的卷积核大小为3×3，第一点卷积层的卷积核大小为1×1，第二点卷积层的卷积核大小为1×1。
4.如权利要求1所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，所述先验模块以数据投影模块输出的投影特征和待全色锐化的全色图像作为输入，首先使用一个嵌入层将数据映射模块输出的投影特征映射为一个投影嵌入特征，所述嵌入层将待全色锐化的全色图像映射为全色图像嵌入特征；将投影嵌入特征和全色图像嵌入特征一起输入到编码器中，依次经过第一信息感知模块和第二信息感知模块后，得到与投影嵌入特征对应的第六特征图和与全色图像嵌入特征对应的第七特征图，将第六特征图经过编码器中的下采样层后，得到下采样后的第六特征图，将第七特征图经过编码器中的下采样层后，得到下采样后的第七特征图；将下采样后的第六特征图和下采样后的第七特征图一起输入到第三信息感知模块，得到与第六特征图对应的第八特征图和与第七特征图对应的第九特征图；将第八特征图和第九特征图一起输入到解码器中，先将第八特征图经过解码器中的上采样层后，得到上采样后的第八特征图，将第九特征图经过解码器中的上采样层后，得到上采样后的第九特征图，将上采样后的第九特征图与第七特征图沿通道维度进行拼接，得到第一拼接特征图，将第一拼接特征图经过第三卷积层进行处理后，得到处理后的第一拼接特征图，将处理后的第一拼接特征图和上采样后的第九特征图拼接，得到第二拼接特征图，将第二拼接特征图以及上采样后的第八特征图依次经过解码器中第四信息感知模块和第五信息感知模块后，得到与全色图像嵌入特征对应的第一深层特征图以及与投影嵌入特征对应的第二深层特征图；将第一深层特征图由第四卷积层进行特征映射，得到第一映射深层特征图，将第二深层特征图由第四卷积层进行特征映射，得到第二映射深层特征图，将第二映射深层特征图与数据投影模块输出的投影特征相加，得到先验模块输出的空间光谱特征。
5.如权利要求4所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，在先验模块中，所述嵌入层由第一卷积层和第二卷积层依次级联而成，所述第一卷积层和第二卷积层的卷积核大小均为1×1，所述第三卷积层的卷积核大小为1×1，所述第四卷积层的卷积核大小为3×3。
6.如权利要求1所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，在所述信息感知模块中，将与投影嵌入特征对应的特征图作为第一输入，将与全色图像嵌入特征对应的特征图作为第二输入，第一输入首先经过第一层归一化层进行归一化处理，得到归一化后的第一输入，将归一化后的第一输入和第二输入一起经过感知增强模块处理后，得到与第一输入对应的第一中间输出和与第...
【技术特征摘要】
1.一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，包括：对待全色锐化的多光谱图像进行上采样，得到上采样后的多光谱图像，将待全色锐化的多光谱图像、上采样后的多光谱图像以及待全色锐化的全色图像输入到经过训练的全色锐化模型中进行多阶段处理，所述全色锐化模型包含多个处理网络，每个阶段各自对应一个处理网络，每个阶段的处理网络均由一个数据投影模块和一个先验模块构成，数据投影模块用于对输入进行特征投影处理，先验模块用于重建空间信息和调制光谱信息，经过多阶段处理后，将最后一个阶段处理网络的输出作为最终重建的高分辨率多光谱图像；其中，先验模块采用带有信息感知模块的u型架构，所述信息感知模块包含一个感知增强模块和一个前馈网络，所述感知增强模块包含一个自适应融合模块、一个空间信息重建模块以及一个光谱信息调制模块；
2.如权利要求1所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，所述数据投影模块包含一个lrms图像处理分支和一个pan图像处理分支；在lrms图像处理分支中，使用第一深度卷积层对前一个阶段处理网络的输出进行下采样，得到第一特征图，将第一特征图与待全色锐化的多光谱图像相减，得到第二特征图，再使用第二深度卷积层对第二特征图进行上采样，得到lrms图像处理分支输出的lrms特征图；在pan图像处理分支中，使用第一点卷积层将前一个阶段处理网络的输出通道数降低，得到第三特征图，将第一特征图与待全色锐化的全色图像相减，得到第四特征图，再使用第二点卷积层将第四特征图通道数增加，得到pan图像处理分支输出的pan特征图；将lrms特征图与pan特征图相加，得到第五特征图，将第五特征图与可学习参数σ相乘，得到加权后的第五特征图，将加权后的第五特征图与前一个阶段处理网络的输出相减，得到数据投影模块输出的投影特征。
3.如权利要求2所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，在数据投影模块中，第一深度卷积层的卷积核大小为3×3，第二深度卷积层的卷积核大小为3×3，第一点卷积层的卷积核大小为1×1，第二点卷积层的卷积核大小为1×1。
4.如权利要求1所述的一种基于领域先验深度展开网络的遥感图像全色锐化方法，其特征在于，所述先验模块以数据投影模块输出的投影特征和待全色锐化的全色图像作为输入，首先使用一个嵌入层将数据映射模块输出的投影特征映射为一个投影嵌入特征，所述嵌入层将待全色锐化的全色图像映射为全色图像嵌入特征；将投影嵌入特征和全色图像嵌入特征一起输入到编码器中，依次经过第一信息感知模块和第二信息感知模块后，得到与投影嵌入特征对应的第六特征图和与全色图像嵌入特征对应的第七特征图，将第六特征图经过编码器中的下采样层后，得到下采样后的第六特征图，将第七特征图经过编码器中的下采样层后，得到下采样后的第七特征图；将下采样后的第六特征图和下采样后的第七特征图一起输入到第三信息感知模块，得到与第六特征图对应的第八特征图和与第七特征图对应的第九特征图；将第八特征图和第九特征图一起输入到解码器中，先将第八特征图经过解码器中的上采样层后，得到上采样后的第八特征图，将第九特征图经过解码器中的上采样层后，得到上采样后的第九特征图，将上采样后的第九特征图与第七特征图沿通道维度进行拼接，得到第一拼接特征图，将第一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。