本发明专利技术公开了一种基于深度子空间嵌入的全色锐化方法及装置，其主要步骤概括为：步骤1：从遥感卫星数据集中获得全色图像（PAN）和多光谱图像（MS），并进行像素匹配；步骤2：对通过步骤一得到的MS数据进行子空间表征，得到子空间基；步骤3：根据步骤一得到的MS图与PAN图，将它们输入由杨俊峰博士设计的用于全色锐化的神经网络PanNet，得到一份该网络输出的高分辨率多光谱图像；步骤4：将以上步骤得到的数据输入本算法的数学模型中，根据替代方向乘数方法进行迭代，迭代计算得到高分辨率多光谱图像。提出的发明专利技术方法能够通过观测到的全色图像与多光谱图像得到噪声更少、光谱失真更少、纹理更加清晰的高分辨率多光谱图像。更加清晰的高分辨率多光谱图像。更加清晰的高分辨率多光谱图像。
【技术实现步骤摘要】
基于深度子空间嵌入的全色锐化方法及装置
[0001]本专利技术涉及基于深度子空间嵌入的全色锐化方法及装置，属于全色锐化领域。
技术介绍
[0002]全色锐化技术指的是对同一颗遥感卫星同时采集到的全色图像与多光谱图像进行全色锐化，在保证高空间分辨率的同时获取多光谱图像丰富的光谱信息，最终得到高分辨率多光谱图像。而全色锐化技术这一巨大的优势使遥感图像能发挥更大的用途，拓宽了遥感图像的使用场景与使用效果。因此研究全色锐化对全国乃至世界的科学研究、环境保护、经济发展等方面具有重大意义。
[0003]目前全色锐化传统方法主要有三类：基于成分替换的方法、基于多分辨率分析的方法、基于变分优化的方法。成分替换方法使用全色图像替换投影变换后多光谱图像中的某一部分空间信息，然后经逆变换生成具有高分辨的多光谱图像。此类方法实现简单并且运算速度很快，但其对全色图像和被替换分量之间相关性有较大的依赖性。因此，由于全色图像与多光谱图像之间的不匹配而导致全色锐化后的多光谱图像存在严重的光谱失真。基于多分辨率分析的全色锐化方法利用多尺度分解技术，其将空间滤波器应用于全色图像以生成注入多光谱图像的空间信息。多分辨率分析算法能够保证较好的光谱特性从而有效的解决光谱失真问题，但实现复杂计算负担大且会存在空间信息的退化，如振铃效应等。基于变分优化框架的全色锐化算法对多光谱图像、全色图像和预测图像三者在空间结构和光谱信息上的关联提出假设，同时构造正则项求解函数的最小值以得到高分辨率多光谱图像，此类方法具有较高的光谱保真性但存在很多问题，如参数较多，模型求解过程复杂，泛化能力不够，时间效率不理想等，因此该类方法仍有许多地方需要改进。
[0004]上述的经典的全色锐化方法，容易出现存在严重的光谱失真、振铃效应、先验缺失等问题，都有一定的局限性。随着深度学习在图像处理领域的成功应用，全色锐化方法得到了新的发展。Masi等人最早开创性地提出了一种基于卷积神经网络的全色锐化方法，该方法采用三层卷积的超分辨率重建网络。它包括输入图像的非线性映射和各种辐射指数，在不增加复杂度的情况下提高了方法的性能。基于深度学习的方法能提供比基于其他类型的方法更好的全色锐化结果，但这需要更多的计算时间和大量的训练数据集。该类方法对数据依赖性太大，而且泛化性能低。
技术实现思路
[0005]本专利技术的目的在于克服现有技术中的不足，提供一种基于深度子空间嵌入的全色锐化方法及装置，可解决光谱失真的同时提高了数据泛化性能。
[0006]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0007]第一方面，本专利技术提供一种基于深度子空间嵌入的全色锐化方法，所述方法包括如下步骤：
[0008]步骤1：从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两
张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像PAN和多光谱图像MS；
[0009]步骤2：根据多光谱图像MS，对MS数据进行子空间表征，得到子空间基E；
[0010]步骤3：将全色图像PAN和多光谱图像MS输入用于全色锐化的神经网络PanNet，得到高分辨率多光谱图像X
net
；
[0011]步骤4：根据PAN图、MS图、X
net
，进行数学模型搭建，得到数学优化模型；
[0012]步骤5：通过替代方向乘数方法解决所述数学优化模型，依次循环迭代X、U、Z变量，直至满足终止条件；最终得到变量X的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0013]进一步的，步骤2中，对MS数据进行子空间表征的方法具体包括：
[0014]设置子空间基E的子空间维度k为5；
[0015]对MS数据进行奇异值分解；
[0016]由MS数据的前5个左奇异向量得到子空间基E。
[0017]进一步的，所述数学优化模型为：
[0018][0019]s.t.U＝XB,EZ＝X
[0020]式中，P表示PAN图，Y表示MS图，X代表全色锐化任务的目标结果，初始化为0；U、Z为辅助变量初始化为0用于辅助迭代X；λ、α、τ、β为权重，初始化为0.001；S表示由稀疏分量组成的抽样矩阵；B表示高斯模糊核；代表PAN图的上采样版本；代表的低通版本；φ(
·
)代表图像先验。
[0021]进一步的，步骤5中，对数学优化模型的迭代求解方法具体包括以下步骤：
[0022]首先引入多个辅助变量作为该融合模型的约束项，并最终将其划分为多个子问题然后进行分别迭代求解，将数学优化模型拉格朗日展开：
[0023][0024]其中，∧1,∧2,η1,η2为引入的辅助变量，初始化为0；
[0025]根据更新当前变量时固定其他变量的思想，通过依次交替迭代求解上述公式：
[0026][0027][0028][0029]Step4：update∧1,∧2；
[0030]依次循环迭代X、U、Z变量，直至满足|X
i+1
‑
X
i
|＜10
‑5的终止条件；最终得到变量X的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。
[0031]进一步的，迭代求解：公式的方法包括：
[0032][0033]上式重写为：
[0034][0035]其中：
[0036][0037]g(x)＝||X||1[0038][0039]引入近端梯度下降算法，令X
k
代表X第k次更新后的结果，对于X
→
X
k
时，f(X)的表示为：
[0040][0041][0042]其中L>＝1,为步长，于是得到迭代X
k+1
的公式：
[0043][0044][0045][0046]最终得到：，并将X
k+1
输出为X
i+1
；；
[0047]进一步的，迭代求解的方法包括：
[0048][0049]令：其中
[0050]符号代表克罗内克尔积，vec(
·
)代表向量化运算符，根据上式，可以推出：
[0051][0052]根据上式直接求出U
i+1
。
[0053]进一步的，迭代求解的方法包括：
[0054][0055][0056]因为E是一个半正交矩阵，这意味着对于所有有等距特性：
[0057]||Ex||2＝||x||2[0058]于是可以得到：
[0059][0060]令：
[0061]得到：直接引入“三维块匹配算法”解决该问题，输出得到Z
i+1
。
[0062]第二方面，本专利技术提供一种基于深度子空间嵌入的全色锐化装置，包括：
[0063]图像获取模块：用于从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两张图像的采集区域一致，得到采集时间和采集本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度子空间嵌入的全色锐化方法，其特征在于，所述方法包括如下步骤：步骤1：从遥感卫星数据集中获得全色图像和多光谱图像，进行像素匹配，确保两张图像的采集区域一致，得到采集时间和采集区域完全相同的全色图像PAN和多光谱图像MS；步骤2：根据多光谱图像MS，对MS数据进行子空间表征，得到子空间基E；步骤3：将全色图像PAN和多光谱图像MS输入用于全色锐化的神经网络PanNet，得到高分辨率多光谱图像X
net
；步骤4：根据PAN图、MS图、X
net
，进行数学模型搭建，得到数学优化模型；步骤5：通过替代方向乘数方法解决所述数学优化模型，依次循环迭代X、U、Z变量，直至满足终止条件；最终得到变量X的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。2.根据权利要求1所述的基于深度子空间嵌入的全色锐化方法，其特征在于，步骤2中，对MS数据进行子空间表征的方法具体包括：设置子空间基E的子空间维度k为5；对MS数据进行奇异值分解；由MS数据的前5个左奇异向量得到子空间基E。3.根据权利要求1所述的基于深度子空间嵌入的全色锐化方法，其特征在于，所述数学优化模型为：s.t.U＝XB,EZ＝X式中，P表示PAN图，Y表示MS图，X代表全色锐化任务的目标结果，初始化为0；U、Z为辅助变量初始化为0用于辅助迭代X；λ、α、τ、β为权重，初始化为0.001；S表示由稀疏分量组成的抽样矩阵；B表示高斯模糊核；代表PAN图的上采样版本；代表的低通版本；φ(
·
)代表图像先验。4.根据权利要求3所述的基于深度子空间嵌入的全色锐化方法，其特征在于，步骤5中，对数学优化模型的迭代求解方法具体包括以下步骤：首先引入多个辅助变量作为该融合模型的约束项，并最终将其划分为多个子问题然后进行分别迭代求解，将数学优化模型拉格朗日展开：其中，∧1,∧2,η1,η2为引入的辅助变量，初始化为0；根据更新当前变量时固定其他变量的思想，通过依次交替迭代求解上述公式：
Step1：Step2：Step3：Step4：update∧1,∧2；依次循环迭代X、U、Z变量，直至满足|X
i+1
‑
X
i
|＜10
‑5的终止条件；最终得到变量X的最终结果，即为全色锐化任务的目标高分辨率多光谱图像。...
【专利技术属性】
技术研发人员：陈敏境，朱虎，邓丽珍，钱唯，刘建辉，臧勤，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。