基于高光谱和多光谱图像融合生成高光谱图像的方法及系统技术方案

本发明专利技术公开了一种基于高光谱和多光谱图像融合生成高光谱图像的方法及系统，本发明专利技术基于高光谱和多光谱图像融合生成高光谱图像的方法包括：将输入的高光谱图像Y进行子空间分解以提取得到待生成的高光谱图像的左低秩向量U；将输入的多光谱图像Z通过训练好的深度生成网络，生成待生成的高光谱图像的右低秩向量V；将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X；本发明专利技术的系统包括用于获取输入的高光谱图像Y以及多光谱图像Z的光学元件及成像传感器。本发明专利技术能够基于高光谱和多光谱图像融合生成高光谱图像，降低高光谱图像获取的成本和效率。光谱图像获取的成本和效率。光谱图像获取的成本和效率。

【技术实现步骤摘要】
上式中，U1为左奇异向量组成的矩阵，Σ1为奇异值组成的对角矩阵，V1为右奇异向量组成的矩阵的转置。
[0009]可选地，步骤1）中的高光谱图像Y为来自高光谱视频中的图像帧，且基于高光谱视频中的原始图像帧获得高光谱图像Y包括：对高光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作，裁剪各光谱波段图像对齐并按波段顺序堆叠，以获得高光谱图像Y。
[0010]可选地，步骤1）中的多光谱图像Z为来自多光谱视频中的图像帧，且基于多光谱视频中的原始图像帧获得多光谱图像Z包括：对多光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作，并根据与高光谱图像Y的对应关系裁剪出与高光谱图像Y的相同区域以获得多光谱图像Z。
[0011]此外，本专利技术还提供一种前述基于高光谱和多光谱图像融合生成高光谱图像的系统，包括主镜、光阑、分光器件、准直镜头、滤光片阵列和微透镜阵列、高光谱图像传感器、反光镜、成像镜头和多光谱图像传感器，所述主镜捕获的光线经过光阑、分光器件后被分成两路，一路光线依次通过准直镜头、滤光片阵列和微透镜阵列后在高光谱图像传感器上成像以获得高光谱视频中的原始图像帧；能够一路光线依次通过反光镜、成像镜头后在多光谱图像传感器上成像以获得多光谱视频中的原始图像帧。
[0012]此外，本专利技术还提供一种基于高光谱和多光谱图像融合生成高光谱图像的系统，包括相互连接的处理计算单元和存储器，所述处理计算单元被编程或配置以执行所述基于高光谱和多光谱图像融合生成高光谱图像的方法的步骤。<br/>[0013]此外，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被处理计算单元编程或配置以执行所述基于高光谱和多光谱图像融合生成高光谱图像的方法的步骤。
[0014]和现有技术相比，本专利技术具有下述优点：本专利技术将输入的高光谱图像Y进行奇异值分解，提取得到的左奇异向量作为待生成的高光谱图像的左低秩向量U；将输入的多光谱图像Z通过训练好的深度生成网络，生成待生成的高光谱图像的右低秩向量V；将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X，从而能够基于高光谱和多光谱图像融合生成高光谱图像，降低高光谱图像获取的成本和效率。
附图说明
[0015]图1为本专利技术实施例方法的基本流程示意图。
[0016]图2为本专利技术实施例中深度生成网络的结构示意图。
[0017]图3为本专利技术实施例中系统的结构图。
[0018]图4为本专利技术实施例中系统的光路原理图。
[0019]图5为本专利技术实施例中硬件系统工作流程图。
具体实施方式
[0020]如图1所示，本实施例基于高光谱和多光谱图像融合生成高光谱图像的方法包括：1）将输入的高光谱图像Y进行奇异值分解，提取得到的左奇异向量作为待生成的高光谱图像的左低秩向量U；将输入的多光谱图像Z通过训练好的深度生成网络，生成待生
成的高光谱图像的右低秩向量V；2）将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X。
[0021]如图2所示，步骤1）中的深度生成网络包括正向运算单元和逆向运算单元，所述正向运算单元和逆向运算单元均由依次级联的多个二维卷积层构成，且所述正向运算单元的多个二维卷积层尺度从大大小排列布置，所述逆向运算单元的多个二维卷积层尺度从小到大排列布置，所述正向运算单元和逆向运算单元两者之间相同尺度的二维卷积层以跳跃连接的方式进行连接，内部相邻的二维卷积层则通过对应的上采样和下采样运算连接，多光谱图像Z从正向运算单元中尺度最大的二维卷积层输入、逆向运算单元尺度最大的二维卷积层输出右低秩向量V。参见图2，多光谱图像Z的尺度为HW*S，其中H为高度，W为宽度，S为多光谱图像波段数量；本实施例中具体述正向运算单元和逆向运算单元均由依次级联的四个二维卷积层构成，四个二维卷积层的尺度分别为HW/2*S/2，HW/4*S/4，HW/8*S/8以及HW/16*S/16。
[0022]本实施例中，每一个二维卷积层内部都依次包含一次二维卷积、一次二维批标准化、一次线性整流以及一次下采样。
[0023]本实施例中，步骤1）中的深度生成网络训练所采用的损失函数为均方根误差RMSE。此外，本实施例中采用自监督的方法来训练深度生成网络，采用自监督的方法进行网络训练，对数据量要求低，解决了训练数据稀缺的难题，易于实现。由于深度生成网络采用自监督的方法进行网络训练方法为已知训练方法，故其实现细节在此不再详述。
[0024]本实施例中，步骤1）中将输入的高光谱图像Y进行子空间分解具体是指将输入的高光谱图像Y进行奇异值分解，并将奇异值分解得到的左奇异向量作为待生成的高光谱图像的左低秩向量U；且将输入的高光谱图像Y进行奇异值分解的函数表达式为：Y=U1Σ1V1上式中，U1为左奇异向量组成的矩阵，Σ1为奇异值组成的对角矩阵，V1为右奇异向量组成的矩阵的转置。将输入的高光谱图像Y进行奇异值分解时，取指定数量L个最大的奇异值，根据上式进行奇异值分解即可。由于奇异值分解方法为现有方法，故其详细细节在此不再详述。
[0025]本实施例中，步骤1）中的高光谱图像Y为来自高光谱视频中的图像帧，且基于高光谱视频中的原始图像帧获得高光谱图像Y包括：对高光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作，裁剪各光谱波段图像对齐并按波段顺序堆叠，以获得高光谱图像Y。
[0026]本实施例中，步骤1）中的多光谱图像Z为来自多光谱视频中的图像帧，且基于多光谱视频中的原始图像帧获得多光谱图像Z包括：对多光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作，并根据与高光谱图像Y的对应关系裁剪出与高光谱图像Y的相同区域以获得多光谱图像Z。
[0027]本实施例中，步骤2）中将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X可表示为：X=U
×
V。
[0028]如图3和图4所示，本实施例还提供一种用于前文所述的基于高光谱和多光谱图像融合生成高光谱图像的系统，包括主镜1、光阑2、分光器件3、准直镜头4、滤光片阵列和微透镜阵列5、高光谱图像传感器6、反光镜7、成像镜头8和多光谱图像传感器9，所述主镜1捕获
的光线经过光阑2、分光器件3后被分成两路，一路光线依次通过准直镜头4、滤光片阵列和微透镜阵列5后在高光谱图像传感器6上成像以获得高光谱视频中的原始图像帧；能够一路光线依次通过反光镜7、成像镜头8后在多光谱图像传感器9上成像以获得多光谱视频中的原始图像帧。作为一种具体的实施方式，本实施例中：主镜1为可变焦的光学镜头，用于捕获目标发出的光线，于光阑2处进行首次成像；光阑2为对光束起着限制作用的实体，限制主镜1的成像范围大小；分光器件3为一个分光棱镜，用于将光阑M限制的光束分成相同且互相垂直的两束，一束射向准直镜头4，另一束射向反光镜7；准直镜头4用于维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高光谱和多光谱图像融合生成高光谱图像的方法，其特征在于，包括：1）将输入的高光谱图像Y进行子空间分解以提取得到待生成的高光谱图像的左低秩向量U；将输入的多光谱图像Z通过训练好的深度生成网络，生成待生成的高光谱图像的右低秩向量V；2）将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X。2.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的方法，其特征在于，步骤1）中的深度生成网络包括正向运算单元和逆向运算单元，所述正向运算单元和逆向运算单元均由依次级联的多个二维卷积层构成，且所述正向运算单元的多个二维卷积层尺度从大大小排列布置，所述逆向运算单元的多个二维卷积层尺度从小到大排列布置，所述正向运算单元和逆向运算单元两者之间相同尺度的二维卷积层以跳跃连接的方式进行连接，内部相邻的二维卷积层则通过对应的上采样和下采样运算连接，多光谱图像Z从正向运算单元中尺度最大的二维卷积层输入、逆向运算单元尺度最大的二维卷积层输出右低秩向量V。3.根据权利要求2所述的基于高光谱和多光谱图像融合生成高光谱图像的方法，其特征在于，每一个二维卷积层内部都依次包含一次二维卷积、一次二维批标准化、一次线性整流以及一次下采样。4.根据权利要求3所述的基于高光谱和多光谱图像融合生成高光谱图像的方法，其特征在于，步骤1）中的深度生成网络训练所采用的损失函数为均方根误差RMSE。5.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的方法，其特征在于，步骤1）中将输入的高光谱图像Y进行子空间分解具体是指将输入的高光谱图像Y进行奇异值分解，并将奇异值分解得到的左奇异向量作为待生成的高光谱图像的左低秩向量U；且将输入的高光谱图像Y进行奇异值分解的函数表达式为：Y=U1Σ1V1上式中，U1为左奇异向量组成的矩阵，Σ1为奇异值组成的对角矩阵，V1为右奇异向量组成的矩阵的转置。6.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的...

【专利技术属性】
技术研发人员：李树涛，胡宇龙，刘海波，佃仁伟，
申请(专利权)人：湖南大学，
类型：发明
国别省市：