高光谱图像生成方法及装置制造方法及图纸

本申请实施例公开了一种高光谱图像生成方法、装置及电子设备和存储介质，对第一图像进行对象分割，得到多个对象，以及对象在第一图像中的位置信息；同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；根据对象中的像素在第一类波段的取值，预测对象的每个像素在多个第二类波段的取值；基于波段连续性原则，将对象的同一像素在所有第一类波段和多个第二类波段的取值组合，得到对象对应的高光谱图像；按照各个对象在第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到第一图像对应的高光谱图像。得到第一图像对应的高光谱图像。得到第一图像对应的高光谱图像。

【技术实现步骤摘要】
高光谱图像生成方法及装置


[0001]本申请涉及图像处理
，更具体地说，涉及一种高光谱图像生成方法、装置及电子设备和存储介质。

技术介绍

[0002]与普通的RGB图像相比，高光谱图像具有更多光谱波段来存储更多的场景信息，在目标检测等领域具有很高的应用价值。为了降低高光谱图像的获取难度，一般采用光谱重建的方法获取高光谱图像，目前主要通过增加额外成像系统的方法重建高光谱图像。而增加成像系统的方法依赖硬件设备，使得高光谱图像的获取成本较高。

技术实现思路

[0003]本申请的目的是提供一种高光谱图像生成方法、装置及电子设备和存储介质，包括如下技术方案：
[0004]一种高光谱图像生成方法，所述方法包括：
[0005]对第一图像进行对象分割，得到多个对象，以及各个对象在所述第一图像中的位置信息；其中，同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；任一像素的取值由所述任一像素对应的实物在各个第一类波段的光谱反射率确定；
[0006]根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；
[0007]基于波段连续性原则，将所述对象的同一像素在所有第一类波段和所述多个第二类波段的取值组合，得到所述对象对应的高光谱图像；
[0008]按照各个对象在所述第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到所述第一图像对应的高光谱图像。
[0009]上述方法，可选的，所述根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值，包括：
[0010]根据所述对象中的像素在第一波段的取值，预测所述对象的各像素在位于所述第一波段和第二波段之间的多个第二类波段的取值；
[0011]所述第一波段和所述第二波段为任意相邻的两个第一类波段。
[0012]上述方法，可选的，所述根据所述对象中的像素在第一类波段的取值，预测所述对象中的各像素在多个第二类波段的取值，包括：
[0013]通过级联网络根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；
[0014]所述级联网络包括多个预测模块，分为目标预测模块和非目标预测模块；其中，
[0015]每个目标预测模块的输入至少包括所述对象中的像素在第一类波段的取值；其中，相邻两个目标预测模块输入所述对象中的像素在相邻的第一类波段的取值；
[0016]任意相邻两个目标预测模块之间具有多个非目标预测模块，所述非目标预测模块的输入包括：所述非目标预测模块的前一个预测模块输出的所述对象中的像素在一个第二类波段的取值，以及所述前一个预测模块的中间特征和作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；
[0017]若所述目标预测模块不是所述级联网络的第一个预测模块，所述目标预测模块的输入还包括：所述目标预测模块的前一个非目标预测模块的中间特征以及作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；
[0018]每个预测模块的输出为所述对象中的像素在第一类波段或第二类波段的取值；相邻两个预测模块输出所述对象中的像素在相邻波段的取值。
[0019]上述方法，可选的，其中，
[0020]所述第一个预测模块用于：对输入的所述对象中的像素在目标第一类波段的取值进行第一特征提取，得到第一特征；对所述第一特征进行第二特征提取，得到所述第一个预测模块的中间特征；对所述中间特征进行线性变换，得到第二特征；对所述第二特征进行第三特征提取，得到第三特征；所述第三特征提取为所述第二特征提取的逆过程；对所述第一特征和所述第三特征进行融合处理，得到所述对象的各像素在第二类波段的取值；
[0021]和/或，
[0022]所述级联网络的非第一个预测模块用于：对输入的所述对象中的像素在两个波段的取值分别进行第一特征提取，得到所述两个波段分别对应的第一特征；对各个第一特征分别进行所述第二特征提取，得到各个第一特征对应的第四特征；将各个第四特征以及前一个预测模块的中间特征融合，得到所述非第一个预测模块的中间特征；对所述非第一个预测模块的中间特征进行线性变换，得到第五特征；对所述第五特征进行所述第三特征提取，得到第六特征；对所述第六特征，以及所述两个波段分别对应的第一特征中的目标第一特征进行融合处理，得到所述对象的各个像素在第一类波段或第二类波段的取值。
[0023]上述方法，可选的，对第一图像进行对象分割，以及根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值的过程，包括：
[0024]通过高光谱图像生成模型对所述第一图像进行对象分割，得到多个对象；根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；
[0025]所述高光谱图像生成模型通过第一样本集和第二样本集训练得到；其中，所述第一样本集中的第一样本为非高光谱图像，所述第二样本集中的第二样本为非高光谱图像
‑
高光谱图像对。
[0026]上述方法，可选的，所述高光谱图像生成模型通过如下方法训练得到：
[0027]通过所述第一样本集对所述高光谱图像生成模型进行自监督训练，得到预训练的高光谱图像生成模型；
[0028]通过所述第二样本集对所述预训练的高光谱图像生成模型进行有监督训练，得到训练好的高光谱图像生成模型。
[0029]上述方法，可选的，所述通过所述第一样本集对所述高光谱图像生成模型进行自监督训练，包括：
[0030]通过所述高光谱图像生成模型对所述第一样本进行对象分割，得到多个样本对象，以及各个样本对象在所述第一样本中的位置信息；
[0031]对各个样本对象分别进行光谱反射逆变换，得到各个样本对象对应的逆变换对象；
[0032]通过所述高光谱图像生成模型根据所述样本对象中的像素在目标第一类波段的取值，预测所述样本对象中的像素在各个非目标第一类波段的取值，以及所述样本对象中的像素在多个第二类波段的取值；
[0033]通过所述高光谱图像生成模型根据所述逆变换对象中的像素在所述目标第一类波段的逆变换值，预测所述逆变换对象中的像素在各个非目标第一类波段的逆变换值，以及所述逆变换对象中的像素在多个第二类波段的逆变换值；
[0034]基于波段连续性原则，将预测得到的所述样本对象中的同一像素在所有第一类波段的取值、在所有第二类波段的取值以及在目标第一类波段的取值组合，得到所述样本对象对应的高光谱图像；
[0035]按照各个样本对象在所述第一样本中的位置信息，将各个样本对象对应的高光谱图像组合，得到所述第一样本对应的高光谱图像；
[0036]通过所述高光谱图像生成模型对所述第一样本对应的高光谱图像进行对象分割，得到分割结果；
[0037]基于预测得到的所述样本对象的像素在非目标第一类波段的取值、所述逆变换对象中的像素在非目标第一类波段本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高光谱图像生成方法，所述方法包括：对第一图像进行对象分割，得到多个对象，以及各个对象在所述第一图像中的位置信息；其中，同一对象的各个像素的取值位于同一区间，不同对象的像素的取值位于不同的区间；任一像素的取值由所述任一像素对应的实物在各个第一类波段的光谱反射率确定；根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；基于波段连续性原则，将所述对象的同一像素在所有第一类波段和所述多个第二类波段的取值组合，得到所述对象对应的高光谱图像；按照各个对象在所述第一图像中的位置信息，将各个对象对应的高光谱图像组合，得到所述第一图像对应的高光谱图像。2.根据权利要求1所述的方法，所述根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值，包括：根据所述对象中的像素在第一波段的取值，预测所述对象的各像素在位于所述第一波段和第二波段之间的多个第二类波段的取值；所述第一波段和所述第二波段为任意相邻的两个第一类波段。3.根据权利要求1或2所述的方法，所述根据所述对象中的像素在第一类波段的取值，预测所述对象中的各像素在多个第二类波段的取值，包括：通过级联网络根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；所述级联网络包括多个预测模块，分为目标预测模块和非目标预测模块；其中，每个目标预测模块的输入至少包括所述对象中的像素在第一类波段的取值；其中，相邻两个目标预测模块输入所述对象中的像素在相邻的第一类波段的取值；任意相邻两个目标预测模块之间具有多个非目标预测模块，所述非目标预测模块的输入包括：所述非目标预测模块的前一个预测模块输出的所述对象中的像素在一个第二类波段的取值，以及所述前一个预测模块的中间特征和作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；若所述目标预测模块不是所述级联网络的第一个预测模块，所述目标预测模块的输入还包括：所述目标预测模块的前一个非目标预测模块的中间特征以及作为所述前一个预测模块的输入的所述对象中的像素在一个波段的取值；每个预测模块的输出为所述对象中的像素在第一类波段或第二类波段的取值；相邻两个预测模块输出所述对象中的像素在相邻波段的取值。4.根据权利要求3所述的方法，其中，所述第一个预测模块用于：对输入的所述对象中的像素在目标第一类波段的取值进行第一特征提取，得到第一特征；对所述第一特征进行第二特征提取，得到所述第一个预测模块的中间特征；对所述中间特征进行线性变换，得到第二特征；对所述第二特征进行第三特征提取，得到第三特征；所述第三特征提取为所述第二特征提取的逆过程；对所述第一特征和所述第三特征进行融合处理，得到所述对象的各像素在第二类波段的取值；和/或，所述级联网络的非第一个预测模块用于：对输入的所述对象中的像素在两个波段的取
值分别进行第一特征提取，得到所述两个波段分别对应的第一特征；对各个第一特征分别进行所述第二特征提取，得到各个第一特征对应的第四特征；将各个第四特征以及前一个预测模块的中间特征融合，得到所述非第一个预测模块的中间特征；对所述非第一个预测模块的中间特征进行线性变换，得到第五特征；对所述第五特征进行所述第三特征提取，得到第六特征；对所述第六特征，以及所述两个波段分别对应的第一特征中的目标第一特征进行融合处理，得到所述对象的各个像素在第一类波段或第二类波段的取值。5.根据权利要求1所述的方法，对第一图像进行对象分割，以及根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值的过程，包括：通过高光谱图像生成模型对所述第一图像进行对象分割，得到多个对象；根据所述对象中的像素在第一类波段的取值，预测所述对象的各像素在多个第二类波段的取值；所述高光谱图像生成模型通过第一样本集和第二样本集训练得到；其中，所述第一样本集中的第一样本为非高光谱图像，所述第二样本集中的第二样本为非高光谱图像
‑
高光谱图像对。6.根据权利要求5所述的方法，所述高光谱图像生成模型通过如下方法训练得到：通过所述第一样本集对所述高光谱图像生成模型进行自监督训练，得到预训练的高光谱图像生成模型；通过所述第二样本集对所述预训练的高光谱图像生成模型进行有监督训练，得到训练好的高光谱图像生成模型。7.根据权利要求6所述的方法，所述通过所述第一样本集对所述高光...

【专利技术属性】
技术研发人员：潘红，王奇刚，王鹏，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：