一种多尺度从RGB图像重建对应的高光谱图像算法及系统技术方案

本发明专利技术公开一种多尺度从RGB图像重建对应的高光谱图像算法及系统，属于计算机视觉高光谱图像领域；算法包括：将原始RGB图像经由多尺度处理模块处理，输出特征图Y'

【技术实现步骤摘要】
一种多尺度从RGB图像重建对应的高光谱图像算法及系统


[0001]本专利技术属于计算机视觉高光谱图像重建领域，具体涉及一种多尺度从RGB图像重建对应的高光谱图像算法及系统。

技术介绍

[0002]视觉信息对于人类而言具有十分重要的作用，至少有百分之八十以上的外界信息经视觉获得。光线在照射到物体表面并反射时携带了该物体特有的光谱信息，受到人眼结构的限制，仅凭肉眼只能读取到其中可见光范围的信息，但是高光谱成像仪可以捕获任何波段的信息，可以发现肉眼难以发现的信息。高光谱成像仪可以完整记录图片的光谱信息，相较于普通的彩色相机，可以同时获取被检测物体的空间信息和光谱信息。基于这一优点，高光谱图像在医学图像处理，遥感和对象跟踪等领域具有特别广泛的应用。
[0003]随着高光谱图片处理相关领域的发展，对高光谱图片的需求量变得越来越大，但是传统的高光谱图片获取难度大并且成本高，限制了该领域的发展。大多数传统的高光谱图像采集方法通常使用空间或光谱扫描技术的光谱仪，如推帚扫描仪，拂帚扫描仪和波段顺序扫描仪；但是高光谱成像仪也有十分明显的缺点，高光谱成像仪体积一般都十分巨大，操作也十分复杂，从而导致获取一张高光谱图片的难度大且成本高；近年来，随着卷积神经网络理论的发展，大量基于卷积神经网络(CNN)的方法已经被应用于重建工作，并且取得了比较良好的效果；传统的基于CNN的深度学习重建算法虽然解决了高成本和高难度的硬件问题，但是由于基于CNN模型在获取空间远程相关性和光谱内的自相似性方面的不足，导致其在重建质量上仍然未达到较高标准。<br/>
技术实现思路

[0004]针对现有技术的不足，本专利技术的目的在于提供一种多尺度从RGB图像重建对应的高光谱图像算法及系统。
[0005]本专利技术的目的可以通过以下技术方案实现：
[0006]一种多尺度从RGB图像重建对应的高光谱图像算法，包括以下步骤：
[0007]S1，将原始的RGB图像X经由多尺度处理模块处理，输出特征图Y'
i
；
[0008]S2，将特征图Y'
i
与原始的RGB图像X自身在光谱通道维度相加堆叠，得到带有多尺度预处理信息的特征图像F；
[0009]S3，将带有多尺度预处理信息的特征图像F依次通过3个空间
‑
光谱Transformer联合处理模块，对空间
‑
光谱维度联合处理，处理得到带有空间
‑
光谱特征信息的特征图像；
[0010]S4，将S3处理得到特征图像单独通过一个光谱维度Transformer处理，得到经过Transformer充分提取光谱维度特征信息的特征图像；
[0011]S5，将经过Transformer充分提取光谱维度特征信息的特征图像通过一个3
×
3的卷积层将通道维度调整到目标31通道输出，最终得到高光谱图像。
[0012]进一步地，S1中处理得到特征图Y'
i
的步骤为：
[0013]S11，将原始RGB图像复制3份，然后分别以8倍、4倍和2倍的下采样率分别进行下采样处理；
[0014]S12，下采样过后，经过一个带有3
×
3卷积核的卷积层来对下采样后的特征图像进行卷积操作；除了第一层，其他每一层紧接卷积操作后都与上一层的结果进行相加融合，如下式所示：
[0015]Y
i
＝Conv(Down
r
(X))
⊕
Y
i
‑1[0016]其中Down
r
(
·
)表示向下采样操作，r为下采样率，Conv(
·
)表示卷积核大小为3
×
3的二维卷积操作，
⊕
符号代表通道数堆叠操作；多尺度处理模块中的所有卷积操作均使用LeakyReLU激活函数；代表第i层的中间过程输出，其中i∈(1，2，3)；
[0017]S13，将S12得到Y
i
输入到光谱Transformer模块中，捕获光谱通道间的上下文信息，并得到Y'
i
；如下式所示：
[0018][0019]其中，代表第i层的中间过程输出，代表第i层的最终结果，Up
r
(
·
)表示向上采样操作，r为上采样率，Conv(
·
)表示卷积核大小为1
×
1的二维卷积操作，Tran
spe
(
·
)代表光谱维度的Transformer处理。
[0020]进一步地，S2中，得到带有多尺度预处理信息的特征图像F的步骤为：
[0021]S21，用一个3
×
3的卷积层将原始的RGB图像调整为和特征图Y'
i
相同的空间尺寸(rh'3×
rw'3)，输出结果为
[0022]S22，在光谱维度上对特征图Y'
i
和原始的RGB图像进行堆叠处理，即c0+c1，其中最终得到带有多尺度预处理信息的特征图像
[0023]进一步地，S3中，特征图像在每个空间
‑
光谱Transformer联合处理模块中，依次经过空间Transformer处理和光谱Transformer处理。
[0024]进一步地，特征图像在每个空间
‑
光谱Transformer联合处理模块中的处理步骤为：
[0025]S31，空间Transformer处理：
[0026]1)该层的输入设为特征图像F∈R
c
×
h
×
w
，特征图像F被平均的切分为窗口大小为m的小窗口，分块操作得到特征图像F
i
∈R
c
×
m
×
m
进行展平和转置操作得到然后，对得到的一维特征图进行自注意力处理；具体如下公式：
[0027]F＝{F1,F2,
…
,F
N
}，N＝hw/m2[0028]A
i
＝Attention(F
i
W
Q
,F
i
W
K
,F
i
W
V
)，i＝1,
…
,N
[0029][0030]其中W
Q
，W
K
和W
V
∈R
c
×
c
分别代表的投影矩阵，是一个可学习的参数，为每个窗口最终的输出结果；其中Attention(
·
)操作在实现自注意力计算的同时加
入了相对位置编码，具体如下式：
[0031][0032]其中，B是相对位置偏置，它是一个形状为R
(2m
‑
1)
×
(2m...

【技术保护点】

【技术特征摘要】
1.一种多尺度从RGB图像重建对应的高光谱图像算法，其特征在于，包括以下步骤：S1，将原始的RGB图像X经由多尺度处理模块处理，输出特征图Y'
i
；S2，将特征图Y'
i
与原始的RGB图像X自身在光谱通道维度相加堆叠，得到带有多尺度预处理信息的特征图像F；S3，将带有多尺度预处理信息的特征图像F依次通过3个空间
‑
光谱Transformer联合处理模块，对空间
‑
光谱维度联合处理，处理得到带有空间
‑
光谱特征信息的特征图像；S4，将S3处理得到特征图像单独通过一个光谱维度Transformer处理，得到经过Transformer充分提取光谱维度特征信息的特征图像；S5，将经过Transformer充分提取光谱维度特征信息的特征图像通过一个3
×
3的卷积层将通道维度调整到目标31通道输出，最终得到高光谱图像。2.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法，其特征在于，S1中处理得到特征图Y'
i
的步骤为：S11，将原始RGB图像复制3份，然后分别以8倍、4倍和2倍的下采样率分别进行下采样处理；S12，下采样过后，经过一个带有3
×
3卷积核的卷积层来对下采样后的特征图像进行卷积操作；除了第一层，其他每一层紧接卷积操作后都与上一层的结果进行相加融合，如下式所示：其中Down
r
(
·
)表示向下采样操作，r为下采样率，Conv(
·
)表示卷积核大小为3
×
3的二维卷积操作，符号代表通道数堆叠操作；多尺度处理模块中的所有卷积操作均使用LeakyReLU激活函数；代表第i层的中间过程输出，其中i∈(1，2，3)；S13，将S12得到Y
i
输入到光谱Transformer模块中，捕获光谱通道间的上下文信息，并得到Y'
i
；如下式所示：其中，代表第i层的中间过程输出，代表第i层的最终结果，Up
r
(
·
)表示向上采样操作，r为上采样率，Conv(
·
)表示卷积核大小为1
×
1的二维卷积操作，Tran
spe
(
·
)代表光谱维度的Transformer处理。3.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法，其特征在于，S2中，得到带有多尺度预处理信息的特征图像F的步骤为：S21，用一个3
×
3的卷积层将原始的RGB图像调整为和特征图Y'
i
相同的空间尺寸(rh'3×
rw'3)，输出结果为S22，在光谱维度上对特征图Y'
i
和原始的RGB图像进行堆叠处理，即c0+c1，其中最终得到带有多尺度预处理信息的特征图像
4.根据权利要求1所述的一种多尺度从RGB图像重建对应的高光谱图像算法，其特征在于，S3中，特征图像在每个空间
‑
光谱Transformer联合处理模块中，依次经过空间Transformer处理和光谱Transformer处理。5.根据权利要求4所述的一种多尺度从RGB图像重建对应的高光谱图像算法，其特征在于，特征图像在每个空间
‑
光谱Transformer联合处理模块中的处理步骤为：S31，空间Transformer处理：1)该层的输入设为特征图像F∈R
c
×
h
×
w
，特征图像F被平均的切分为窗口大小为m的小窗口，分块操作得到特征图像F
i
∈R
c
×
m
×
m
进行展平和转置操作得到然后，对得到的一维特征图进行自注意力处理；具体如下公式：F＝{F1,F2,
…
,F
N
}，N＝hw/m2A
i
＝Attention(F
i
W
Q
,F
i
W
K
,F
i
W
V
)，i＝1,
…
,N其中W
Q
，W
K
和W
V
∈R
c
×
c
分别代表Q，K，的投影矩阵，是一个可学习的参数，为每个窗口最终的输出结果；其中Attention(
·
)操作在实现自注意力计算的同时加入了相对位置编码，具体如下式：其中，B是相对位置偏置，它是一个形状为R
(2m
‑
1)
×
(2m
‑
1)
的可学习参数；...

【专利技术属性】
技术研发人员：栾鸿康，孙玉宝，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：