多尺度阶段特征逐级融合的遥感图像着色方法及系统技术方案

本发明专利技术属于图像处理技术领域，公开了多尺度阶段特征逐级融合的遥感图像着色方法及系统，系统包括图像灰化处理模块、生成器和判别器，图像灰化处理模块将原始图像处理成不同尺度的灰度图；生成器包括三个生成网络N1、N2、N3，均包括语义信息嵌入模块，生成网络N1和N2之间、N2和N3之间设有预融合模块，生成网络N1和N2之间、N2和N3之间设有融合注意力模块；预融合模块用于融合本级网络的灰度图与上一级网络的浅层特征，并作为本级网络的输入；语义信息嵌入模块用于融合本级网络特征并传输到上一级网络；融合注意力模块用于将不同尺度网络生成特征逐级反馈到上级网络，使最上级网络充分包含每条网络的生成信息，输出生成图像。输出生成图像。输出生成图像。

Remote sensing image coloring method and system based on multi-scale stage feature level by level fusion

【技术实现步骤摘要】
多尺度阶段特征逐级融合的遥感图像着色方法及系统


[0001]本专利技术属于图像处理
，特别涉及多尺度阶段特征逐级融合的遥感图像着色方法及系统。

技术介绍

[0002]遥感图像上色是利用灰度遥感图像生成彩色遥感图像的过程，灰度遥感图像的彩色化能够增加对遥感图像的解译、分析能力。传统的上色方法使用单一尺度的生成网络实现着色过程，使得着色缺乏空间连续性，容易出现跳越的像素点。前沿的上色方法使用生成对抗网络实现着色，通过生成器和判别器博弈的方式，生成彩色图像。但是，这种方法存在以下问题：
[0003]第一，深层特征与浅层特征融合得不合理。在生成过程中无法充分、合理利用浅层信息，深层和浅层特征在语义信息和空间分布上存在显著差异，简单堆叠无法得到满意的生成结果。
[0004]第二，无法保证生成图像的空间连续性。缺乏全局视角，不能充分结合图像上下文信息着色。
[0005]第三，无法平衡上色的空间一致性和局部细节信息生成，现有方法对类别分布极其不平衡的遥感图像的研究中重点学习局部像素分布规律，加重了上色的不适定性；并且缺乏不同尺度网络间的信息交互，忽略了宏观尺度对微观尺度网络在生成过程中的指导。

技术实现思路

[0006]针对现有技术存在的不足，本专利技术提供多尺度阶段特征逐级融合的遥感图像着色方法及系统，采用了多尺度生成网络，充分提取微观细节信息和宏观全局信息；在多尺度特征融合时，在网络输入阶段、生成阶段、输出阶段分别采用预融合模块、语义信息嵌入模块，融合注意力模块逐级融合上/下层特征。
[0007]为了解决上述技术问题，本专利技术采用的技术方案是：
[0008]一方面，本专利技术提供多尺度阶段特征逐级融合的遥感图像着色系统，包括图像灰化处理模块、生成器和判别器，所述图像灰化处理模块用于将原始图像灰化处理成不同尺度的灰度图；所述生成器包括三个以U
‑
net为架构的生成网络N1、N2、N3，不同尺度的灰度图分别输入三个生成网络，N1生成彩色图像输入判别器，判别器判断其为原始图像或生成图像，N2、N3输出图像仅用于损失的计算；
[0009]其中，生成网络N1、N2、N3均分别包括语义信息嵌入模块，在生成网络前端，生成网络N1和N2之间、生成网络N2和N3之间均设有预融合模块；在生成网络后端，生成网络N1和N2之间、生成网络N2和N3之间均设有融合注意力模块；
[0010]所述预融合模块用于融合本级网络的灰度图与上一级网络的浅层特征，并作为本级网络的输入，
[0011]所述语义信息嵌入模块用于融合本级网络特征并传输到上一级网络，其中语义信
息嵌入模块融合的本级网络特征包括早期网络层提取的浅层编码特征F
i1
、中间特征F
ie
以及U
‑
net后期网络层提取的深层解码特征F
in
，i＝1,2,3，是三个生成网络的编号，
[0012]所述融合注意力模块用于将不同尺度网络生成特征逐级反馈到上级网络，使最上级网络充分包含每条网络的生成信息，输出生成图像。
[0013]进一步的，生成网络N3的语义嵌入模块的输出特征F
3o
分别与生成网络N2的中间特征F
2e
以及生成网络N3中U
‑
net后期网络层提取的深层解码特征F
3n
融合，由语义嵌入模块的输出特征F
3o
与U
‑
net后期网络层提取的深层解码特征F
3n
融合后的特征F
3,n+1
生成网络N3对应尺寸的彩色图像，用于计算生成损失；通过融合注意力模块处理特征F
3,n+1
，将处理后特征与F
2,n+1
融合；
[0014]生成网络N2的语义嵌入模块的输出特征F
2o
分别与生成网络N1的中间特征F
1e
以及生成网络N2中U
‑
net后期网络层提取的深层解码特征F
2n
融合，将语义嵌入模块的输出特征F
2o
与U
‑
net后期网络层提取的深层解码特征F
2n
融合，生成特征F
2,n+1
，将特征F
2,n+1
与F
3,n+1
通过融合注意力模块后得到的特征F
(A)3,n+1
融合，得到特征F
’
2,n+1
，从而生成网络N2对应尺寸的彩色图像，用于计算生成损失；
[0015]生成网络N1的语义嵌入模块的输出特征F
1o
与生成网络N1中U
‑
net后期网络层提取的深层解码特征F
1n
融合，得到特征F
1,n+1
，将特征F
1,n+1
与F
’
2,n+1
通过融合注意力模块后得到的特征F
(A)2,n+1
融合，得到特征F
’
1,n+1
，从而生成网络N1对应尺寸的彩色图像，该图像为最终生成的彩色图像。
[0016]另一方面，本专利技术提供一种多尺度阶段特征逐级融合的遥感图像着色方法，利用如前所述的系统实现，包括以下步骤：
[0017]S1、将原始图像灰化处理成不同尺度的灰度图X1、X2、X3，X1为原始图像大小、X2为下采样一倍的图像大小、X3为下采样两倍的图像大小；
[0018]S2、将步骤S1不同尺度的灰度图分别输入生成器的三个生成网络N1、N2、N3中进行数据处理，包括三个阶段：在输入处理阶段，融合上级网络特征作为本级网络的输入，增加本级网络细节信息；在生成网络阶段，将本级网络特征通过语义信息嵌入模块融合逐级传输到上级网络，使宏观尺度网络作为微观尺度网络的先验；在网络输出阶段，将不同尺度网络生成特征逐级反馈到上级网络，使最上级网络充分包含每条网络的生成信息，输出生成图像；
[0019]S3、计算损失函数；
[0020]S4、通过生成器与判别器博弈的方法优化网络。
[0021]进一步的，步骤S2中生成网络N3的处理过程如下：
[0022]S21、首先对X1进行一次卷积得到特征图F
11
，特征图F
ij
:i代表网络编号，j代表特征编号，将F
11
和X2通过预融合模块进行融合，得到特征图F
21
，同样，将F
21
和X3通过预融合模块进行融合，得到特征图F
31
；将F
31
输入网络N3进行编码和解码操作；
[0023]S22、所述语义信息嵌入模块对早期网络层提取的浅层编码特征F
31
、中间特征F
3e
以及U
‑
net后期网络层提取的深层解码特征F
3n...

【技术保护点】

【技术特征摘要】
1.多尺度阶段特征逐级融合的遥感图像着色系统，其特征在于，包括图像灰化处理模块、生成器和判别器，所述图像灰化处理模块用于将原始图像灰化处理成不同尺度的灰度图；所述生成器包括三个以U
‑
net为架构的生成网络N1、N2、N3，不同尺度的灰度图分别输入三个生成网络，N1生成彩色图像输入判别器，判别器判断其为原始图像或生成图像，N2、N3输出图像仅用于损失的计算；其中，生成网络N1、N2、N3均分别包括语义信息嵌入模块，在生成网络前端，生成网络N1和N2之间、生成网络N2和N3之间均设有预融合模块；在生成网络后端，生成网络N1和N2之间、生成网络N2和N3之间均设有融合注意力模块；所述预融合模块用于融合本级网络的灰度图与上一级网络的浅层特征，并作为本级网络的输入，所述语义信息嵌入模块用于融合本级网络特征并传输到上一级网络，其中语义信息嵌入模块融合的本级网络特征包括早期网络层提取的浅层编码特征F
i1
、中间特征F
ie
以及U
‑
net后期网络层提取的深层解码特征F
in
，i＝1,2,3，是三个生成网络的编号，所述融合注意力模块用于将不同尺度网络生成特征逐级反馈到上级网络，使最上级网络充分包含每条网络的生成信息，输出生成图像。2.根据权利要求1所述的多尺度阶段特征逐级融合的遥感图像着色系统，其特征在于，生成网络N3的语义嵌入模块的输出特征F
3o
分别与生成网络N2的中间特征F
2e
以及生成网络N3中U
‑
net后期网络层提取的深层解码特征F
3n
融合，由语义嵌入模块的输出特征F
3o
与U
‑
net后期网络层提取的深层解码特征F
3n
融合后的特征F
3,n+1
生成网络N3对应尺寸的彩色图像，用于计算生成损失；通过融合注意力模块处理特征F
3,n+1
，将处理后特征与F
2,n+1
融合；生成网络N2的语义嵌入模块的输出特征F
2o
分别与生成网络N1的中间特征F
1e
以及生成网络N2中U
‑
net后期网络层提取的深层解码特征F
2n
融合，将语义嵌入模块的输出特征F
2o
与U
‑
net后期网络层提取的深层解码特征F
2n
融合，生成特征F
2,n+1
，将特征F
2,n+1
与F
3,n+1
通过融合注意力模块后得到的特征F
(A)3,n+1
融合，得到特征F
’
2,n+1
，从而生成网络N2对应尺寸的彩色图像，用于计算生成损失；生成网络N1的语义嵌入模块的输出特征F
1o
与生成网络N1中U
‑
net后期网络层提取的深层解码特征F
1n
融合，得到特征F
1,n+1
，将特征F
1,n+1
与F
’
2,n+1
通过融合注意力模块后得到的特征F
(A)2,n+1
融合，得到特征F
’
1,n+1
，从而生成网络N1对应尺寸的彩色图像，该图像为最终生成的彩色图像。3.多尺度阶段特征逐级融合的遥感图像着色方法，其特征在于，利用权利要求1或2所述的系统实现，包括以下步骤：S1、将原始图像灰化处理成不同尺度的灰度图X1、X2、X3，X1为原始图像大小、X2为下采样一倍的图像大小、X3为下采样两倍的图像大小；S2、将步骤S1不同尺度的灰度图分别输入生成器的三个生成网络N1、N2、N3中进行数据处理，包括三个阶段：在输入处理阶段，融合上级网络特征作为本级网络的输入，增加本级网络细节信息；在生成网络阶段，将本级网络特征通过语义信息嵌入模块融合逐级传输到上级网络，使宏观尺度网络作为微观尺度网络的先验；在网络输出阶段，将不同尺度网络生成特征逐级反馈到上级网络，使最上级网络充分包含每条网络的生成信息，输出生成图像；S3、计算损失函数；
S4、通过生成器与判别器博弈的方法优化网络。4.根据权利要求3所述的多尺度阶段特征逐级融合的遥感图像着色方法，其特征在于，步骤S2中生成网络N3的处理过程如下：S21、首先对X1进行一次卷积得到特征图F
11
，特征图F
ij
:i代表网络编号，j代表特征编号，将F
11
和X2通过预融合模块进行融合，得到特征图F
21
，同样，将F
21
和X3通过预融合模块进行融合，得到特征图F
31
；将F
31
输入网络N3进行编码和解码操作；S22、所述语义信息嵌入模块对早期网络层提取的浅层编码特征F
31
、中间特征F
3e
以及U
‑
net后期网络层提取的深层解码特征F
3n
进行融合，输出特征F
3o
；特征F
31
至F
3...

【专利技术属性】
技术研发人员：聂婕，王京禹，郑程予，叶敏，时津津，韦志国，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：