一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法技术

本发明专利技术公开了一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，先对高分辨率的图像使用高阶图像退化模型生成低分辨率的图像，构成图像对，再构造循环生成网络模型，利用生成器来实现从低分辨率图像到高分辨率图像的生成再进行判定，构造网络损失函数，通过经典的GAN网络损失函数加上循环不变的Cycle损失函数确保建立的映射关系的稳定性，最后训练网络模型，配置各种超参数，使网络能收敛得到较好的生成效果。本发明专利技术相比于传统的基于图像插值的超分重建方法和基于通用卷积神经网络的方法，对图像的超分重建性能更优。对图像的超分重建性能更优。对图像的超分重建性能更优。

【技术实现步骤摘要】
一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法


[0001]本专利技术属于图像处理
，涉及针对弱小图像目标的超分辨率重建方法，特别是一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法。

技术介绍

[0002]在大量的电子图像应用领域，高分辨率意味着图像的像素密度高，能提供更多的细节信息，从硬件层面改善低分辨率图像的成本巨大，而利用软件算法，解析成像模型，构建从低分辨率图像重建为高分辨率图像的超分模型，具有相当的灵活性、适应性，在遥感军事应用、辅助气象检测、地理环境分析、医学成像、视频监控等领域拥有广阔的应用前景。
[0003]在超分重建算法模型构建时通常会采用高阶退化模型加经典的Cycle
‑
GAN的网络结构，Cycle
‑
GAN不要求训练数据集是严格对齐的图像对，使用成对的图像对会使得低分辨率图像到高分辨率图像的映射关系建立的更稳定，而在现有技术中此类数据集样本较少。

技术实现思路

[0004]针对某些领域图像目标像素过小，难以识别辨认，本专利技术提出了一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，包括如下步骤：
[0006]步骤S1，对一阶退化模型复用得到二阶退化模型，采用二阶退化模型对高分辨率图像进行退化：一阶退化模型先将原始高分辨率图像y与模糊函数k进行卷积，再进行尺度因子r的降采样操作，最后加上噪声n得到低分辨率图像x，通过退化公式对JPEG图像进行压缩，得到低分辨率图像x，其中r表示尺度因子，
↓
r
表示下采样因子，n表示噪声操作，[]JPEG
表示使用JPEG方式对得到的结果进行压缩处理，将低分辨率图像x和高分辨率图像y作为图像对LR和HR；
[0007]步骤S2，基于循环损失函数cyclicloss的生成器，利用Cycle
‑
GAN网络建立由低分辨率图像x到高分辨率图像y的超分映射模型；所述的生成器由编码器、转换器和解码器组成，先将低分辨率图像x生成高分辨率图像y，再利用判别器对生成的图像进行判定，所述的Cycle
‑
GAN网络训练两对生成器
‑
判别器模型以将图像从一个领域转换为另一个领域，所述的超分映射模型包含两个映射函数G：X
‑‑‑
＞Y和F：Y
‑‑‑
＞X，以及相关的对抗式鉴别器D_Y和D_X；D_Y鼓励G将低分辨率图像x转换为高分辨率图像y，鉴别器D_X鼓励G将高分辨率图像y转换为低分辨率图像x；
[0008]步骤S3，为了进一步规范映射还引入两个循环协调损失函数构造循环生成网络模型，确保转换后的图像在反转换后可以回到处理之前的状态，通过经典GAN网络损失函数加上循环不变的Cycle损失函数确保建立的映射关系的稳定性数：L(G，F，D
X
，D
Y
)＝L
GAN
(G，D
Y
，X，Y)+L
GAN
(D
X
，F，Y，X)+λL
cyc
(G，F)，其中：
[0009][0010]通过公式对总损失进行优化；
[0011]步骤S4，训练循环生成网络模型，配置各种超参数，使网络能收敛得到较好的生成效果：将从域DA获取的输入图像传递到第一个生成器GeneratorA
→
B，其任务是将来自域DA的给定图像转换成目标域DB中的图像，然后新生成的图像被传递到另一个生成器GeneratorB
→
A，其任务是在原始域DA转换回与原始输入图像相似的图像CyclicA。
[0012]所述的一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，其步骤S1中的模糊核k使用各项同性和各向异性的高斯模糊核；采用三次插值、双线性插值或区域插值这3种插值方式中随机选择一种对尺度因子r进行缩小操作；在噪声操作n中同时加入高斯噪声和服从泊松分布的噪声，对待超分辨率图像的通道数选择对彩色图像添加噪声和对灰度图像添加噪声。
[0013]所述的一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，其步骤S1中的[]JPEG
是通过从[0，100]范围中选择压缩质量对图像进行JPEG压缩，其中0表示压缩后的质量最差，100表示压缩后的质量最好。
[0014]所述的一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，其一阶退化模型在模糊处理和合成的最后一步都采用sinc滤波器，并且随机交换最后一个sinc滤波器和JPEG压缩的顺序，以获得更大的退化空间。
[0015]进一步，所述的编码器编码是先利用卷积神经网络从输入图象中提取特征，再将图像压缩成256个64*64的特征向量。
[0016]进一步，所述的转换器转换是通过组合图像的不相近特征，使用6层Reset模块将图像在DA域中的特征向量转换为DB域中的特征向量，每个Reset模块是一个由两个卷积层构成的神经网络层。
[0017]进一步，所述的解码器解码是利用反卷积层decovolution完成从特征向量中还原出低级特征的工作，最后得到生成图像。
[0018]进一步，所述的鉴别器鉴别是将一张图像作为输入，并尝试预测其为原始图像或是生成器的输出图像。
[0019]本专利技术的有益效果是：
[0020]本专利技术方法对图像进行超分重建，采用的HD
‑
Cycle
‑
GAN网络模型融合了高阶退化模型和Cycle
‑
GAN的结构特征，高阶退化模型通过盲超分辨率技术使高分辨率图像退化成未知且复杂的低分辨率图像，为网络模型训练提供充足的低高分辨率图像对，再通过循环对抗生成网络建立稳定的低高分辨率图像间的映射关系，从而实现对于低分辨率图像的超分重建增强。
[0021]本专利技术相比于传统的基于图像插值的超分重建方法和基于通用卷积神经网络的方法，对图像的超分重建性能更优。
附图说明
[0022]图1为本专利技术HD
‑
Cycle
‑
GAN网络的框架图；
[0023]图2为本专利技术高分辨率图像分块训练及在线推理算法流程；
[0024]图3为本专利技术循环生成网络模型的框架图；
[0025]图4为编码器、转换器和解码器的构成图；
[0026]图5为本专利技术鉴别器的结构图；
[0027]图6为采用本专利技术方法进行超分重建的效果对比图。
具体实施方式
[0028]为进一步说明本专利技术的目的和技术方案，下面将结合附图的具体实施例作进一步详细说明。
[0029]本专利技术公开的一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，采用高阶退化模型对高分辨率的图像进行仿真退化，通过盲超分辨率技术使其退化为未知且复杂的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法，其特征在于：包括如下步骤步骤S1，通过一阶退化模型先将原始高分辨率图像y与模糊核k进行卷积，再进行尺度因子r的降采样操作，最后通过退化公式因子r的降采样操作，最后通过退化公式对JPEG图像进行压缩，得到低分辨率图像x，其中r表示尺度因子，
↓
r
表示下采样因子，n表示噪声操作,[]
JPEG
表示使用JPEG方式对得到的结果进行压缩处理，将低分辨率图像x和高分辨率图像y作为图像对；步骤S2，基于循环损失函数cyclicloss的生成器，建立由低分辨率图像x到高分辨率图像y的超分映射模型；所述的生成器由编码器、转换器和解码器组成，先将低分辨率图像x生成高分辨率图像y，再利用判别器对生成的图像进行判定，所述的超分映射模型包含映射函数G:X
‑‑‑
>Y和F:Y
‑‑‑
>X，以及相关的对抗式鉴别器D_Y和D_X；D_Y鼓励G将低分辨率图像x转换为高分辨率图像y，鉴别器D_X鼓励G将高分辨率图像y转换为低分辨率图像x；步骤S3，构造基于损失函数的循环生成网络模型，确保转换后的图像在反转换后可以回到处理之前的状态：L(G,F,D
X
,D
Y
)＝L
GAN
(G,D
Y
,X,Y)+L
GAN
(D
X
,F,Y,X)+λL
cyc
(G,F)，其中：(G,F)，其中：通过公式G
*
,对总损失进行优化；步骤S4，训练循环生成网络模型：将获取的输入图像传递到第一个生成器GeneratorA
→
B，将来给定图像转换成目标域中的图像，然后新生成的图像被传递到另一个生成器GeneratorB
...

【专利技术属性】
技术研发人员：张智杰，舒朗，雷波，
申请(专利权)人：华中光电技术研究所中国船舶集团有限公司第七一七研究所，
类型：发明
国别省市：